/home/tnishinaga/TechMEMO

日々行ったこと、面白かったことを書き留めます。

Bus Blaster v3を買いました

かっちった

購入まで

先週Japan Technical Jamboree(Twitterでのハッシュタグ#celfjp )という、組み込みLinuxに関係する企業の方や趣味の方が集まる勉強会で、個人としてSynQuacerを個人マネーで購入して遊んでいることを報告してきました。

Japan Technical Jamboree 65 - eLinux.org

スライドはこちら

speakerdeck.com

SynQuacerにはJTAGデバッグ用の端子が搭載されているのですが、信号電圧が1.8Vなので私の愛用していたOlimexのARM-USB-TINY-H というJTAGアダプタが使えないという問題がありました。

この件についてJamboree内でBus Blaster v3を使うことをおすすめ*1されたので、さくっとSeeed Studioで購入しました。

商品のページはこちら。

www.seeedstudio.com

一緒にアクリルパネルをおすすめされたので、こちらも一緒に購入しました。

www.seeedstudio.com

お値段

気になるお値段は以下(2018/05/25時点)。

もの お値段(USD)
Bus Blaster v3 34.95
アクリルケース 3.00
送料(fedex) 20.72
合計 58.67

PayPal でアカウント登録して、PayPal経由で支払いしました。

支払った額は日本円で6,708円でした。

届くまで

  • 5月25日金曜日夕方に注文
  • 5月30日住所情報不足で配達不可のため修正
  • 5月31日到着

大体1週間で届きました。 私が住所を間違えなければも少し早く届いたと思います。

これから

このJTAGアダプタがRasPiに使えるかやSynQuacerにつなげる際のやり方などはこれから試します。 本日はこれにて。

*1:公式ドキュメントでもおすすめされている

Windows10とArch Linuxをファイルシステムを暗号化しながら入れた話 その1

あらすじ

新マシンとしてThinkPad X230の中古品と480GBのSSDを買ったので、セットアップを行いました。その時行ったことを備忘録として書いておこうと思います。

ハードの性能はこんな感じです。

name spec
Hardware ThinkPad x230
CPU Intel(R) Core(TM) i5-3320M CPU @ 2.60GHz
Memory 8GB
Storage SSD 480GB

OSのインストールは以下の希望を満たせるよう、進めることにします。

  • Windows & Linux dual boot
  • UEFIブート(not CSMモード)
  • Win,Linux どちらでも読み書きできる領域(ファイル交換用)を16GBがほしい
  • winもLinuxファイルシステムを暗号化したい(紛失後の情報流出の心配を減らしたい)
  • 暗号化されたswap領域も欲しい
  • サスペンドのみでハイバネートは使わない
  • Btrfs + snapper + snap-syncで差分バックアップ取れるようにしたい

一言でまとめるとすると「(UEFI + Windows 10 + Bitlocker(without TPM)) and (UEFI + Arch Linux + dm-crypt + Btrfs)」とかけばいいのでしょうか......? 結構大変です。

手順が長くなるので、以下の3つくらいに記事を分けたいと思います。

  • USBディスクからArchをインストールするまで
  • Archのデスクトップ環境を作るまで
  • Snapperで定期snapshot取得およびバックアップを設定するまで

Windowsのインストール

先にWindows 10を120GBのパーティションを作ってインストールします。

細かいインストール方法等は省略します。

UEFIの設定でTPMをDisableにすればBitlockerを用いて暗号化も可能です。 TPMを有効にしたまま行うのは難しそうです。

Linuxをインストール

パーティション作成

既にWindowsパーティションが4つでできているので、新たにrootfs(sda5)に298GiB、swap(sda6)に16GiB、ファイル交換用(sda7)に16GiBのパーティションを作ります。

fdisk /dev/sda

完成後はこんな感じになります。

partition size type
/dev/sda1 499M Windows recovery environment
/dev/sda2 100M EFI System
/dev/sda3 16M Microsoft reserved
/dev/sda4 116G Microsoft basic data(Windows10 OS)
/dev/sda5 298G Linux filesystem(rootfs)
/dev/sda6 16G Linux swap
/dev/sda7 16G Microsoft basic data(ファイル交換用)

最後のsda7だけ暗号化しないのでexfatでフォーマットしておきます。

mkfs.exfat /dev/sda7

ファイルシステム作成とマウント

rootfsの暗号化

以下を参考に、dm-crypt/LUKSを使ってrootfsを暗号化します。

https://wiki.archlinux.jp/index.php/Dm-crypt/%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E5%85%A8%E4%BD%93%E3%81%AE%E6%9A%97%E5%8F%B7%E5%8C%96#Btrfs_.E3.82.B5.E3.83.96.E3.83.9C.E3.83.AA.E3.83.A5.E3.83.BC.E3.83.A0.E3.81.A8.E3.82.B9.E3.83.AF.E3.83.83.E3.83.97

sudo  cryptsetup -s 512 luksFormat /dev/sda5

Are you sure? (Type uppercase yes): と聞かれるので、大文字でYESと答えます。 次にパスワードを聞かれるので、入力してください。。 これで暗号化完了です。

暗号化を解除するには、以下のコマンドを実行します。

cryptsetup open --type luks /dev/sda5 cryptroot

これで /dev/mapper/cryptroot に復号されたデバイスがマップされます。

rootfsパーティション作成

復号されたデバイス上にbtrfsのファイルシステムを作ります。

mkfs.btrfs /dev/mapper/cryptroot

マウント

compress=zstd をつけて圧縮を有効にしながら、rootfsを/mnt にマウントします。

mount -o compress=zstd /dev/mapper/cryptroot /mnt

subvolume の作成

Snapperで使える推奨ファイルシステムレイアウトを作ります。 推奨レイアウトについては以下を参照してください。

https://wiki.archlinux.jp/index.php/Snapper#.E6.8E.A8.E5.A5.A8.E3.83.95.E3.82.A1.E3.82.A4.E3.83.AB.E3.82.B7.E3.82.B9.E3.83.86.E3.83.A0.E3.83.AC.E3.82.A4.E3.82.A2.E3.82.A6.E3.83.88

cd /mnt
sudo btrfs subvolume create @
sudo btrfs subvolume create @home
sudo btrfs subvolume create @log

一緒にsnapper向けのsubvolumeも作ります。

sudo btrfs subvolume create @snapshots
sudo btrfs subvolume create @snapshots/snapshots_root
sudo btrfs subvolume create @snapshots/snapshots_home

一旦マウントし直します。

cd 
umount /mnt
mount -o compress=zstd,subvol=@ /dev/mapper/cryptroot /mnt
mkdir /mnt/home
mount -o compress=zstd,subvol=@home /dev/mapper/cryptroot /mnt/home
mkdir -p /mnt/var/log
mount -o compress=zstd,subvol=@log /dev/mapper/cryptroot /mnt/var/log
cd /mnt
mkdir -p var/cache/pacman/
btrfs subvolume create var/cache/pacman/pkg
btrfs subvolume create var/abs
btrfs subvolume create var/tmp
btrfs subvolume create srv

bootのマウント

bootをマウントします。

mkdir /mnt/boot
mount /dev/sda2 /mnt/boot

Archのセットアップとインストール

システムクロック更新

timedatectl set-ntp true

ミラー選択

/etc/pacman.d/mirrorlist を編集します。

sed -i -e "s/Server/#Server/" /etc/pacman.d/mirrorlist
nano /etc/pacman.d/mirrorlist

JAPANのミラーだけコメントアウトから外してください。

base systemのインストール

cd /mnt
pacstrap /mnt base base-devel

fstabの反映

マウント情報をfstabに反映します。

genfstab -U /mnt >> /mnt/etc/fstab

暗号化されたswap領域の作成とマウント設定

swapはRAMのデータが一時的に退避される場所です。 なので、ここが暗号化されていないとRAMにあるデータが一部読み取れてしまうかもしれないので、暗号化します。

ハイバネートをすることを考えなければ、swapの暗号化は非常に簡単です。 以下のドキュメントを参考に /mnt/etc/crypttab/mnt/etc/fstab を修正すれば、swapの暗号化は完了します。

https://wiki.archlinux.jp/index.php/Dm-crypt/%E3%82%B9%E3%83%AF%E3%83%83%E3%83%97%E3%81%AE%E6%9A%97%E5%8F%B7%E5%8C%96#suspend-to-disk_.E3.82.92.E4.BD.BF.E7.94.A8.E3.81.97.E3.81.AA.E3.81.84

まずswapパーティション(sda6)の先頭1Mをext2でフォーマットし、UUIDを得ます。

mkfs.ext2 -L cryptswap /dev/sda6 1M
blkid /dev/sda6

すると、UUIDとLABELが得られるので、どちらか好きな方を使って /mnt/etc/crypttab に暗号化の設定を追記します。

swap     LABEL=cryptswap  /dev/urandom  swap,offset=2048,cipher=aes-xts-plain64,size=256

これで起動時に暗号化されたswapが /dev/mapper/swap にマウントされるので、このswapを使うようにfstabに追記します。

/dev/mapper/swap  none   swap    defaults   0       0

なぜこのようにoffsetを使うかの理由は、以下を参照してください。

https://wiki.archlinux.jp/index.php/Dm-crypt/%E3%82%B9%E3%83%AF%E3%83%83%E3%83%97%E3%81%AE%E6%9A%97%E5%8F%B7%E5%8C%96#UUID_.E3.81.A8_LABEL

It is more reliable to identify the correct partition by giving it a genuine UUID or LABEL. By default that does not work because dm-crypt and mkswap would simply overwrite any content on that partition which would remove the UUID and LABEL too

swapの書き込み制限

sudo sh -c "echo 10 > /proc/sys/vm/swappiness"
sudo sh -c 'echo "vm.swappiness = 10" >> /mnt/etc/sysctl.conf'

swapの書き込み回数を減らしてSSDの寿命を伸ばします。

chroot

chrootでArchのrootfsを設定していきます。

arch-chroot /mnt

タイムゾーン設定

ln -sf /usr/share/zoneinfo/Asia/Tokyo /etc/localtime

locale設定

/etc/locale.gen を編集して以下のコメントを外します。

そして以下のコマンドを実行します。

locale-gen

最後にlocaleを設定します。

sudo sh -c 'echo LANG=en_US.UTF-8 > /etc/locale.conf'

一応vconsoleも設定します。

sudo sh -c 'echo KEYMAP=jp106 > /etc/vconsole.conf'

Hostname

ホスト名を適当に設定します。 /etc/hosts も忘れずに。

echo HOGEHOE > /etc/hostname
127.0.0.1    localhost.localdomain   localhost
::1     localhost.localdomain   localhost
127.0.1.1   HOGEHOGE.localdomain    HOGEHOGE

systemctl-boot

systemd-bootをブートローダーとしてインストールします。

bootctl --path=/boot install

rootfsを暗号化してるので、以下の /boot/loader/entries/arch.conf を作ります。

title Arch Linux Encrypted
linux /vmlinuz-linux
initrd /initramfs-linux.img
options cryptdevice=UUID=<UUID>:<mapped-name> root=UUID=<luks-UUID>  rootflags=subvol=@ quiet rw

UUIDは以下のコマンドで調べられます。

ls -l /dev/disk/by-uuid/

/dev/sda5、dm-0が<luks-UUID>なので、合わせて設定してください。

例えば

# ls -l /dev/disk/by-uuid/
lrwxrwxrwx 1 root root 10 Feb  8  2018 XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX -> ../../dm-0
lrwxrwxrwx 1 root root 10 Feb  8  2018 (hidden) -> ../../sdb2
lrwxrwxrwx 1 root root 10 Feb  8  2018 (hidden) -> ../../sdb1
lrwxrwxrwx 1 root root 10 Feb  8  2018 YYYYYYYY-YYYY-YYYY-YYYY-YYYYYYYYYYYY -> ../../sda5
lrwxrwxrwx 1 root root 10 Feb  8  2018 (hidden) -> ../../sda2
lrwxrwxrwx 1 root root 10 Feb  8  2018 (hidden) -> ../../sda1
lrwxrwxrwx 1 root root 10 Feb  8  2018 (hidden) -> ../../sda7
lrwxrwxrwx 1 root root 10 Feb  8 02:01 (hidden) -> ../../sda6

となる場合は/boot/loader/entries/arch.conf は以下のようになります。

title Arch Linux Encrypted
linux /vmlinuz-linux
initrd /initramfs-linux.img
options cryptdevice=UUID=YYYYYYYY-YYYY-YYYY-YYYY-YYYYYYYYYYYY:cryptroot root=UUID=XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX rw rootflags=subvol=@ quiet

一緒に、Windowsをブートするためのエントリも作成してください。

title Windows 10
loader EFI/MICROSOFT/BOOT/BOOTMGFW.EFI

btrfs-progs

btrfs をつかうので、入れておきます。

sudo pacman -S btrfs-progs

これを入れておかないと、次のmkcpioでbtrfsのモジュールが入りません。

mkcpio

ブート時にrootfsの暗号化を解除できるよう /etc/mkinitcpio.conf に encrypt フックを追加します。

https://wiki.archlinux.jp/index.php/Dm-crypt/%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E8%A8%AD%E5%AE%9A#encrypt_.E3.83.95.E3.83.83.E3.82.AF.E3.82.92.E4.BD.BF.E3.81.86

HOOKSの行を以下のように書き換えてください。

HOOKS=(base udev autodetect keyboard keymap consolefont modconf block encrypt btrfs filesystems)

initramfsを作り直します。

mkinitcpio -p linux

ansible動かせるように色々インストール

初期セットアップを別マシンからansibleで行えるようにしたいので、必要なファイルを入れておきます。

sudo pacman -S python openssh
sudo systemctl enable sshd.service

user追加

管理に使うユーザーを追加します。

useradd -m -G wheel USERNAME
passwd USERNAME

visudo

wheelのひとはNOPASSWDでsudo使えるようにしておくと、ansibleでの初期セットアップができて便利なので、設定しておきます。

リブート

最後にリブートして完了です。

exit
cd
umount -R /mnt
reboot

おしまい

今回はここでおしまいです。

QEMUのARM Virtマシンのペリフェラルメモリマップについてのメモ

QEMUのARM Virtマシンのペリフェラルメモリマップは何処を見ればいいんだっけ......とよく忘れるので、パスと見るべきところをメモします。

マシンを定義しているファイルはこれ。

qemu/virt.c at master · qemu/qemu · GitHub

メモリマップは125行目辺り MemMapEntry a15memmap[] にかかれています。 以下、該当コードを引用します。

static const MemMapEntry a15memmap[] = {
    /* Space up to 0x8000000 is reserved for a boot ROM */
    [VIRT_FLASH] =              {          0, 0x08000000 },
    [VIRT_CPUPERIPHS] =         { 0x08000000, 0x00020000 },
    /* GIC distributor and CPU interfaces sit inside the CPU peripheral space */
    [VIRT_GIC_DIST] =           { 0x08000000, 0x00010000 },
    [VIRT_GIC_CPU] =            { 0x08010000, 0x00010000 },
    [VIRT_GIC_V2M] =            { 0x08020000, 0x00001000 },
    /* The space in between here is reserved for GICv3 CPU/vCPU/HYP */
    [VIRT_GIC_ITS] =            { 0x08080000, 0x00020000 },
    /* This redistributor space allows up to 2*64kB*123 CPUs */
    [VIRT_GIC_REDIST] =         { 0x080A0000, 0x00F60000 },
    [VIRT_UART] =               { 0x09000000, 0x00001000 },
    [VIRT_RTC] =                { 0x09010000, 0x00001000 },
    [VIRT_FW_CFG] =             { 0x09020000, 0x00000018 },
    [VIRT_GPIO] =               { 0x09030000, 0x00001000 },
    [VIRT_SECURE_UART] =        { 0x09040000, 0x00001000 },
    [VIRT_MMIO] =               { 0x0a000000, 0x00000200 },
    /* ...repeating for a total of NUM_VIRTIO_TRANSPORTS, each of that size */
    [VIRT_PLATFORM_BUS] =       { 0x0c000000, 0x02000000 },
    [VIRT_SECURE_MEM] =         { 0x0e000000, 0x01000000 },
    [VIRT_PCIE_MMIO] =          { 0x10000000, 0x2eff0000 },
    [VIRT_PCIE_PIO] =           { 0x3eff0000, 0x00010000 },
    [VIRT_PCIE_ECAM] =          { 0x3f000000, 0x01000000 },
    [VIRT_MEM] =                { 0x40000000, RAMLIMIT_BYTES },
    /* Second PCIe window, 512GB wide at the 512GB boundary */
    [VIRT_PCIE_MMIO_HIGH] =   { 0x8000000000ULL, 0x8000000000ULL },
};

どのペリフェラルが使われているかはここからはわからないので、memmapの1列目の文字列から探していく必要があります。

例えばUARTなら、VIRT_UARTで検索をすると1422行目あたりに create_uart 関数を呼び出しているところが見つかります。

create_uart(vms, pic, VIRT_UART, sysmem, serial_hds[0]);

この create_uart 関数の定義は644行目あたりにあり、このコードを見ていくと頭の方にペリフェラルの名前が書いてあるので、PL011が使われていることがわかります。

static void create_uart(const VirtMachineState *vms, qemu_irq *pic, int uart,
                        MemoryRegion *mem, Chardev *chr)
{
    char *nodename;
    hwaddr base = vms->memmap[uart].base;
    hwaddr size = vms->memmap[uart].size;
    int irq = vms->irqmap[uart];
    const char compat[] = "arm,pl011\0arm,primecell";

後はペリフェラルの資料を探して読んでドライバを実装すればOKです。

おしまい。

UEFIのHTTP BOOTを試してみる

UEFI 2.5からネットワークブートの方法として"HTTP BOOT"が増えました。

今回はこのHTTP BOOTは従来の方式に比べ何が嬉しいのか、この機能を使ってUEFIのアプリを起動するにはどのようにすればよいかを書いていこうと思います。

忙しい人のまとめ

  • ネットワークブートがHTTP経由でできます
  • DHCPの設定変更なしでもOKです
  • 対応バージョンはUEFI 2.5以上です

HTTP BOOT とは

HTTP BOOTはUEFI 2.5で追加されたネットワークブートのためのUEFIの機能です。

この機能を使うと、HTTP(またはHTTPS)サーバーからファイルを取得し、UEFIアプリやOSを起動することができるようになります。

HTTP BOOT と PXEブートの違い

よく知られたネットワークブートの方法としてPXEブートがあります。これとHTTP BOOTはどのような点が異なるのでしょうか。 この疑問に関しては、以下のSUSE LinuxのドキュメントのIntroductionにわかりやすく書かれています。

UEFI HTTPBoot with OVMF - openSUSE

ここに書かれている内容をまとめると、HTTP BOOTではPXEに比べ以下の点が異なります。

  • HTTP URLを使って起動イメージ指定が可能
  • アドレス指定にDNSが利用可能
  • ローカルネットワーク外からもネットワークブート可能

また、UEFIの仕様書(24.7 HTTP Boot)やtinanocoreの解説サイトを読むと、以下の点でも異なることがわかります。

  • DHCPサーバーの設定変更が必須ではない(家庭用ルーターでもネットワークブート可能)
  • TFTPサーバー不要

このように、HTTP BOOTでは従来PXEによるネットワークブートを行うために必要であったDHCPサーバーの設定変更、TFTPサーバーの用意等が必要なくなるため、ネットワークブートのハードルが非常に低くなります。

実際にどのくらい簡単になるかを、想定環境の説明より確認していきましょう。

HTTP BOOTの想定環境

HTTP BOOTの想定環境には、以下の2つがあります。

  • Corporate Environment
  • Home Environment

それぞれどのような想定環境かを見ていきましょう。

Corporate Environment

最初にCorporate Environmentについて説明するために、UEFIの仕様書「24.7.2.1 Use in Corporate environment」のFigure 76より構成図を引用します。

f:id:tnishinaga:20171221030526p:plain

Corporate Environmentの想定は、基本的には従来のPXEブートを行える環境と同様です。

この環境ではDHCPサーバーに対しHTTP BOOT Extensionの設定を入れることで、クライアントの起動時にDHCPからアドレスと同時にHTTP BOOTのURL等をもらい、HTTP BOOTを使ったネットワークブートを開始することが可能です。

よって、Corporate Environmentでサーバー側で用意する必要が出るのは、最大で以下の3つになります。

  • "HTTP Extension設定可能"なDHCPサーバー(必須)
  • DNSサーバー(ドメイン名を使う場合は必要。IPアドレス指定の場合は不要)
  • HTTP(S)サーバー(外部の配布サイトを使う場合は不要)

Home Environment

次にHome Environmentについて説明するために、UEFIの仕様書「24.7.2.2 Use case in Home environment」のFigure 77より構成図を引用します。

f:id:tnishinaga:20171221032502p:plain

この環境はDHCPサーバーにHTTP BOOT Extensionの設定を入れることのできない、一般的な家庭用ルーターでHTTP BOOTを行うことを想定しています。 この環境では一般的なDHCPサーバーからIPアドレス(とDNSサーバー等の情報)のみを取得し、HTTP BOOTのURL等はユーザーが自分で入力することでHTTP BOOTを行います。

よって、Home Environmentでサーバー側で用意する必要が出るのは、最大で以下の3つになります。

  • 一般的なDHCPサーバー(必須)
  • DNSサーバー(ドメイン名を使う場合は必要。IPアドレス指定の場合は不要)
  • HTTP(S)サーバー(外部の配布サイトを使う場合は不要)

HTTP BOOTでUEFIアプリを動かしてみる

HTTP BOOTの使い方を確かめるために、Home Environmentにおいて実際にUEFIアプリをHTTP BOOTしてみようと思います。 なお、今回は動作確認が目的なので、OSの起動やインストール等まではやりません。

また、ターゲットはARM64環境とします。趣味です。

実験環境はいつもおなじみ Thinkpad x201と Arch Linux(x86_64) です。

HTTP BOOTに対応したUEFIのビルド

LinaroのビルドしてくれているQemuのイメージはHTTP BOOTが有効になっていなかったので、自分で有効にしてedk2からビルドし直します。

変更するところは edk2/ArmVirtPkg/ArmVirtQemu.dsc の以下の部分です。

  DEFINE HTTP_BOOT_ENABLE        = FALSE

ここのFALSEをTRUEにするとHTTP BOOTが有効になります。

!if $(HTTP_BOOT_ENABLE) == TRUE
  HttpLib|MdeModulePkg/Library/DxeHttpLib/DxeHttpLib.inf
!endif

残りのビルドの方法はansibleのスクリプトにしたので、このスクリプトを動かすか、中身を読んで同じことをコマンドで実行すればHTTP BOOTが有効になったQEMU用のUEFIファームウェア(ARM64用)が edk2/Build/ArmVirtQemu-AARCH64/RELEASE_GCC5/FV/QEMU_EFI.fd から得られます。

github.com

QEMU環境の用意

HTTP BOOTを行うには、QEMU仮想マシンを、ホストマシンが繋がっている家庭用のLANにつなげる必要があります。

このために、QEMUの作り出すTAPデバイスとホストマシンのNICをブリッジで繋ぐ必要があります。

この作業は理解するのが大変なので、勝手に行ってくれるスクリプトを作りました。

github.com

最初に、init.shIFACE="enp0s25" のenp0s25のところを任意の物理NIC名に変更して、init.shを実行してください。

sudo ./init.sh

これでホスト側にブリッジデバイスの作成とブリッジデバイスへのNICの追加が終わります。

次に、 run_qemu_aarch64.sh を実行すると、自動で qemu-ifupが実行され、QEMUの作ったTAPデバイスがブリッジに追加されます。

./run_qemu_aarch64.sh 

これで、LANにつながるQEMU仮想マシン環境が出来上がります。

HTTP BOOT

./run_qemu_aarch64.sh を実行してQEMU上でUEFI Shellが立ち上がったら、いよいよHTTP BOOTを行ってみます。

まずはじめに、IPアドレスの取得を行います。 これはUEFI Shellの上で以下のコマンドを打つと、簡単に設定できます。

ifconfig -s eth0 dhcp

UEFI Shell上ではpingコマンドが使えるので、ホストマシンのIPアドレスPingをうってみて、疎通を確認してください。 疎通が確認できれば、次に進みます。

HTTP BOOTはUEFI Shell上ではコマンドがなく行えないため、Shell上で exit コマンドを実行して一度マネージャーに戻ります。

f:id:tnishinaga:20171222221742p:plain

するとこのような画面が出てくるので、ここから Device Manager -> Network Device List -> NICのMACアドレスを選択 -> HTTP Boot Configuration と進みます。

f:id:tnishinaga:20171222012657p:plain

するとこのような画面が得られるので、 Boot URI のところに *.efi のあるURLを指定します。

今回はhttpboot/hello 以下でビルドしたmain.efiを以下のコマンドで起動したHTTPサーバーから配布しています。

python3 -m http.sever

ホストのIPアドレス192.168.111.50 でHTTPサーバーの待受ポートは8000番なので、http://192.168.111.50:8000/main.efiURIとして指定しています。

設定が終わったら ESCキー を押してください。 すると「設定を保存するならYをおしなさい」というメッセージが出るので、Yを押して保存します。 その後なんどかESCを押して、以下のマネージャーのTOPに戻ってください。

f:id:tnishinaga:20171222221742p:plain

次にBoot Manager を開くと一番最後に UEFI HTTP という項目が増えているはずなので、ここを選択してEnterを押します。

f:id:tnishinaga:20171222013348p:plain

しばらく待つとUEFIアプリが読み込まれて、私の作ったサンプルでは hello が表示されます。

f:id:tnishinaga:20171222014036p:plain

一つ注意として、HTTP BOOTはUEFIアプリの実行が終わるとすぐにブートマネージャーの画面に戻されてしまいます。 そうならないようしたい場合は、終了前にキー入力を待つような処理を最後に入れる必要がありそうです。

おわり

すみません、最近時間がなくて細かいところまで丁寧に書くことができませんでした。

質問をコメントでいただければ補足しますので、よろしくお願いします。

UEFIで任意のProtocolを使ってプログラムを書くためにはどうすればいいのかメモ

ふと、UEFIアプリでシリアルを直接さわって通信がしたくなりました。

UEFI 2.0にはEFI SERIAL IO PROTOCOLというプロトコルがあり、これを用いればシリアル通信をハードウェアを直接触ること無く行えるようです。

早速、このプロトコルを使ってシリアル通信をするプログラムを作ろう……としたのですが、大変お恥ずかしいことにその時の私はUEFIで任意のプロトコルを呼び出して制御を行う方法がイマイチわかっておらず、すぐに作ることができませんでした。

その後、KernelVM探検隊のみなさまにUEFIについて質問したところ、参考になるサイトやプログラムを教えていただき、以下のシリアルの入力をそのまま出力に返すプログラムを作ることができました。

baremetal_hikeyboard/uefi_serial_echo_sample at master · tnishinaga/baremetal_hikeyboard · GitHub

このプログラムを作ったことでUEFIアプリで任意のプロトコルを使うために、なんとなくどのようなことをすべきかが見えるようになってきたので、初心者の心を忘れないうちに書き残しておこうと思います。

注意

  • 本記事はどうすれば目的のプロトコルを取得し、インターフェースを使えるかに注目します。UEFIのすべてを解説する記事ではありません
  • 一部筆者の理解が足りていないため、説明に誤りがある場合があります。コメントで教えていただけると嬉しいです。

任意のプロトコルの取得と利用方法

UEFIの提供する様々な機能はインターフェースを介して利用できるようになっており、 インターフェースは「プロトコル(Protocol)」と呼ばれる組でグルーピングされて提供されています。

プロトコルの取得は、以下の手順で行なえます。

  1. BootService(BS)のLocateHandleで目的のプロトコルを取得できるハンドラを見つける
  2. BSのHandleProtocolで先程取得したハンドラから目的のプロトコルを取得する

ハンドラの取得

プログラム上でのプロトコルは、各インターフェースの関数ポインタを格納した構造体であり、メモリ上の何処かに置かれています。

そのため、目的のインターフェースを使うためには、プロトコルの先頭アドレスを取得し、プロトコルの構造体にキャストし、そこから関数ポインタを使って目的のインターフェースを使うということが必要になります。

プロトコルを取得するためには、そのプロトコルを取得できるハンドル(Handle)を見つける必要があります。 この作業を行う関数がLocateHandleです。 プロトコルにはGUIDというIDがあるため、LocateHandleに目的のプロトコルのGUIDを渡すことで、ハンドルを見つけてきてくれます。

詳しい使い方は以下を参照。

EFI BOOT SERVICES - PhoenixWiki

今回作ったサンプルでは、以下の部分がハンドラの取得部分になります。

    EFI_GUID serial_io_protocol = SERIAL_IO_PROTOCOL;
    EFI_STATUS efi_status;

    // ... skip ...

    // search handler
    UINTN handlers_size = 0;
    EFI_HANDLE *handlers = NULL;
    efi_status = uefi_call_wrapper(
        BS->LocateHandle,
        5,
        ByProtocol,
        &serial_io_protocol,
        0,
        &handlers_size,
        handlers
    );
    if (efi_status == EFI_BUFFER_TOO_SMALL) {
        efi_status = uefi_call_wrapper(BS->AllocatePool,
            3,
            EfiBootServicesData,
            handlers_size,
            (VOID **)&handlers
        );
        efi_status = uefi_call_wrapper(
            BS->LocateHandle,
            5,
            ByProtocol,
            &serial_io_protocol,
            0,
            &handlers_size,
            handlers
        );
    }
    if (handlers == NULL || EFI_ERROR(efi_status)) {
        FreePool(handlers);
        return efi_status;
    }

このコードではEFI SERIAL IO PROTOCOLを取得できるハンドラを探しています。

このプロトコルにはシリアルポートを選択するインターフェースが無いため、ポートの数だけ与えられたハンドラを切り替えて使って、シリアルポートの選択を行うようです。

そのため、LocateHandleを1度実行した後、ハンドラのサイズが足りない場合はAllocatePool(UEFI版のmallocのようなもの)でメモリを確保し、再度LocateHandleを実行するようになっています。

プロトコルの取得

先程取得したハンドラと目的のプロトコルのGUIDより、HandleProtocolを使ってプロトコルを取得します。

HandleProtocolの使い方は以下を参照。

EFI BOOT SERVICES - PhoenixWiki

今回作ったサンプルでは、以下の部分がハンドラからのプロトコル取得部分になります。

 efi_status = uefi_call_wrapper(
        BS->HandleProtocol,
        3,
        handlers[0],
        &serial_io_protocol,
        (VOID **)&serialio
    );

    if (EFI_ERROR(efi_status)) {
        Print(L"efi_status is not EFI_SUCCESS\n");
        return efi_status;
    }

インターフェースの利用

プロトコルのもつインターフェースの利用は、構造体のメンバにアロー演算子でアクセスして使うだけです。

今回作ったサンプルでは、以下の部分が該当します。

efi_status = uefi_call_wrapper(serialio->GetControl, 2, serialio, &control);

このコードではEFI SERIAL IO PROTOCOLのもつGetConrolインターフェースを呼び出し、シリアルポートのインターフェース情報を取得しています。

大体こんな感じでUEFIのハンドラ取得、プロトコル取得、インターフェース利用が行なえます。

質問と回答コーナー

LocateHandle使わずにLocateProtocolで直接Protocol取得してるひともいるけど、違いは何?

僕もよくわかってません。 ハンドル取得してからプロトコル取得が正しい道だとは思うのですが……

uefi_call_wrapperってなに? なぜ使う必要があるの? 引数のマジックナンバーの意味は何?

後で追記します……

vagrant-azureとansibleを使ってRaspberry PiのLinux Kernelをビルドしてみた話

vagrant-azureを使ってAzureの上にVMを建てることを前回行いました。

vagrant-azureを使ってAzureに仮想マシンを建ててみたメモ - /home/tnishinaga/TechMEMO

今回はこれに加えてansibleを使ってRaspberry PiLinux Kernelをビルドすることを行ってみたいと思います。

スクリプトの修正とLinux Kernelのビルド

ansibleを使ったプロビジョンの追加

前回書いたVagrantfileのVagrant.configureのところに以下を追記します。

# ansible provision
config.vm.provision 'ansible' do |ansible|
  ansible.playbook = "provisioning/playbook.yml"
end

これでprovisioning/playbook.ymlの記述に従って、Ansibleを使ったプロビジョンを行えるようになります。

追記した後のVagrantfileはこんな感じになります。

require 'dotenv'
Dotenv.load

Vagrant.configure('2') do |config|
  # ansible provision
  config.vm.provision 'ansible' do |ansible|
    ansible.playbook = "provisioning/playbook.yml"
  end

  config.vm.box = 'azure'

  # use local ssh key to connect to remote vagrant box
  config.ssh.private_key_path = '~/.ssh/id_rsa'
  config.vm.provider :azure do |azure, override|

    # each of the below values will default to use the env vars named as below if not specified explicitly
    azure.tenant_id = ENV['AZURE_TENANT_ID']
    azure.client_id = ENV['AZURE_CLIENT_ID']
    azure.client_secret = ENV['AZURE_CLIENT_SECRET']
    azure.subscription_id = ENV['AZURE_SUBSCRIPTION_ID']
    azure.location = ENV['AZURE_LOCATION']
  end
end

その他必要なファイルは前回の記事を参照してください。

Ansible-Playbookを作る

  • Ubuntu のアップデート
  • ビルドに必要なパッケージのインストール
  • ロスコンパイラの取得とインストール
  • Linux kernel sourceの取得
  • Raspberry Pi(BCM2835)用configの設定
  • Linux Kernelのビルド

以上を行うAnsible playbookをつくります。

hostsのところはallにしておけば、inventoryファイルはいらないようです。

# update
- hosts: all
  tasks:
    - name: install basic packages
      apt: name={{ item }} update_cache=yes state=latest
      with_items:
        - git
        - build-essential
        - bc
      become: true
    - name: install cross-compiler
      unarchive:
        src: https://releases.linaro.org/components/toolchain/binaries/latest/arm-eabi/gcc-linaro-6.3.1-2017.05-x86_64_arm-eabi.tar.xz
        dest: /usr/local/
        remote_src: True
      become: true
    - name: add /usr/local/gcc-linaro-6.3.1-2017.05-x86_64_arm-eabi/bin to path
      lineinfile:
        dest: .bashrc
        insertafter: EOF
        line: "export PATH=$PATH:/usr/local/gcc-linaro-6.3.1-2017.05-x86_64_arm-eabi/bin"
    - name: clone linux source
      git:
        repo: https://github.com/torvalds/linux
        dest: linux
        version: master
        depth: 1
    - name: load bcm2835_defconfig
      command: "make bcm2835_defconfig"
      args:
        chdir: ./linux
      environment:
        PATH: "{{ ansible_env.PATH }}:/usr/local/gcc-linaro-6.3.1-2017.05-x86_64_arm-eabi/bin"
        ARCH: arm
        CROSS_COMPILE: arm-eabi-
    - name: make linux-kernel
      command: "make -j4 zImage dtbs"
      args:
        chdir: ./linux
      environment:
        PATH: "{{ ansible_env.PATH }}:/usr/local/gcc-linaro-6.3.1-2017.05-x86_64_arm-eabi/bin"
        ARCH: arm
        CROSS_COMPILE: arm-eabi-

ビルドしてみる

前回同様、Vagrantfileのあるディレクトリで以下のコマンドを実行するとクラウド上のVM起動からLinux Kernelのビルドまでが行われます。

vagrant up

使い終わったら vagrant destroy でマシンを潰すのを忘れないようにしてください。

性能計測

このスクリプトを使ったビルドに必要な時間を計測して、より速くビルドするにはどうすればよいかを考えてみたいと思います。

ビルド時間の概要

今回のビルドにかかる時間は、大まかに以下の2つに分けることができると考えています。

  • Azure上でVMを用意して立ち上げるまでの時間
  • ansibleのプロビジョンにかかる時間

VM立ち上げとプロビジョン完了までの時間はtimeコマンドを使えば計測可能です。 なので、後者のプロビジョン時間を知ることができれば、計算でVM立ち上げまでの時間を得ることができるでしょう。

VM立ち上げの時間はこちら側で速くすることは難しそうなので、後者のプロビジョン時間を速くする方向性で考えていきたいと思います。

プロビジョン時間の計測

ansibleのプロビジョンの各タスクの実行にかかった時間はansible-profileプラグインを使うことで調べることができるようです。

このプラグインは現在ansibleにデフォルトで入っているので、少し設定を追記するだけで利用可能です。

ansibleの設定は、Vagrantfileと同じディレクトリにanisble.cfg というファイルを作り、そこに書き込めば良いようです。 以下の内容を書いた anisble.cfg を作ってください。

[defaults]
callback_whitelist = profile_tasks

そして、再度 vagrant up を行うと、今度はプロビジョンにかかった詳細な時間が表示されるはずです。

計測結果の確認と検討

私の環境でのプロビジョン時間の結果の概要を以下に示します。

PLAY [all] *********************************************************************

TASK [Gathering Facts] *********************************************************
Friday 04 August 2017  00:47:21 +0900 (0:00:00.144)       0:00:00.144 ********* 
ok: [default]

TASK [install basic packages] **************************************************
Friday 04 August 2017  00:47:25 +0900 (0:00:03.483)       0:00:03.628 ********* 
changed: [default] => (item=[u'git', u'build-essential', u'bc'])

TASK [install cross-compiler] **************************************************
Friday 04 August 2017  00:48:00 +0900 (0:00:35.629)       0:00:39.257 ********* 
changed: [default]

TASK [add /usr/local/gcc-linaro-6.3.1-2017.05-x86_64_arm-eabi/bin to path] *****
Friday 04 August 2017  00:50:04 +0900 (0:02:03.371)       0:02:42.628 ********* 
changed: [default]

TASK [clone linux source] ******************************************************
Friday 04 August 2017  00:50:06 +0900 (0:00:01.734)       0:02:44.363 ********* 
changed: [default]

TASK [load bcm2835_defconfig] **************************************************
Friday 04 August 2017  00:51:01 +0900 (0:00:55.154)       0:03:39.517 ********* 
changed: [default]

TASK [make linux-kernel] *******************************************************
Friday 04 August 2017  00:51:07 +0900 (0:00:06.207)       0:03:45.725 ********* 
changed: [default]

PLAY RECAP *********************************************************************
default                    : ok=7    changed=6    unreachable=0    failed=0   

Friday 04 August 2017  00:57:02 +0900 (0:05:54.616)       0:09:40.341 ********* 
=============================================================================== 
make linux-kernel ----------------------------------------------------- 354.62s
install cross-compiler ------------------------------------------------ 123.37s
clone linux source ----------------------------------------------------- 55.15s
install basic packages ------------------------------------------------- 35.63s
load bcm2835_defconfig -------------------------------------------------- 6.21s
Gathering Facts --------------------------------------------------------- 3.48s
add /usr/local/gcc-linaro-6.3.1-2017.05-x86_64_arm-eabi/bin to path ----- 1.73s

結果を見ると、以下の順に時間がかかっているようです。

  1. Linux Kernelのビルド(354秒)
  2. ロスコンパイラのダウンロード(123秒)
  3. Linux Kernel Sourceのクローン(ダウンロード)(55秒)

(4位のUbuntuのアップデートとパッケージのインストールは高速化が難しいのでパスします。)

一番時間のかかっているLinux Kernelのビルドは、使用するVMの性能を上げれば短縮できそうです。 もちろん、性能の良いマシンはお金がかかるので、費用対効果も考える必要がありそうです。

2番目に時間のかかっているクロスコンパイラのダウンロードは、永続ディスクなどを作ってそこに保存しておいたものを使うといったことを行えれば速くできそうです。現在は何度も実行するとダウンロード先に負荷をかけてしまうかもしれないので、この改善は早めに行ったほうが良さそうです。

3番目のSourceのクローンも2番めと同様に、永続ディスクを作って保存しておいて、差分だけpullしてくれば速くできそうな気がします。

おわり

今回はvagrant-azureとansibleを使って、Azure上でLinux Kernelのビルドを行い、その実行時間を測ることと、どうすれば改善できそうかを考えました。

次回はより速くビルドできるよう、工夫してみようと思います。

vagrant-azureを使ってAzureに仮想マシンを建ててみたメモ

自宅開発環境が貧弱で大変厳しいので、コーディング環境含めクラウド上で行えるようにできないかと色々試しています。 とりあえず最低限SSH使える環境がアレばスマフォでもコーディングとビルドが行える環境を作るのが目標です。

クラウドは使っている間だけ課金されるので、使うときにマシンを建てて終わったら即潰す運用をすると安く済みそうです。 潰し忘れを防ぐため、インスタンスの立ち上げも落とすのもすべて自動でやりたいです。

今回はその第一歩として、READMEを読みながらVagrantを使ってMicrosoft Azure上に仮想マシンを建ててみました。

必要アプリのインストール

Vagrant, Azure-cli, vagrant-azure pluginとdotenvをインストールする必要があります。

Vagrant

やるだけ

Azure-cli

Azure-cliのインストール方法はgithubのREADMEを参照して行うだけです。

github.com

curl -L https://aka.ms/InstallAzureCli | bash

インストールはデフォルトだと ~/ 以下になります。 変えたいときはインストール時にパスを入力すると、その下においてくれます。

===> In what directory would you like to place the install? (leave blank to use '/home/tnishinaga/lib/azure-cli'): ~/opt/azure/lib/azure-cli
-- We will install at '/home/tnishinaga/opt/azure/lib/azure-cli'.             
===> In what directory would you like to place the 'az' executable? (leave blank to use '/home/tnishinaga/bin'): ~/opt/azure/bin

vagrant-azure

vagrant-azureプラグインも入れるだけ……なのですが、私の環境ではエラーが起きたので頑張ってインストールしました。 同じ問題が起きた方は参考にしてください。

tnishinaga.hatenablog.com

dotenv

dotenvをインストールすると.envに書いてある設定をVagrant内で読み込むことができるようになります。 この.envにアクセスキー等を書いておいて、.gitignoreに登録しておけばアクセスキーなどのネットに上がっては困る情報を間違えてネットにあげてしまうリスクを下げることができるようです。

vagrant-azureのREADMEにはインストールするよう書いてありませんが、サンプルで使ってるのでインストールします。

vagrant plugin install dotenv

vagrant-azureで仮想マシンを建ててみる

基本はvagrant-azureのREADMEにあるGetting Startedの手順をなぞるだけです。

github.com

初期設定

Azureへのログイン

az login でAzureにログインします。

あるURLにアクセスしてこのコードを入力してくださいと言われるので、そのとおりにします。

Azure Active Directory Applicationを作る

az ad sp create-for-rbac コマンドでAzure Active Directory Applicationというものを作ります。 以下のようなメッセージが出てくるはずなので、tenant, appId, passwordをメモっておいてください。

{
  "appId": "XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX",
  "displayName": "some-display-name",
  "name": "http://azure-cli-2017-04-03-15-30-52",
  "password": "XXXXXXXXXXXXXXXXXXXX",
  "tenant": "XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX"
}

サブスクリプションIDの取得

サブスクリプションIDも必要なので az account list --query "[?isDefault].id" -o tsv で取得してメモしておきます。

Vagrantfileの作成

以下のようなVagrantfileを作ります。

require 'dotenv'
Dotenv.load

Vagrant.configure('2') do |config|
  config.vm.box = 'azure'

  # use local ssh key to connect to remote vagrant box
  config.ssh.private_key_path = '~/.ssh/id_rsa'
  config.vm.provider :azure do |azure, override|

    # each of the below values will default to use the env vars named as below if not specified explicitly
    azure.tenant_id = ENV['AZURE_TENANT_ID']
    azure.client_id = ENV['AZURE_CLIENT_ID']
    azure.client_secret = ENV['AZURE_CLIENT_SECRET']
    azure.subscription_id = ENV['AZURE_SUBSCRIPTION_ID']
  end

end

vagrant-azureのREADMEとの差異として、以下を先頭に追記しています。

require 'dotenv'
Dotenv.load

これは、AZURE_TENANT_IDなどの値を.envから引いてくるために使われるdotenvプラグインを読みこむために必要です。

.envファイルを作る

.envファイルを作り、先程メモしたtenant, appId, password、サブスクリプションIDをここに入力します。

AZURE_TENANT_ID=tenant
AZURE_CLIENT_ID=appId
AZURE_CLIENT_SECRET=password
AZURE_SUBSCRIPTION_ID=サブスクリプションID

この.envファイルはgithub等にあげてしまうと悪用されてしまうので、.gitignoreに追加して公開されないようにしておきます。

echo ".env" >> .gitignore

ssh-keyを作っていない方は、ssh-keygenでid_rsaとid_rsa.pubの鍵ペアを作って置く必要もあります。

仮想マシンを起動してみる

vagrant box add azure https://github.com/azure/vagrant-azure/raw/v2.0/dummy.box --provider azure

したあと

vagrant up --provider=azure

仮想マシンがAzureで立ち上がるはずです。

立ち上がった後は、 vagrant sshSSHアクセスができます。

ロケーションのエラーが出た場合

私の使ってるサブスクリプションの問題で、エラーがでて起動できないことがありました。

  "response": {                                                                                                                                                                                                                                    
    "body": "{\"status\":\"Failed\",\"error\":{\"code\":\"DeploymentFailed\",\"message\":\"At least one resource deployment operation failed. Please list deployment operations for details. Please see https://aka.ms/arm-debug for usage details.
\",\"details\":[{\"code\":\"Conflict\",\"message\":\"{\\r\\n  \\\"error\\\": {\\r\\n    \\\"code\\\": \\\"SkuNotAvailable\\\",\\r\\n    \\\"message\\\": \\\"The requested tier for resource '/subscriptions/6af6c932-69d5-441b-9ed1-fbd7a6dc4e09/r
esourceGroups/polished-voice-4/providers/Microsoft.Compute/virtualMachines/fragrant-sun-83' is currently not available in location 'westus' for subscription '6af6c932-69d5-441b-9ed1-fbd7a6dc4e09'. Please try another tier or deploy to a differe

ログを見る限りでは、デフォルトで選択されるwestusロケーションが使えなかったようです。

これはlocationの設定を変更すると回避できるそうなので、とりあえず色々試して東南アジア(southeastasia)を選択しました。

ロケーション選択追記後のVagrantfileは以下のようになります。

require 'dotenv'
Dotenv.load

Vagrant.configure('2') do |config|
  config.vm.box = 'azure'

  # use local ssh key to connect to remote vagrant box
  config.ssh.private_key_path = '~/.ssh/id_rsa'
  config.vm.provider :azure do |azure, override|

    # each of the below values will default to use the env vars named as below if not specified explicitly
    azure.tenant_id = ENV['AZURE_TENANT_ID']
    azure.client_id = ENV['AZURE_CLIENT_ID']
    azure.client_secret = ENV['AZURE_CLIENT_SECRET']
    azure.subscription_id = ENV['AZURE_SUBSCRIPTION_ID']
    azure.location = "southeastasia"
  end

end

仮想マシンを潰す

使い終わったら、vagrant destroy でマシンを潰せます。

おしまい

とりあえずこれで仮想マシンの立ち上げと削除ができることが確認できました。

次はansibleを用いて環境の自動設定をやってみようと思います。