/home/tnishinaga/TechMEMO

日々行ったこと、面白かったことを書き留めます。

vagrant-azureを使ってAzureに仮想マシンを建ててみたメモ

自宅開発環境が貧弱で大変厳しいので、コーディング環境含めクラウド上で行えるようにできないかと色々試しています。 とりあえず最低限SSH使える環境がアレばスマフォでもコーディングとビルドが行える環境を作るのが目標です。

クラウドは使っている間だけ課金されるので、使うときにマシンを建てて終わったら即潰す運用をすると安く済みそうです。 潰し忘れを防ぐため、インスタンスの立ち上げも落とすのもすべて自動でやりたいです。

今回はその第一歩として、READMEを読みながらVagrantを使ってMicrosoft Azure上に仮想マシンを建ててみました。

必要アプリのインストー

Vagrant, Azure-cli, vagrant-azure pluginとdotenvをインストールする必要があります。

Vagrant

やるだけ

Azure-cli

Azure-cliのインストール方法はgithubのREADMEを参照して行うだけです。

github.com

curl -L https://aka.ms/InstallAzureCli | bash

インストールはデフォルトだと ~/ 以下になります。 変えたいときはインストール時にパスを入力すると、その下においてくれます。

===> In what directory would you like to place the install? (leave blank to use '/home/tnishinaga/lib/azure-cli'): ~/opt/azure/lib/azure-cli
-- We will install at '/home/tnishinaga/opt/azure/lib/azure-cli'.             
===> In what directory would you like to place the 'az' executable? (leave blank to use '/home/tnishinaga/bin'): ~/opt/azure/bin

vagrant-azure

vagrant-azureプラグインも入れるだけ……なのですが、私の環境ではエラーが起きたので頑張ってインストールしました。 同じ問題が起きた方は参考にしてください。

tnishinaga.hatenablog.com

dotenv

dotenvをインストールすると.envに書いてある設定をVagrant内で読み込むことができるようになります。 この.envにアクセスキー等を書いておいて、.gitignoreに登録しておけばアクセスキーなどのネットに上がっては困る情報を間違えてネットにあげてしまうリスクを下げることができるようです。

vagrant-azureのREADMEにはインストールするよう書いてありませんが、サンプルで使ってるのでインストールします。

vagrant plugin install dotenv

vagrant-azureで仮想マシンを建ててみる

基本はvagrant-azureのREADMEにあるGetting Startedの手順をなぞるだけです。

github.com

初期設定

Azureへのログイン

az login でAzureにログインします。

あるURLにアクセスしてこのコードを入力してくださいと言われるので、そのとおりにします。

Azure Active Directory Applicationを作る

az ad sp create-for-rbac コマンドでAzure Active Directory Applicationというものを作ります。 以下のようなメッセージが出てくるはずなので、tenant, appId, passwordをメモっておいてください。

{
  "appId": "XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX",
  "displayName": "some-display-name",
  "name": "http://azure-cli-2017-04-03-15-30-52",
  "password": "XXXXXXXXXXXXXXXXXXXX",
  "tenant": "XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX"
}

サブスクリプションIDの取得

サブスクリプションIDも必要なので az account list --query "[?isDefault].id" -o tsv で取得してメモしておきます。

Vagrantfileの作成

以下のようなVagrantfileを作ります。

require 'dotenv'
Dotenv.load

Vagrant.configure('2') do |config|
  config.vm.box = 'azure'

  # use local ssh key to connect to remote vagrant box
  config.ssh.private_key_path = '~/.ssh/id_rsa'
  config.vm.provider :azure do |azure, override|

    # each of the below values will default to use the env vars named as below if not specified explicitly
    azure.tenant_id = ENV['AZURE_TENANT_ID']
    azure.client_id = ENV['AZURE_CLIENT_ID']
    azure.client_secret = ENV['AZURE_CLIENT_SECRET']
    azure.subscription_id = ENV['AZURE_SUBSCRIPTION_ID']
  end

end

vagrant-azureのREADMEとの差異として、以下を先頭に追記しています。

require 'dotenv'
Dotenv.load

これは、AZURE_TENANT_IDなどの値を.envから引いてくるために使われるdotenvプラグインを読みこむために必要です。

.envファイルを作る

.envファイルを作り、先程メモしたtenant, appId, password、サブスクリプションIDをここに入力します。

AZURE_TENANT_ID=tenant
AZURE_CLIENT_ID=appId
AZURE_CLIENT_SECRET=password
AZURE_SUBSCRIPTION_ID=サブスクリプションID

この.envファイルはgithub等にあげてしまうと悪用されてしまうので、.gitignoreに追加して公開されないようにしておきます。

echo ".env" >> .gitignore

ssh-keyを作っていない方は、ssh-keygenでid_rsaとid_rsa.pubの鍵ペアを作って置く必要もあります。

仮想マシンを起動してみる

vagrant box add azure https://github.com/azure/vagrant-azure/raw/v2.0/dummy.box --provider azure

したあと

vagrant up --provider=azure

仮想マシンがAzureで立ち上がるはずです。

立ち上がった後は、 vagrant sshSSHアクセスができます。

ロケーションのエラーが出た場合

私の使ってるサブスクリプションの問題で、エラーがでて起動できないことがありました。

  "response": {                                                                                                                                                                                                                                    
    "body": "{\"status\":\"Failed\",\"error\":{\"code\":\"DeploymentFailed\",\"message\":\"At least one resource deployment operation failed. Please list deployment operations for details. Please see https://aka.ms/arm-debug for usage details.
\",\"details\":[{\"code\":\"Conflict\",\"message\":\"{\\r\\n  \\\"error\\\": {\\r\\n    \\\"code\\\": \\\"SkuNotAvailable\\\",\\r\\n    \\\"message\\\": \\\"The requested tier for resource '/subscriptions/6af6c932-69d5-441b-9ed1-fbd7a6dc4e09/r
esourceGroups/polished-voice-4/providers/Microsoft.Compute/virtualMachines/fragrant-sun-83' is currently not available in location 'westus' for subscription '6af6c932-69d5-441b-9ed1-fbd7a6dc4e09'. Please try another tier or deploy to a differe

ログを見る限りでは、デフォルトで選択されるwestusロケーションが使えなかったようです。

これはlocationの設定を変更すると回避できるそうなので、とりあえず色々試して東南アジア(southeastasia)を選択しました。

ロケーション選択追記後のVagrantfileは以下のようになります。

require 'dotenv'
Dotenv.load

Vagrant.configure('2') do |config|
  config.vm.box = 'azure'

  # use local ssh key to connect to remote vagrant box
  config.ssh.private_key_path = '~/.ssh/azure_tnishinaga'
  config.vm.provider :azure do |azure, override|

    # each of the below values will default to use the env vars named as below if not specified explicitly
    azure.tenant_id = ENV['AZURE_TENANT_ID']
    azure.client_id = ENV['AZURE_CLIENT_ID']
    azure.client_secret = ENV['AZURE_CLIENT_SECRET']
    azure.subscription_id = ENV['AZURE_SUBSCRIPTION_ID']
    azure.location = "southeastasia"
  end

end

仮想マシンを潰す

使い終わったら、vagrant destroy でマシンを潰せます。

おしまい

とりあえずこれで仮想マシンの立ち上げと削除ができることが確認できました。

次はansibleを用いて環境の自動設定をやってみようと思います。

Arch Linuxのマシンにvagrant-azureプラグインを入れる話

vagrantを使ってAzureに仮想マシンを建てようとしたらそれ以前のところで躓いたので備忘録として残しておきます。

問題が起こった環境

Arch Linux(x86_64)

$ yaourt vagrant
1 community/vagrant 1.9.5-1 [installed]
    Build and distribute virtualized development environments
2 community/vagrant-substrate 605.0566498-2 [installed]
    Substrate layer for Vagrant

問題1 : SEGVする

$ vagrant plugin install vagrant-azure --plugin-version '2.0.0.pre8'                                                                                                                                                   
Installing the 'vagrant-azure --version '2.0.0.pre8'' plugin. This can take a few minutes...                                                                                                                                                       
/opt/vagrant/embedded/lib/ruby/2.2.0/rubygems/source.rb:192: [BUG] Segmentation fault at 0x00000000000000                                                                                                                                          
ruby 2.2.5p319 (2016-04-26 revision 54774) [x86_64-linux] 

この問題はvagrant-substrateのバージョンをダウングレードして599.d7cedfe-2にすると回避できました。

arch linux - Install vagrant plugin on archlinux - Server Fault

ダウングレードにはAURにあるdowngraderを使いました。

パッケージのダウングレード - ArchWiki

$ downgrader vagrant-substrate
 Downgrade package: vagrant-substrate  
1: vagrant-substrate-605.056649/var/cache/pacman/pkg/vagrant-substrate-605.0566498-2-x86_64.pkg.tar.xz  (from cache)
2: vagrant-substrate-605.056649/var/cache/pacman/pkg/vagrant-substrate-605.0566498-1-x86_64.pkg.tar.xz  (from cache)
3: vagrant-substrate-599.d7cedfhttps://archive.archlinux.org/packages/v/vagrant-substrate/vagrant-substrate-599.d7cedfe-2-x86_64.pkg.tar.xz  [installed]
4: vagrant-substrate-599.d7cedfhttps://archive.archlinux.org/packages/v/vagrant-substrate/vagrant-substrate-599.d7cedfe-1-x86_64.pkg.tar.xz  (from ALA)
5: vagrant-substrate-582.d66af9https://archive.archlinux.org/packages/v/vagrant-substrate/vagrant-substrate-582.d66af96-2-x86_64.pkg.tar.xz  (from ALA)
6: vagrant-substrate-582.d66af9/var/cache/pacman/pkg/vagrant-substrate-582.d66af96-1-x86_64.pkg.tar.xz  (from cache)
7: vagrant-substrate-575.af2838https://archive.archlinux.org/packages/v/vagrant-substrate/vagrant-substrate-575.af28386-1-x86_64.pkg.tar.xz  (from ALA)
8: vagrant-substrate-569.8bb245https://archive.archlinux.org/packages/v/vagrant-substrate/vagrant-substrate-569.8bb245a-1-x86_64.pkg.tar.xz  (from ALA)
9: vagrant-substrate-554.977218https://archive.archlinux.org/packages/v/vagrant-substrate/vagrant-substrate-554.9772186-2-x86_64.pkg.tar.xz  (from ALA)
10: vagrant-substrate-554.977218https://archive.archlinux.org/packages/v/vagrant-substrate/vagrant-substrate-554.9772186-1-x86_64.pkg.tar.xz  (from ALA)
11: vagrant-substrate-526.6bb2e8https://archive.archlinux.org/packages/v/vagrant-substrate/vagrant-substrate-526.6bb2e80-1-x86_64.pkg.tar.xz  (from ALA)
12: vagrant-substrate-524.64c526https://archive.archlinux.org/packages/v/vagrant-substrate/vagrant-substrate-524.64c5261-2-x86_64.pkg.tar.xz  (from ALA)
13: vagrant-substrate-524.64c526https://archive.archlinux.org/packages/v/vagrant-substrate/vagrant-substrate-524.64c5261-1-x86_64.pkg.tar.xz  (from ALA)
>> Please enter package number, [q] to quit 

downgraderを使うとこんな感じにダウングレードできるバージョンを教えてくれるので、左の番号を入力してダウングレードを行います。

今回は599.d7cedfe-2になって欲しいので、3を入力してエンターを押すとダウングレードが始まります。

問題2: mime-typesがバージョンコンフリクトを起こす

$ vagrant plugin install vagrant-azure                                                        
Installing the 'vagrant-azure' plugin. This can take a few minutes...                                                    
/opt/vagrant/embedded/lib/ruby/2.2.0/rubygems/specification.rb:2100:in `check_version_conflict': can't activate mime-types-2.99.3, already activated mime-types-3.1 (Gem::LoadError)

こんなエラーが出ます。

Arch以外の環境の人も同じ問題にハマっているようです。

Plugin fails to install with vagrant 1.9.1 · Issue #150 · Azure/vagrant-azure · GitHub

この問題は、プラグインのバージョンを指定したら回避できました。

vagrant plugin install vagrant-azure --plugin-version '2.0.0.pre8'

おわり

とりあえずこれで問題はすべて回避できたはずです。

明日からようやくvagrantでAzureに仮想マシン建てる作業に入れそうです……

gnu-efiを使ってAARCH64/ARM64のUEFIサンプルアプリを動かしてみる

UEFIアプリを作るためのツールキットとしてはEDK2とgnu-efiの2つが有名ですが、後者のgnu-efiについて書いているところが少なかった気がしたので、サンプルビルドの方法とQEMU上で実行する手順について書いておくことにしました。

対象はx86_64ではなく、AARCH64(ARM64)です。クロスコンパイラを用意してから読んでください。

gnu-efiのビルド

ダウンロードする

以下からgnu-efiをもらってきます。

gnu-efi - Browse Files at SourceForge.net

バージョンは3.0.5が最新だったので、そちらをダウンロードしました。

解凍

tar xf gnu-efi-3.0.5.tar.bz2

ビルドする

cd gnu-efi-3.0.5

と移動して、CROSS_COMPILE変数を使ってクロスコンパイラの名前を教えてあげるとビルドができます。

make CROSS_COMPILE=aarch64-linux-gnu-

このとき、gccのバージョンが新しい(ver 7.x)の場合は、gnu-efiのコードのswitchにfallthrough(わざとbreakを挟まずに次の条件の処理を実行すること)しているところがあるので、次のようなエラーが出ます。

aarch64-linux-gnu-gcc -I/home/tnishinaga/gnu-efi-3.0.5/lib -I/home/tnishinaga/gnu-efi-3.0.5/lib/../inc -I/home/tnishinaga/gnu-efi-3.0.5/lib/../inc/aarch64 -I/home/tnishinaga/gnu-efi-3.0.5/lib/../inc/protocol -fpic  -g -O2 -Wall -Wextra -Werror -fshort-wchar -fno-strict-aliasing -fno-merge-constants -ffreestanding -fno-stack-protector -fno-stack-check -DCONFIG_aarch64 -c /home/tnishinaga/gnu-efi-3.0.5/lib/print.c -o print.o
/home/tnishinaga/gnu-efi-3.0.5/lib/print.c: In function '_Print':
/home/tnishinaga/gnu-efi-3.0.5/lib/print.c:1133:26: error: this statement may fall through [-Werror=implicit-fallthrough=]
                 Item.Pad = '0';
                 ~~~~~~~~~^~~~~
/home/tnishinaga/gnu-efi-3.0.5/lib/print.c:1134:13: note: here
             case 'x':
             ^~~~
cc1: all warnings being treated as errors

問題の詳細は以下を参照してください。

-Wimplicit-fallthrough in GCC 7 – RHD Blog

このエラーが起こった人は、makeの際に CFLAGS=-Werror=implicit-fallthrough=0を付けると、エラーを回避できます。

make CROSS_COMPILE=aarch64-linux-gnu- CFLAGS=-Werror=implicit-fallthrough=0

サンプルをビルドする

サンプルは以下のコマンドでビルドできます。

make CROSS_COMPILE=aarch64-linux-gnu- CFLAGS=-Werror=implicit-fallthrough=0 apps

ビルドさせたファイルは、gnu-efiディレクトリの下にある aarch64/apps に置かれています。

サンプルを動かしてみる

QEMUを使ってサンプルのUEFIアプリを起動してみましょう。

準備

OVMFの取得などの準備は、以下の記事を参照して行ってください。

tnishinaga.hatenablog.com

QEMUを起動する

以下のコマンドを実行すると、aarch64/apps以下が仮想マシンのドライブとしてマウントされた状態でUEFIシェルが起動します。

qemu-system-aarch64 -m 128 -cpu cortex-a57 -M virt -bios ../QEMU_EFI.fd -serial stdio -hda fat:rw:aarch64/apps

なお、ここで以下のエラーが出た人は、-hda fataarch64/appsの間に :rw: が正しく挟めているかを確認してください。

$ qemu-system-aarch64 -m 128 -cpu cortex-a57 -M virt -bios ../QEMU_EFI.fd -serial stdio -hda fat:aarch64/apps
vvfat aarch64/apps chs 1024,16,63
WARNING: Image format was not specified for 'json:{"fat-type": 0, "dir": "aarch64/apps", "driver": "vvfat", "floppy": false, "rw": false}' and probing guessed raw.
         Automatically detecting the format is dangerous for raw images, write operations on block 0 will be restricted.
         Specify the 'raw' format explicitly to remove the restrictions.
qemu-system-aarch64: -hda fat:aarch64/apps: Block node is read-only

サンプルを実行する

UEFIシェル上で以下のコマンド(fs0:の部分)を実行すると、サンプルアプリのあるデバイスに移動できます。

Shell> fs0:

ここで、以下の用にするとHelloWorldサンプルが実行され、画面にHelloWorldが表示されます。

FS0:\> t.efi
HHello World!

f:id:tnishinaga:20170620191619p:plain

とりあえず以上です。

これからgnu-efiで自分のアプリを作る方法を調べようと思います。

先日U-Bootに投稿したARMv7MのLinux起動時にデータキャッシュを無効にするパッチについての備忘録

先日、以下のパッチをU-Bootに投稿し、マージされました。

[U-Boot] [PATCH] armv7m: Disable D-cache when booting nommu(ARMv7M) Linux kernel

忘れないように、なぜこのパッチを投稿したかを残しておこうと思います。

前回のあらすじ

ARM Cortex-M7マイコンの乗ったSTM32F746G-discovery board上でnommuなLinux kernelを動かすために色々頑張ってます。

解決したい課題

U-Bootからnommu Linux kernelのImageを起動すると、proc-v7m.Sの以下のsvc命令を実行するところで落ちる問題がありました。

 cpsie   i
    svc #0
1:  cpsid   i

linux/proc-v7m.S at master · torvalds/linux · GitHub

原因の心当たり

じつはこの問題のところ、以前私が触っていたときにも問題を起こした部分です。

当時はキャッシュを無効にした状態でcpsieとsvcの間にnopを10個ほど挟むと問題が解決するので、キャッシュかパイプラインが悪さをしているのではないかと考えていました。

その後、この問題は他の方が解決し、パッチを投稿し、マージされています。

github.com

今回はこのパッチがマージされた後の話ですが、前回の問題と似通っているので、今回も多分キャッシュとかパイプラインに問題があるのではとあたりをつけました。

問題の原因

nommu Linux起動の条件

MMUの無いARMv7MアーキテクチャのCPUで動作するnommu Linuxは、起動時にいくつか満たしていなければならない条件があり、その条件は linux/head-nommu.S at master · torvalds/linux · GitHub の頭にかかれています。その記述の一部を引用します。

The requirements are: MMU = off, D-cache = off, I-cache = dont care

ここで述べられているように、nommuなARMのLinux kernelはエントリポイントの時点ではMMUがoffかつデータ(D)キャッシュがoffである必要があります(命令(I)キャッシュは不問)。

なので、U-BootなどのブートローダーからLinux Kernelのエントリポイントに分岐する際は、データキャッシュをoffにしておく必要があります。

一方、U-Bootは……

U-Bootは2017年3月頃にARMv7MアーキテクチャのCPUでcacheを有効にするパッチが投稿・マージされたようで、現在は起動時に自動でデータ及び命令キャッシュの両方が有効になります。

[U-Boot] [PATCH 0/2] add armv7m cache support

しかし、Linux kernelのエントリポイントに飛ぶ処理を担当するboot_jump_linux関数を arch/arm/lib/bootm.c より読んでみると、ARMv7M上でLinuxを起動する場合にデータキャッシュを無効化を行っていませんでした。

解決方法

boot_jump_linux関数内にはARMv7Mアーキテクチャの場合はThumb命令を考慮してエントリポイントアドレスの下1桁を1にする処理が入っていました。なので、その部分にデータキャッシュを無効化するdcache_disable関数を追加しました。

これにより、ARMv7MアーキテクチャのCPU上でnommu Linux kernelが起動するようになりました。

投稿したパッチは既にU-Bootに取り込まれているため、Masterブランチのコードを使えば、キャッシュのあるARMv7Mマイコン上でもU-Bootを使ってLinuxを問題なく起動できるはずです。

以上です。

ARM命令はなぜ先頭に0xEが並ぶのかについて調べてみた

www.slideshare.net

こちらのスライドでご存知の方も多いと思いますが、ARMの実行バイナリをバイナリエディタのビットマップビューで見るとゴマ粒のようなものが縦に並んでいるのが見えます。

f:id:tnishinaga:20170519035405p:plain

これはほとんどの命令の先頭4bitが0xEになるというARM命令の特徴によるものであり、CTFなどでそのバイナリがどのアーキテクチャ向けのものかを特定する手がかりになります。

ここまでは私も知っていたのですが、ではなぜ命令の頭が0xEになるかまでは調べたことが無かったので、調べてみました。

条件実行

先頭が0xEとなる理由を探るため、ARM7の資料を参照してARM命令のフォーマットを確認してみます。

ARM Information Center

この資料より、ARM命令のフォーマットは大まかに以下のような構成になっていることがわかります。

| cond(4bit) | opcode | Rd | Rn | Operand2 |

多くが0xEとなっている先頭4bitの部分には、コンディション(Cond)フィールドがあります。 この部分は、ARM命令の特徴としてもよくあげられる、条件実行命令のために利用されます。

この条件実行命令がどういうものかというと、例えば「R0とR1の値が同じ値ならR0にR2を加算する」といったようなことをしようとしたとき、通常は以下のようなプログラムを書きます。

    cmp R0, R1
    beq addC
    b noaddC
addC:
    add R0, R0, R2
noaddC:
    nop

一方、ここで条件実行命令を使うと、以下のように書くことができます。

    cmp R0, R1
    addeq R0, R0, R2
    nop

このように、命令の後ろに条件を付けることで、特定の条件を満たす場合のみ、その命令を実行するといったことができます。 この条件実行命令の条件を指定する部分が、コンディションフィールドになります。

命令を常に実行したい場合は、条件によらず常に実行するというALコンディションを使いますが、このALコンディションは命令から省略することが可能です。 つまり、add命令と addal の命令は、コンパイルすると同じ命令が生成されることになります。

[tnishinaga@tx201 add]$ cat add.S
        add r0, r0, #0
        addal r0, r0, #0

[tnishinaga@tx201 add]$ arm-none-eabi-gcc -c -o add.o add.S 

[tnishinaga@tx201 add]$ arm-none-eabi-objdump -D add.o 

add.o:     file format elf32-littlearm


Disassembly of section .text:

00000000 <.text>:
   0:   e2800000        add     r0, r0, #0
   4:   e2800000        add     r0, r0, #0

このALを示すコードが0b1110であり、16進数では0xEとなります。 これが、ARM命令の先頭によく出てくる0xEの正体です。

ARMの命令は32bit固定長かつリトルエンディアンです。 なので、バイナリエディタで見ると0x*****Eのような値が規則正しく並び、ビットマップビューではこのEの部分が黒塗りとなるため、ゴマ粒が縦に綺麗に並んだバイナリを見ることができるのです。

まとめ

  • ARMバイナリの規則正しい黒ごまが見えるのは命令の最初が0xEから始まるため
  • 多くの命令の先頭が0xEなのは、コンディションフィールドの値がAL(0xE)だから

以上です。

間違い等あればコメントで指摘のほどよろしくお願いします。

参考

Arch LinuxのAndroid StudioでAndroidエミュレータが立ち上がらなかった件

数年ぶりに簡単なAndroidアプリを作ってみたくなったので、AndroidStudioをインストールしてとりあえずHelloWorldアプリを動かそうとしたのですが、AVDマネージャーからAndroidエミュレータの起動ボタンを押しても一向に端末の画面が出てきてくれる気配がありません。

今回はこの問題について、こうして原因特定して、調べて、動くようにしましたというメモです。

開発環境

OS Arch Linux(x86_64)
IDE AnrdoidStudio
AndroidSDKインストール ~/Android

問題

AVDマネージャーからAndroidエミュレータが起動しない。

原因特定

AndroidStudioのGUIから起動しようとすると何処にエラーログが出ているかわからなかったので、「たぶんCUIからもエミュレータの起動は可能で、CUIから起動すればエラーログも見えるでしょう」と考えてCUIで起動する方法を探しました。

CUIからのエミュレータ起動は、emulatorという実行バイナリを使って行えます。 これらはAndroidSDKのtoolsディレクトリ以下(こちらの環境では~/Android/Sdk/tools)にありました。

emulatorのhelpを見ると、AVDマネージャで作成したデバイス名を引数に渡すと良いようです。

$ ./emulator --help
emulator: ERROR: No AVD specified. Use '@foo' or '-avd foo' to launch a virtual device named 'foo'

AVDマネージャで作成したデバイス一覧は、tools/bin以下のavdmanagerにlist avdと指定すると教えてくれます。 私の環境で実行した結果は以下のような感じ。

 ./bin/avdmanager list avd
Available Android Virtual Devices:
Name: Nexus_S_API_25
Device: Nexus S (Google)
Path: /home/tnishinaga/.android/avd/Nexus_5X_API_25.avd
Target: Google APIs (Google Inc.)
Based on: Android 7.1.1 (Nougat) Tag/ABI: google_apis/x86
Skin: nexus_s
Sdcard: /home/tnishinaga/.android/avd/Nexus_5X_API_25.avd/sdcard.img

後はエミュレータを起動するだけです。

$ ./emulator -avd Nexus_S_API_25
sh: glxinfo: command not found
sh: glxinfo: command not found
emulator: ERROR: Failed to retrieve DNS servers list from the system
emulator: WARNING: Cannot find system DNS servers! Name resolution will be disabled.
emulator: WARNING: encryption is off
emulator: WARNING: UpdateCheck: Failure: Error
libpng warning: iCCP: known incorrect sRGB profile
libpng warning: iCCP: known incorrect sRGB profile
libpng warning: iCCP: known incorrect sRGB profile
libpng warning: iCCP: known incorrect sRGB profile
libpng warning: iCCP: known incorrect sRGB profile
libpng warning: iCCP: known incorrect sRGB profile
libpng warning: iCCP: known incorrect sRGB profile
libGL error: unable to load driver: i965_dri.so
libGL error: driver pointer missing
libGL error: failed to load driver: i965
libGL error: unable to load driver: i965_dri.so
libGL error: driver pointer missing
libGL error: failed to load driver: i965
libGL error: unable to load driver: swrast_dri.so
libGL error: failed to load driver: swrast
X Error of failed request:  BadValue (integer parameter out of range for operation)
Major opcode of failed request:  156 (GLX)
Minor opcode of failed request:  24 (X_GLXCreateNewContext)
Value in failed request:  0x0
Serial number of failed request:  42
Current serial number in output stream:  43
QObject::~QObject: Timers cannot be stopped from another thread
Segmentation fault (core dumped)

エラーのようなのは以下の3つ:

  • sh: glxinfo: command not found
  • emulator: ERROR: Failed to retrieve DNS servers list from the system
  • X Error of failed request: BadValue (integer parameter out of range for operation)

glxinfoが無いと言われる件は、yaourtでAURからインストールすれば解決しますが、それでもエミュレータは起動しません。

DNSもどうのう言ってますが、それだけでエミュレータがセグフォするとは考えられないので無視します。

最後のX周りのエラーが怪しいです。

調査と解決

Xのところをエラー文でググると、それっぽいものがヒット。

stackoverflow.com

libstdc++のことが取り上げられてますが、X周りならGraphics系じゃないかなーと描画方法をAutomaticからSoftwareに変更したところ、動くようになりました。

解決方法

f:id:tnishinaga:20170504025017p:plain

Emulated PerformanceのGraphicsのところをSoftwareにする。

ベストな解決方法じゃないかもしれませんが、とりあえず動けば良いのでこれで開発を続けようと思います。

ベストな方法をご存じの方はコメントで教えていただけると嬉しいです。

以上。

QEMUでARM64(AARCH644)のUEFIコンソールを実行する

UEFIといえばパソコンのBIOSに変わるファームウェアが真っ先に思い浮かびますが、最近ではHiKey boardなどARM64(AARCH64)の乗ったボードのファームウェアにもUEFIが使われ始めています。

UEFIを採用したボード上で動作するUEFIアプリケーションや、UEFIから起動するOSなどを作るために、開発中は何度も再起動やプログラムの転送等を行う必要があるでしょう。 しかし、この作業を実機の上で行うと手間がかかりますし、接続できるデバッガを持っていない場合はデバッグも不便です。

そこで今回は、QEMUを用いてARM64のUEFIアプリケーション開発等をエミュレータ上で行えるようにする方法について調べ、ここに記します。

実行環境

マシン ThinkPad x201
CPU Intel® Core™ i5 CPU M560 @ 2.67GHz
RAM 8GB
OS Arch Linux x86_64

手順

ARM64向けUEFI(以降、ARM64 UEFI)をQEMUで動かす方法は、ビルド済みイメージを用いる方法と、ソースからビルドを行う方法の2種類があります。

ビルド済みイメージを用いる方法は、以下のようなことを望む方におすすめです。

  • 手軽にARM64 UEFIを試したい方
  • UEFI上で動作するアプリケーションの開発・デバッグを行いたい方

ソースからビルドを行う方法は、以下のようなことを望む方におすすめです。

  • ソースからビルドする方法を知りたい方

ソースからビルドすればUEFIファームウェア自体をデバッグすることも可能かもしれませんが、やったことがないのでわかりません。

手順(共通ルート)

ARM64向けのQEMUをインストールする

Arch LinuxではPacmanで簡単に入ります

sudo pacman -S qemu-arch-extra

手順(ビルド済みイメージを使う方法)

UEFI(ARM64)のQEMU向け仮想マシンイメージを持ってくる

通常、QEMUで動作するUEFIイメージは、EDK2などを用いて自分でビルドを行う必要がありますが、ビルド済みイメージも配布されています。

x86用のビルド済みイメージであればPacmanからすぐにインストールできますが、ARM64向けのイメージはパッケージが用意されていません。 なので、ビルド済みイメージを以下のようにしてダウンロードします。

wget http://snapshots.linaro.org/components/kernel/leg-virt-tianocore-edk2-upstream/latest/QEMU-AARCH64/RELEASE_GCC5/QEMU_EFI.fd

手順(ソースからビルドを行う方法)

ビルドに必要な環境をインストールします。

sudo pacman -S aarch64-linux-gnu-binutils \
    aarch64-linux-gnu-gcc \
    aarch64-linux-gnu-gdb \
    aarch64-linux-gnu-glibc \
    aarch64-linux-gnu-linux-api-headers \
    iasl

edk2をクローンします。

git clone https://github.com/tianocore/edk2

BaseToolsをビルドします。

cd edk2
make -C BaseTools

環境設定をします。

source edksetup.sh
export GCC49_AARCH64_PREFIX=aarch64-linux-gnu-

最後にQEMU用のUEFIイメージをビルドします。

build -a AARCH64 -t GCC49 -p ArmVirtPkg/ArmVirtQemu.dsc

ビルドが完了するとDoneといわれます。 ビルドしたQEMU用のイメージは、Build/ArmVirtQemu-AARCH64/DEBUG_GCC49/FV/QEMU_EFI.fdにあります。

手順(再び共通ルート)

QEMUでARM64 UEFIを起動する

ダウンロード、またはビルドした QEMU_EFI.fd のあるディレクトリで以下のコマンドを実行することで、QEMU上でARM64 UEFIを起動することができます。

終了する際は、別窓で開くQEMUコンソールにqと打ち込んでエンターを押すと終了できます。

qemu-system-aarch64 -m 512 -cpu cortex-a57 -M virt -bios QEMU_EFI.fd -serial stdio

グラフィックが必要ない方は以下のコマンドを実行します。

終了する際は、起動したシェルの上で Ctrl + a, x の順に入力すると終了できます。

qemu-system-aarch64 -m 512 -cpu cortex-a57 -M virt -bios QEMU_EFI.fd -nographic

f:id:tnishinaga:20170317035453p:plain

起動時間は、私のマシン(初代Core i5@M540 2.67GHz)ではUEFIシェルが出てくるまでに1~2分ほどかかりました。

最近の性能の良いマシンだと、もう少し起動が速いかもしれません(性能の良いマシンがほしい……)

以上です。

参考情報

EDK2を用いてARM64向けのUEFIファームウェアをビルドする方法やQEMUで起動する方法などについて書かれています。

UEFIアプリケーションをGDBデバッグする方法が書かれています。

ここで紹介されている方法は以下の手順でデバッグを行います。

  1. UEFIアプリにアプリケーションのロードされた場所(ImageBase)を表示させる
  2. 停止させる
  3. デバッガを仮想マシンに接続する
  4. デバッガへImageBaseアドレスを用いてシンボル情報を適切な位置に読み込ませる
  5. 手順2.で停止させたところからデバッグを開始する

UEFIアプリが読み込まれるアドレスが不明のため、このようなことを行う必要があります。

すごく面倒なので何か自動化したいですが……何か良い方法はないものか……