Posts on omoikane.dev

GNURadio QuadratureDemodブロックのアルゴリズム

Sun, 16 Aug 2020 03:50:29 +0900

TL;DR

FSKをGNURadioで復調する時に使う、QuadratureDemodブロックは、$n$番目のサンプリングで得られたI/Q値を \[ \begin{aligned} x_n &= A\mathrm{e}^{j\omega t + \phi}\\ &= \mathrm{exp}(2 \pi j\frac{F_n}{F_s}n + \phi) \end{aligned} \] としたとき、

\[ \mathrm{arg}(x_n \times x_{n-1}^*) \] を計算している。これはI/Q信号を極座標表示した時の偏角の時間微分であり、まさに周波数である。ただし、$F_s$はサンプリング周波数、$F_n$は信号波の周波数とする。

GNURadioのWikiにある、Quadrature Demodを見ていたら、以下の記述があった。

Mathematically, this block calculates the product of the one-sample delayed input and the conjugate undelayed signal, and then calculates the argument of the resulting complex number… (数学的に、このブロックは、1サンプル遅れた入力と、遅れていない信号の複素共役の積を求め、出てきた複素数の偏角を計算する)

とある。この文章の後、数式がかかれているようだが、なぜか数式がレンダリングされない。というか、$\TeX$の構文が画像になっている。せっかくなので、ちょっと式をフォローしてみよう。

任意のサンプリングにおける周波数の算出

SDRで受信して出てきたI/Q信号は、複素数で書ける。任意の時刻$t$における信号$x$は、

\[ x = A\mathrm{e}^{j\omega t} \] と書ける。ここで、$\omega = 2 \pi f$は角振動数であり、$A$は振幅である。

SDRでは、サンプリング周波数$F_s$の周期$T_s = \frac{1}{F_s}$毎に取得されたI/Q信号が得られる。よって、$n$番目のサンプリングを得た時刻$t$は、$t = T_s n$であるから、 $n$番目のサンプリングで得たI/Q信号は

\[ x_n = A\mathrm{exp} [j\omega_n T_s n + \phi] \] となる。ここで、$\omega_n$はn番目のサンプリングで得られたI/Q信号の角周波数、また$\mathrm{exp}(a) = \mathrm{e}^a$である。

求める値は、

1サンプル遅れた入力と、遅れていない信号の複素共役の積を求め、出てきた複素数の偏角

であるから、以下の式になる。

\[ Y_n = \mathrm{arg} [x_{n-1} \times x_n^* ] \]

まず、右辺括弧内を計算しよう。計算は簡単。手の運動。

\[ \begin{aligned} y_n &= x_{n-1} \times x_n^* \\ &= A\mathrm{exp} [j\omega_{n-1} T_s (n-1) + \phi] \times A\mathrm{exp} [-(j\omega_{n} T_s n + \phi)] \\ &= A^2\mathrm{exp} [j\omega_{n-1} T_s (n-1) + \phi -(j\omega_{n} T_s n + \phi)] \\ &= A^2\mathrm{exp} [jT_s \{ n(\omega_{n-1} - \omega_n) - \omega_{n-1} \}] \\ &= A^2\mathrm{exp} [jTs \{ \frac{\omega_{n-1} - \omega_n}{\omega_n}n - \omega_{n-1} \}] \end{aligned} \]

ここで、FSKの周波数偏移を$\delta f$とすると、 $|\omega_{n-1} - \omega_n| \le 2\delta\omega$である。FSKの場合、キャリア周波数に比べて周波数偏差は充分小さい。たとえば、920MHz帯で50kbpsであれば、周波数偏移25kHzである。よって、

\[ |\omega_{n-1} - \omega_n| \le 2\delta\omega \ll \omega_n \]

となり、 \[ \frac{\omega_{n-1} - \omega_n}{\omega_n} \approx 0 \] と近似することができる。前述の例に適用して確認してみると、

\[ \frac{2\times 50 \times 10^3}{920 \times 10^6} \approx \times 10^{-4} \] となる。あまり良い近似ではないが、実用上問題ないだろう。

以上のことから、 \[ \begin{aligned} y_n &\approx A^2\mathrm{exp}(-jT_s \omega_{n-1}) \\ Y_n &\approx \mathrm{arg}(y_n) \\ &= -T_s \omega_{n-1} = -2\pi \frac{F_{n-1}}{F_s} \end{aligned} \] となる。

結果の評価

げげげっ。$F_{n-1}$も$F_s$も周波数なので0より大きいから、$Y_n$が負の値になってしまう。物理的に考えると、$Y_n$は、複素数の偏角の時間微分、すなわち周波数を計算しているのであるから$Y_n$は正の実数でなければならない。

考えてみると、$Y_n$は、$n-1$番目の偏角から$n$番目の偏角を引いている。これは引き算の順序が逆である。そういえば、件の文章の後の数式もちゃんと$\TeX$を読んでみると、

\[ y[n] = …. = \mathrm{arg} (A\mathrm{e}^{j 2\pi \frac{f}{f_s}n + \phi_0} \mathrm{e}^{-j 2\pi \frac{f}{f_s} (n-1)}) \]

みたいなことが書いてある。これって、$n$番目から$n-1$番目の偏角を引いている… だまされた。

ということで、GNURadioのQuadrature DemodのWikiおよびドキュメントは間違っていて、たとえば、

Mathematically, this block calculates the product of the undelayed input and the complex conjugate of the one-sample delayed signal, and then calculates the argument of the resulting complex number

と修正すべきである。

一応、ソースを見て私が間違ってないか確認しなきゃ。

数式のテスト

Sat, 15 Aug 2020 17:23:47 +0900

HugoのThemeをアップデートして、$\KaTeX$ を使った数式をレンダリングできるようにしたのでテスト。

\[ e^{i\pi} + 1 = 0 \]

ふむ。

\[ \begin{aligned}\nabla \cdot \mathbf{B} &= 0\\ \nabla \times \mathbf{E} &= -\frac{\partial\mathbf{E}}{\partial t}\\ \nabla \cdot \mathbf{D} &= \rho\\ \nabla \times \mathbf{H} &= \mathbf{j} + \frac{\partial \mathbf{D}}{\partial t} \end{aligned} \]

式の整列もできてる。フォントもきれい。

AWS KMSでの手動キーローテーション

Fri, 07 Aug 2020 16:50:59 +0900

TL;DR

あるAWS Security関連の教科書に、KMSの手動ローテーションは、鍵を新規作成して古い鍵を削除する旨の記述があり、「古い鍵を削除したら復号できなくなるじゃないのか？」と思ったので検証してみた。

KMSのAPIに、ReEncryptというキーローテーションのためのAPIが用意されており、これを使うと、新しい鍵でData Keyを再暗号化できる。よって管理しているData Keyをすべて再暗号化すれば、ローテーションされた古い鍵を削除することができる。

また手動キーローテーションは、以下の手順がよさそうだ。

新しい鍵を生成 (CreateKey)
ローテートする鍵のエイリアスを新しい鍵に継承 (UpdateAlias)
古い鍵で暗号化したData Keyを新しい鍵で再暗号化 (ReEncrypt)
古い鍵の削除予約 (ScheduleKeyDeletion)

Introduction

AWS KMS 開発者ガイドの手動でのキーローテーションには、以下の注釈がある。

新しい CMK の使用を開始するときに、元の CMK を有効なままにすれば、AWS KMS は元の CMK により暗号化されたデータを復号できます。データを復号するとき、KMS はデータの暗号化に使用された CMK を識別し、同じ CMK を使用して復号します。元の CMK と新しいものの両方が有効である限り、AWS KMS はどちらの CMK によって暗号化されたデータでも復号できます。

鍵が有効、すなわち削除または無効化しなければ復号できるとある。まぁそれはそうだろう。しかしこれは、教科書とは異なっているため、検証してみた。

鍵の削除保留期間中に復号可能かどうか確認

まず、前回作成した鍵を削除予約し、削除保留状態にする。

$ aws kms schedule-key-deletion --key-id a99dd0c2-494f-4650-99ba-811078e86390
{
    "KeyId": "arn:aws:kms:ap-northeast-1:xxxxxxxxxxxxx:key/a99dd0c2-494f-4650-99ba-811078e86390",
    "DeletionDate": 1599436800.0
}

鍵の状態を確認すると、PendingDeletionになっており、削除保留状態であることがわかる。

$ aws kms describe-key --key-id a99dd0c2-494f-4650-99ba-811078e86390 \
 	--output text  --query KeyMetadata.KeyState
PendingDeletion

では、この鍵を使って復号するとどうなるか。

$ aws kms decrypt --ciphertext-blob  fileb://encrypted_datakey.bin \
	--key-id a99dd0c2-494f-4650-99ba-811078e86390

An error occurred (KMSInvalidStateException) when calling the Decrypt operation: arn:aws:kms:ap-northeast-1:xxxxxxxxxxxxx:key/a99dd0c2-494f-4650-99ba-811078e86390 is pending deletion.

ですよねー

ちなみに無効のときも、ちゃんとエラーが返る。

$ aws kms decrypt --ciphertext-blob  fileb://encrypted_datakey.bin \
	--key-id a99dd0c2-494f-4650-99ba-811078e86390

An error occurred (DisabledException) when calling the Decrypt operation: arn:aws:kms:ap-northeast-1:xxxxxxxxxxxxx:key/a99dd0c2-494f-4650-99ba-811078e86390 is disabled.

Data Key ReEncryption

なーんだ、教科書まちがってんじゃん。まぁよくあるよねーで済まそうと思っていたのだが、 AWSのAPIドキュメントに、ReEncryptというActionがあるのに気がついた。 KMS APIドキュメントのReEncryptの冒頭に以下の記述がある。

Decrypts ciphertext and then reencrypts it entirely within AWS KMS. You can use this operation to change the customer master key (CMK) under which data is encrypted, such as when you manually rotate a CMK or change the CMK that protects a ciphertext.
（AWS KMSの内部で暗号化されたデータを復号したあと、再暗号化する。この操作は、手動ローテートまたはデータを保護しているCMKの変更といった、暗号化されたデータのCMKの変更に使用することができる。）

あーCMKのmanually rotateに使うって書いてあるよ。ということで、Data Keyを新しい鍵で再暗号化することで、古い鍵を削除することができるようだ。

せっかくなので、検証。

$ aws kms re-encrypt --ciphertext-blob fileb://encrypted_datakey.bin \
    --source-key-id a99dd0c2-494f-4650-99ba-811078e86390 \
    --destination-key-id 0676925f-cf0f-4dd3-b44e-28019abc4b4f
{
    "CiphertextBlob": "AQICAHiU/sFZekLEdu8fd/KEweZKipeRYu7IFuTQhYEqP/GM5wEBgW7RhOZ5GNPgKKOIcPrTAAAAfjB8BgkqhkiG9w0BBwagbzBtAgEAMGgGCSqGSIb3DQEHATAeBglghkgBZQMEAS4wEQQMMLNzPFHv5pC5TMKeAgEQgDvrQ+/LP8dwZy/joqeZIa8bnbfzKEfTHEXxsrWtRZyhOCcJhMTqhBPf7KhruU2kMqDIeA7ZhyRs8I93fQ==",
    "SourceKeyId": "arn:aws:kms:ap-northeast-1:xxxxxxxxxxxxx:key/a99dd0c2-494f-4650-99ba-811078e86390",
    "KeyId": "arn:aws:kms:ap-northeast-1:xxxxxxxxxxxxx:key/0676925f-cf0f-4dd3-b44e-28019abc4b4f",
    "SourceEncryptionAlgorithm": "SYMMETRIC_DEFAULT",
    "DestinationEncryptionAlgorithm": "SYMMETRIC_DEFAULT"
}

おーできたー

CybertextBlobのBase64エンコードを解いてre-encrypted_datakey.binに格納したあと、再暗号化に使用した鍵で復号する。

$ aws kms decrypt --key-id 0676925f-cf0f-4dd3-b44e-28019abc4b4f --ciphertext-blob fileb://re-encrypted_datakey.bin --output text --query Plaintext|base64 -d >decrypted_datakey.bin

で、オリジナルのハッシュと比較する。

$ sha256sum datakey.bin decrypted_datakey.bin 
0ce2033e1f0aff4508ebf82612e59c449d11bf0e5e50a6ac7fc95337989f9b84  datakey.bin
0ce2033e1f0aff4508ebf82612e59c449d11bf0e5e50a6ac7fc95337989f9b84  decrypted_datakey.bin

一致した。ということで、Data Keyの再暗号化に成功したことがわかる。

Key aliasの継承

鍵のローテーションにより、Key aliasを新しい鍵に継承する必要がある。そこで、UpdateAliasオペレーションをつかう。

$ aws kms update-alias --alias-name alias/aestest --target-key-id 0676925f-cf0f-4dd3-b44e-28019abc4b4f

このオペレーションには、KeyPolicyのaliasを、kms:UpdateAlias できるIAMロールが必要なので注意。

継承が終わったあと、古い鍵はまだ有効であるが、Aliasは削除されている。よって、手動の鍵のローテーションは以下の手順が良さそうだ。

新しい鍵を生成 (CreateKey)
ローテートする鍵のエイリアスを新しい鍵に継承 (UpdateAlias)
古い鍵で暗号化したData Keyを新しい鍵で再暗号化 (ReEncrypt)
古い鍵の削除予約 (ScheduleKeyDeletion)

まとめ

KMSの手動によるキーローテーションでは、ReEncryptオペレーションを使うとData KeyのCMKを変更することができる。古い鍵を有効にしておくこともできるが、鍵一つにつき1USD/monthのキーストレージの使用料金がかかってしまう。また、ローテーションするときには、新しい鍵を生成後、Aliasを新しい鍵に継承したあと、Data Keyの再暗号化処理を行うと良い。

AWS KMSによる、データの暗号化と復号 - 対称鍵編

Fri, 07 Aug 2020 16:48:41 +0900

対称鍵はかんたん。

鍵の作成

Management ConsoleでもCLIでもお好みで。以下のパラメータでCMK (Customer Management Key)を作成する。

キーのタイプ: 対称
キーマテリアルオリジン: KMS

鍵情報の取得

CLIで、describe-keyを使って鍵の情報を得る。

$ aws kms describe-key --key-id alias/aestest
{
    "KeyMetadata": {
        "AWSAccountId": "xxxxxxxxxxxxx",
        "KeyId": "a99dd0c2-494f-4650-99ba-811078e86390",
        "Arn": "arn:aws:kms:ap-northeast-1:xxxxxxxxxxxxx:key/a99dd0c2-494f-4650-99ba-811078e86390",
        "CreationDate": 1596705473.686,
        "Enabled": true,
        "Description": "",
        "KeyUsage": "ENCRYPT_DECRYPT",
        "KeyState": "Enabled",
        "Origin": "AWS_KMS",
        "KeyManager": "CUSTOMER",
        "CustomerMasterKeySpec": "SYMMETRIC_DEFAULT",
        "EncryptionAlgorithms": [
            "SYMMETRIC_DEFAULT"
        ]
    }
}

Data Keyの取得

generate-data-keyで、平文のData Keyと暗号化されたData Keyが落ちてくる。

$ aws kms generate-data-key --key-id alias/aestest --key-spec AES_256
{
    "CiphertextBlob": "AQIDAHizJ7k8Iy6GrPV/ExEn64vrdh6dhDbGez4hVZW2oP6C1gFj7ZyUbuDUX6..",
    "KeyId": "arn:aws:kms:ap-northeast-1:xxxxxxxxxxxxx:key/a99dd0c2-494f-4650-99ba-811078e86390"
}

CiphertextBlobは復号時に必要になるので、DynamoDB等で別途管理する。平文のData Key(Plaintext)をdatakeyに格納し、この鍵を使って、データを暗号化する。

データの暗号化

平文のData Keyを使って普通に暗号化する。

openssl aes-256-cbc -e -\
    in plain_data \
    -pass file:plain_datakey \
    -out encrypted_data \
    -pbkdf2

暗号化が終わったら、平文のData Keyは必ず削除すること。これを怠るとKMSを使う意味がない。

データの復号

別途管理していた、暗号化されたData Keyをkmsで復号して、Data Keyを取得する。暗号化されたData Keyが、Base64エンコードされてencrypted_datakey.txtに格納されていた場合、 base64デコード後、kmsを使ってData Keyを復号する。

$ base64 -d encrypted_datakey.txt >encrypted_datakey
$  aws kms decrypt --key-id alias/aestest \
    --ciphertext-blob fileb://encrypted_datakey \
    --output text --query Plaintext | base64 -d >decrypted_datakey

Data Keyが、decrypted_datakeyに格納されたので、データが復号できる。

$ openssl aes-256-cbc -d \
    -in encrypted_data \
    -out decrypted_data \
    --pass file:decrypted_datakey \
    -pbkdf2

$ sha256sum plain_data.bin decrypted_data.bin 
5678c5a7a63f910c6eb172ebb3736b73099b8d62172c6b42034d87b7bf30b107  plain_data
5678c5a7a63f910c6eb172ebb3736b73099b8d62172c6b42034d87b7bf30b107  decrypted_data

一致した。復号が成功したことがわかる。

Have Fun!

AWS KMSによる、データの暗号化と復号 - 非対称鍵（RSA_4096）編

Fri, 07 Aug 2020 16:41:49 +0900

AWS KMSでを使ったデータの暗号化、復号の検証も行った。対称鍵の検証は、別記事にした。

鍵の作成

Management ConsoleでもCLIでもお好みで。以下のパラメータでCMK (Customer Management Key)を作成する。

キーのタイプ: 非対称
キーの使用: 暗号化および復号化
キーの仕様: RSA_4098
Alias: rsatest

鍵情報の取得

CLIで、describe-keyを使って鍵の情報を得る。

 aws kms describe-key --key-id alias/rsatest
{
    "KeyMetadata": {
        "AWSAccountId": "xxxxxxxxxxxxx",
        "KeyId": "0192e16e-01ed-4d84-84a5-5144259766f2",
        "Arn": "arn:aws:kms:ap-northeast-1:xxxxxxxxxxxxx:key/0192e16e-01ed-4d84-84a5-5144259766f2",
        "CreationDate": 1596690475.888,
        "Enabled": true,
        "Description": "",
        "KeyUsage": "ENCRYPT_DECRYPT",
        "KeyState": "Enabled",
        "Origin": "AWS_KMS",
        "KeyManager": "CUSTOMER",
        "CustomerMasterKeySpec": "RSA_4096",
        "EncryptionAlgorithms": [
            "RSAES_OAEP_SHA_1",
            "RSAES_OAEP_SHA_256"
        ]
    }
}

公開鍵の取得

4096bitの鍵長をもつRSA鍵ペアができている。秘密鍵を取り出すことはできないが、公開鍵は取り出せる。

 aws kms get-public-key --key-id alias/rsatest
{
    "KeyId": "arn:aws:kms:ap-northeast-1:xxxxxxxxxxxxx:key/0192e16e-01ed-4d84-84a5-5144259766f2",
    "PublicKey": "MIICIjANBgkqhkiG9w0BAQEFAAOCAg8AMIICCgKCAgEA6u875H89mRNP7PLH6+QGEhPUIga6jrssgmLnC/98KGXfZx/jHYPH2oJw0uedA0uuu3wUbubduy8rYd+5LfQUiLoK+2cjOHp/u2xbKruDmZtVM68YNWBnYwp8bZ9y7c2VWblBgu0WPWa1NFGMi2reXcqDHppvzy15lv5kYYrfKKjabbluPOSDYYp4Hsw8Dmd/6tvc7zw1L+Qa4uyK/ojp05WPSVmlaUMuKopzr3ngD/sEKwQ1BmA0dWGzTUZTtOAQusSlLN7tCoLNLWKS1ZDfZJKbiVBLbErGiyLRhGt7MaXgB95O+Xh9wgdiCHFZ/S2ji68VCXEfrTomcy63kdctM7EmNWhgnBHGBgxelQSG9gwqCBciKBkVuCP594N3xVjN2T1DgbsMaznfN8+P03gfvOqwtD8LVXS87JuVAJb3iBm5hfH5m+/NL8vSZ9itamPPDVNG8hBnl2ZUCK2wZBMzw2djRIyUAe+9N1NwzoYTSNlsWC5KJTH5yIat99v3IRAhHMugwfaaKmpUauLdPxQf2vI4wLE/ZNGYR4f9IhPgs1VEpxVGYge198YPbeDzEdbTUIGMDR7kCTSXrt5JZRW/40RX/Rh6qq12Jo55TC6PVaGtMcLjz7LYiMdgeBZq4/TV6EbovuEo/x5MNyVMpWjR4o45LqQuw8983c++55zFju0CAwEAAQ==",
    "CustomerMasterKeySpec": "RSA_4096",
    "KeyUsage": "ENCRYPT_DECRYPT",
    "EncryptionAlgorithms": [
        "RSAES_OAEP_SHA_1",
        "RSAES_OAEP_SHA_256"
    ]
}

JSON形式では使いにくいので、Base64エンコードを解いてDERに変換する。

$ aws kms get-public-key \
	--key-id alias/rsatest \
	--output text --query PublicKey|base64 -d >pubkey.der

pubkey.derが生成される。

データの暗号化

kmsでは、4kByteまでしかデータを暗号化および復号ができない。そのため暗号化および復号に使用する鍵を独自に生成する。この鍵をData Keyと呼ぶ。このData KeyをKMSで作成した鍵で暗号化し、別途DynamoDBなどで管理する。これによりkmsでData Keyを復号する権限のないユーザにデータの復号はできなくなる。鍵の管理については本稿では触れない。

Data Keyの生成

データの暗号化アルゴリズムはお好みで。今回はAES256-CBCにしよう。まずは、opensslで鍵を生成する。

$ openssl rand -out datakey 32

Data Keyの暗号化

OpenSSLを使用する場合

Data Keyをkmsで生成したCMKで暗号化する。さきほど取得した公開鍵で暗号化する。 kmsで復号できるアルゴリズムは限られているので注意が必要である。データを復号するときには、kmsに暗号化したData Keyを復号してもらわなければならない。そのため、kmsが復号できるアルゴリズムを使用する必要がある。

サポートしているアルゴリズムは、described-keyで取得できる。今回の場合は、RSAES_OAEP_SHA_1とRSAES_OAEP_SHA_256の二種類である。

ということで、今回は、RSAES_OAEP_SHA_256でData Keyを暗号化する。

$ openssl pkeyutl -encrypt \
    -pubin -inkey pubkey.der -keyform DER \
    -in datakey \
    -out encrypted_datakey \
    -pkeyopt rsa_padding_mode:oaep \
    -pkeyopt rsa_oaep_md:sha256

一応、ちゃんとkmsで復号できるか確認しておこう。

$ aws kms decrypt \
    --ciphertext-blob fileb://encrypted_datakey \
    --key-id alias/rsatest \
    --encryption-algorithm RSAES_OAEP_SHA_256 \
    --output text --query Plaintext | base64 -d >decrypted_datakey

kmsで復号されたData keyは、decrypted_datakeyに格納された。暗号化前のData keyと復号されたData keyのHashを比較する。

$  sha256sum datakey decrypted_datakey 
0b9d181063f1e4ace5ac59e1253186406b27fb1ffd0c22bb1a62ffa2515f6803  datakey
0b9d181063f1e4ace5ac59e1253186406b27fb1ffd0c22bb1a62ffa2515f6803  decrypted_datakey

一致した。復号に成功していることが確認できた。

kmsにおまかせする場合

上記の例では、opensslコマンドを使ったが、もちろんkmsに任せることもできる。こっちのほうが簡単か。ただAPI利用料がかかる。

 $ aws kms encrypt --key-id alias/rsatest \
    --plaintext fileb://datakey \
    --encryption-algorithm RSAES_OAEP_SHA_256
{
    "CiphertextBlob": "ZAo40r0pQ3COzELKzM8mJMFNbHno4jUiyzeuZ6rQVUH0ZLsIJbdESnhl....",
    "KeyId": "arn:aws:kms:ap-northeast-1:xxxxxxxxxxxxx:key/0192e16e-01ed-4d84-84a5-5144259766f2",
    "EncryptionAlgorithm": "RSAES_OAEP_SHA_256"
}

データの暗号化

データを暗号化する。これは普通にopensslで

$ openssl aes-256-cbc -e \
    -in plain_data.bin \
    -out encrypted_data.bin
    -pass file:datakey \
    -pbkdf2

暗号化したら、暗号化に使用したData Keyを削除する。これを忘れるとkmsを使う意味がまったくなくなってしまう。

$ rm datakey

データの復号

データを復号するには、まず暗号化されたData Keyを復号する。

$ aws kms decrypt \
    --ciphertext-blob fileb://encrypted_datakey \
    --key-id alias/rsatest \
    --encryption-algorithm RSAES_OAEP_SHA_256 \
    --output text --query Plaintext | base64 -d >decrypted_datakey

そして、データを復号する。

$ openssl aes-256-cbc -d \
    -in encrypted_data.bin \
    -out decrypted_data \
    -pass file:./decrypted_datakey \
    -pbkdf2

復号できたデータは、decrypted_dataに格納されている。確認のため、平文のデータのHashと比較する。

$ sha256sum plain_data.bin decrypted_data.bin 
5678c5a7a63f910c6eb172ebb3736b73099b8d62172c6b42034d87b7bf30b107  plain_data.bin
5678c5a7a63f910c6eb172ebb3736b73099b8d62172c6b42034d87b7bf30b107  decrypted_data.bin

一致した。復号が成功したことがわかる。

Have Fun!

中国製の顕微鏡画像をLinux PCに取り込む方法

Sat, 30 May 2020 00:00:00 +0900

ずいぶん前にaliexpressで購入したLCD顕微鏡画像をLinux PCで取りむことができた。何をいまさら感が漂っているだろうが、自分用にメモしておく。

現在、使用している顕微鏡はこれ。型番は不明。同僚にaliexpressから買ってもらったもの。

これを、PCのUSBポートに接続して、lsusbコマンドを叩くと、謎のデバイスが見えた。

Bus 001 Device 012: ID 1908:3256 GEMBIRD

カメラが見えているか確認。v4l2-ctlコマンドは、v4l-utilsパッケージに入っている。

$ v4l2-ctl --list-devices
TIGA   Device: TIGA   Device (usb-0000:00:14.0-2.3):
        /dev/video0
        /dev/video1
        /dev/media0

おぉ。見えている。サポートしているフォーマットを確認する。

$ v4l2-ctl --list-formats-ext
ioctl: VIDIOC_ENUM_FMT
        Type: Video Capture

        [0]: 'YUYV' (YUYV 4:2:2)
                Size: Discrete 640x480
                        Interval: Discrete 0.033s (30.000 fps)
                        Interval: Discrete 0.200s (5.000 fps)
                Size: Discrete 320x240
                        Interval: Discrete 0.067s (15.000 fps)
                        Interval: Discrete 0.200s (5.000 fps)
                Size: Discrete 160x120
                        Interval: Discrete 0.067s (15.000 fps)
                        Interval: Discrete 0.200s (5.000 fps)
                Size: Discrete 1280x720
                        Interval: Discrete 0.033s (30.000 fps)
                        Interval: Discrete 0.200s (5.000 fps)
                Size: Discrete 176x144
                        Interval: Discrete 0.067s (15.000 fps)
                        Interval: Discrete 0.200s (5.000 fps)

640x480 30fpsをサポートしているようだ。

vlcを起動して、[メディア]→[キャプチャーデバイスを開く]→[詳細設定オプション] をクリックする。幅と高さに640、480を、フレームレートに30を入力する。他はデフォルトのままでOK。

入力したらOKボタンでダイアログを閉じ、再生ボタン押下で取り込みが始まる。

もちろんvlcでスナップショットも取れる。これまでLDCをデジカメで撮ってたけどこれでいろいろはかどる。

GDALでGCOM-Cの可視領域のデータからTrue Colorイメージを再構成してみた

Sat, 07 Dec 2019 00:00:00 +0900

この記事は、FOSS4G Advent Calendar 2019 の12月7日の記事です。昨日の記事は、 northprintさんの「mapboxのMaps SDK for Androidでお好みのラスタータイルを表示する」でした。

TL;DR

今回は2017年の12月に打ち上げられた、気候変動観測衛星「しきさい」(GCOM-C)の可視領域の数値データを、 GDAL2.4で再構成することで、True Color Imageに再構成してみました。

結果は、こんな感じになりました。欠損値は透明にしてあります。

(Original data provided by JAXA)

あと再構成プログラムをC++で書きましたが、Pythonのほうがよかったかも…

「しきさい」の概要

気候変動観測衛星「しきさい」は、地球環境変動観測ミッション(GCOM)の陸域版の衛星です。 GCOMは地球から放射される様々な光を長期間観測することで、地球の気候変動の監視とメカニズムの解明を目的としたプロジェクトです。水循環を観測するGCOM-Wと、気候変動を観測する GCOM-Cという二つの衛星で観測を行っています。 GCOM-Cに搭載されている、SGLIという多波長光学放射計は、可視、近赤外、近紫外領域の 19の観測波長帯を持っています。

今回は可視領域の観測データを使って目視に近い画像である、True Colorイメージを作成してみます。

データの入手方法

まずは、GCOM-Cの観測データを入手しましょう。 JaxaのG-Portal(https://gportal.jaxa.jp/gpr/) というページでユーザー登録をすると、FTPでデータをダウンロードすることができます。また、G-PortalのWebサイトにログインするとデータの検索やダウンロード、フォーマット変換ができるようです。私はデータ変換を自動化する必要がある別の目的があるので、あえて自分でやることにします。詳しくは「G-Portal 地球観測衛星データ提供システムユーザ向け取扱説明書」と「気候変動観測衛星「しきさい」(GCOM-C) データ利用ハンドブック」を参照してください。

それでは、FTPサーバにログインして、/standard/GCOM-C/GCOM-C.SGLI 以下にある、L3.LAND.RV03、L3.LAND.RV05、L3.LAND.RV07 から同じ日付のデータをダウンロードします。

今回は2019年11月の1ヶ月間に観測された平均値を使用しました。ダウンロードしたファイルは以下のとおりです。

GC1SG1_20191101D01M_D0000_3MSG_RV03F_1001.h5
GC1SG1_20191101D01M_D0000_3MSG_RV05F_1001.h5
GC1SG1_20191101D01M_D0000_3MSG_RV07F_1001.h5

ファイル名の後ろのほうにある、RV03、RV05、RV07はプロダクトIDとよばれる観測から得られた物理量の種類を示すIDです。RVxxのIDを持つプロダクトは陸域の大気補正済みの反射率で、RV03が青、RV06が緑、RV07が赤の光に相当します。

各データに関しては「SGLI高次プロダクトフォーマット説明書」を参照してください。

データの再構成

では、ダウンロードしたデータを再構成していきます。ダウンロードしたファイルはHDF5という形式で保存されています。 HDF5はデータやパラメータを階層的に保存できる形式で、観測値だけでなく観測した時間や、処理したアルゴリズム、パラメータ等もいっしょに一つのファイルに格納できるすぐれものです。このHDF5形式のファイルからデータを取り出して、GDALを使って GTiff形式に変換します。

可視画像は、R、G、Bの3つピクセルから構成されています。GTiffでは、それぞれ別のバンドに格納すれば良いので、取り出したデータを各バンドにコピーするだけでOKです。簡単ですね。

以下のプログラムは、HDF5とGDALのライブラリを使用しています。DebianやUbuntuを使用している方は、

$ sudo apt install libgdal-dev libhdf5-dev

で必要なライブラリをインストールすることができます。

C++なので、あまりちょっととっつきにくいかもしれませんが、流れはコメントに書いたとおりです。同じ流れでPythonで書くことができるはずです。

int main(void)
{
	// GDALの初期化
	GDALAllRegister();
	
	// Dataを格納する配列
	uint16_t data[WIDTH][HEIGHT];

	// File名が長いので、定数化
	static const string RED   = "GC1SG1_20191101D01M_D0000_3MSG_RV03F_1001.h5";
	static const string GREEN = "GC1SG1_20191101D01M_D0000_3MSG_RV05F_1001.h5";
	static const string BLUE  = "GC1SG1_20191101D01M_D0000_3MSG_RV07F_1001.h5";


	// GDALのGTiffドライバを呼び出す
	GDALDriver *poDriver = GetGDALDriverManager()->GetDriverByName("GTiff");
	// 呼び出したドライバで、BANDを4つもったデータセットを作成
	GDALDataset *poDstDS = poDriver->Create( "out.tiff", WIDTH, HEIGHT, 4, GDT_Byte, nullptr);

	// 1番目のバンドを取り出して
	band = poDstDS->GetRasterBand(1);
	// このバンドを赤に指定する
	band->SetColorInterpretation(GCI_RedBand);
	// HDF5からデータを読んでから
	readData(RED, data, "/Image_data/Rs_VN07_AVE");
	// 取り出したバンドにコピーする。
	copy2band(data, band);

	// 2番目は緑。赤と同様
	GDALRasterBand *band = poDstDS->GetRasterBand(2);
	band->SetColorInterpretation(GCI_GreenBand);
	readData(GREEN, data, "/Image_data/Rs_VN05_AVE");
	copy2band(data, band);

	// 3番目は青。赤と同様
	band = poDstDS->GetRasterBand(3);
	band->SetColorInterpretation(GCI_BlueBand);
	readData(BLUE, data, "/Image_data/Rs_VN03_AVE");
	copy2band(data, band);

	// 4番目はアルファチャンネル。欠損値を透明にする
	band = poDstDS->GetRasterBand(4);
	band->SetColorInterpretation(GCI_AlphaBand);
	genAlphaBand(data, band, WIDTH, HEIGHT);

	// 最後にデータセットをクローズしてできあがり
	GDALClose(poDstDS);
    return 0;

HDFからデータを取り出すreadDataは、ただデータを取り出して、引数に指定されたアドレスにコピーしているだけです。が、使用しているHDFライブラリでは、DataSpaceにデータを格納するのがお作法のようです。コピーするためには、コピー元とコピー先の範囲を指定必要があります。変数spとmemspaceのselectAll関数を呼ぶことで、DataSpace全体を指定しています。

void readData(std::string filename, void *data, std::string dataset)
{
    H5File file(filename.c_str(), H5F_ACC_RDONLY);
    DataSet ds = grp.openDataSet(dataset.c_str());

    DataSpace sp = ds.getSpace();
    const int rank = sp.getSimpleExtentNdims();
    hsize_t count[] = {WIDTH, HEIGHT, 1};
    hsize_t offset[] = {0, 0, 0};
    sp.selectAll();

    DataSpace memspace(rank, count);
    memspace.selectAll();
    ds.read(data, PredType::NATIVE_UINT16, memspace, sp);
}

取り出したデータをbandにコピーするcopy2bandは、以下のとおりです。データをスキャンして、欠損値を意味する65535を0にして、 14ビットのデータを6bit右シフトして8bitに丸めてたあと、bandにコピーしています。

void copy2band(void *data, GDALRasterBand *band)
{
	// dataを2次元配列としてアクセスしたいので、memcpyで配列にコピー
	uint16_t val[WIDTH][HEIGHT];
	memcpy(val, data, sizeof(uint16_t) * width * height);
    
	uint8_t pixel[WIDTH][HEIGHT];

	// すべてのデータをスキャンしてデータサイズを8ビットに変換
	for(int y = 0; y < HEIGHT; y++)
		for (int x = 0; x < width; x++)
			pixel[x][y] = (val[x][y] == 65535) ? 0 : (val[x][y] >> 6);
	// バンドにコピー
	band->RasterIO(GF_Write, 0, 0, WIDTH, HEIGHT, pixel, WIDTH, HEIGHT, GDT_Byte, 0, 0);
}

最後にアルファチャンネルを生成しているgenAlphaBand関数はこんな感じにしました。

void genAlphaBand(void *data, GDALRasterBand *band)
{
        uint16_t val[WIDTH][HEIGHT];
        memcpy(val, data, sizeof(uint16_t) * WIDTH * HEIGHT);
        uint8_t tmp[WIDTH][HEIGHT];
        for(int y = 0; y < HEIGHT; y++)
                for (int x = 0; x < WIDTH; x++){
                        tmp[x][y] = (val[x][y] == 65535) ? 0 : 255;
                }
        band->RasterIO(GF_Write, 0, 0, WIDTH, HEIGHT, tmp, WIDTH, HEIGHT, GDT_Byte, 0, 0);
}

ほぼcopy2bandと同じです。違うのは欠損値だった場合は値を0、そうでないときは255を使用しているだけです。ここもそうですが、全体的にリファクタリングの余地がありますね。

結果はTL;DRのところに載せたとおりです。実行する時は、確実にスタック領域が不足するので、ulimitコマンドでスタック領域を無制限にすることを忘れずに。さもないとSegmentation Faultで落ちます。

$ ulimit -s unlimited

今回は、GCOM-Cの可視光のデータを使ってTrue Color Imageを再構成してみました。 GCOM-Cは可視光以外にも、海水面温度や地表面温度、海の色、エアロゾル、雲頂高度といった興味深い値を観測し、その数値データを数日遅れで入手することができます。

興味がある方は、ぜひ他のデータも可視化してみてください。

明日は、Kanahiroさんです。

OpenBSD6.5をuEFI対応PCにインストールする方法

Sat, 08 Jun 2019 21:24:29 +0900

TL;DR

OpenBSDのインストール記事が少ないということで、ちょうど6.5がリリースされたのでインストール記事を書いておく。と思ったら、「OpenBSD 6.5 のインストール」という良記事があった。以下の3点以外同じなので、そちらを参照のこと。
OpenBSDはuEFIからのブートをサポートしている。パーティションの作成時に、
```
Use (W)hole disk MBR, whole disk (G)PT, or (E)dit? [W]
```
``

と聞かれたら、Gを選べばよい。

ネットワークインターフェースのファームウェアがインストーラーに含まれていない場合でも、インストールが可能である。インストール完了後に、別途ダウンロードしてファームウェアをUSBメモリ等で転送し、fw_updateコマンドでインストールすれば良い。
今となっては、信じられないくらいチョー不親切に見えるCUIベースのインストーラーなので、VierualBox等の仮想マシンにインストールしてみると、練習ができて安心。

0. インストールメディアの作成

まずはインストールに必要なメディアを作成する。イメージは、https://www.openbsd.org/faq/faq4.html#Download にリンクがある。 installXX.fsのamd64のリンクをクリックすればダウンロード可能である。また、SHA256ファイルもダウンロードしておく。

wget https://cdn.openbsd.org/pub/OpenBSD/6.5/amd64/install65.fs
wget https://cdn.openbsd.org/pub/OpenBSD/6.5/amd64/SHA256

ダウンロードしたイメージがダウンロードに成功しているか確認する。

ha256sum -c SHA256 --ignore-missing 
install65.fs: 完了

成功！

あとは、USBメモリにダウンロードしたイメージを書き込む。

dd if=install65.fs of=/dev/sdb

1. インストーラーの実行

作成したUSBメモリをPCに差し、USBメモリから起動するとインストーラーが起動する。 OpenBSDのインストーラーはテキストベースで、GUIのインストーラーなど存在しないので注意。

まず最初に、

Welcome to the OpenBSD/amd64 installation program.
(I)nstall, (U)pgrade, (A)utoinstall or (S)hell

と聞かれるので、Iを押してインストールを選択する。

1.1 キーボード選択

Choose your keyboard layout (? or 'L' for list) [default]

キーボードレイアウトを選択する。英語キーボードを使っている人はdefaultで良ので、Enterキーを押下する。日本語キーボードの人は、jpと入力する。

1.2 ホストネーム設定

System hostname? (short form, e.g. 'foo')

ホスト名を入力する。個人で使用する場合は、適当なPC名を入力する。会社など、誰かが管理しているネットワークで使用する場合は、ネットワーク管理者の指示を仰ぐ。

1.3 ネットワークの設定

1.3.1 設定するインターフェースの選択

Available network interfaces are: iwm0 vlan0.
Which network interface do you wish to configure? (or 'done')[iwm0]

インストーラーが自動検出したネットワークインターフェースを列挙して、どのインターフェースを設定するか聞いてくる。

iwm0とvlan0が検出できたようだ。ここはインストールするPCで異なるだろう。私がインストールしているPCのネットワークインターフェースは、有線LANがなくWiFiだけしか持っていない。 iwm0がWiFiのインターフェースだろう。ということで、iwm0を選択する。

有線LANがある人は、有線LANで設定した方が楽だろう。

1.3.2 WiFiの設定

Access point? (ESSID, 'any' list# or '?')[any]

WiFiのESSIDを入力する。

Security protocol? (O)pen, (W)ep, WPA-(P)SK [O]

WPA-PSKであれば、Pを、WEPであれば、Wを選択する。

WPA passphrase? (will echo)

WPA-PSKを選択すれば、WPAパスフレーズを、WEPを選択するとWEPキーを聞かれるので、入力する。

1.3.3 IPアドレスの設定

IPv4 address for iwm0? (or 'dhcp' or 'none')[dhcp]

選択したネットワークインターフェースのIPアドレスを設定する。固定IPを設定するのであれば、192.0.2.123のように入力する。DHCPで自動設定す場合は、dhcp、アドレスを付けない場合は、noneを入力する。

iwm0: could not read firmware iwm-8265-22 (error 2)
iwm0: fail to load init firmware
iwm0: aquiring device failed
iwm0: aquiring device failed
iwm0: aquiring device failed
iwm0: SIOCSIFFLAGS: No such file or directory
iwm0: no link ........ sleeping

げげげっファームウェアがないのでネットワークに接続できないと言われてしまった…orz

しょうがないので、インストールさ行を続けて、インストール後にファームウェアを入れることにしよう。追加のファームウェアが必要ない場合は、普通にアドレスが設定されます。

IPv6 address for iwm0? (or 'autoconf' or 'none')[none]

IPv6のアドレスを指定する。IPv6を使わないのであれば、noneを、自動設定を行うならautoconfを選択する。固定のIPv6アドレスを使う場合は、2001:db8::1のように指定する。

Available network interfaces are: iwm0 vlan0.
Whitch network interface do you wish to configure? (or 'done')[iwm0]

とまた聞かれるので、必要なら他のインターフェースを選択して、ネットワーク設定を繰り返す。ネットワーク設定が終わったら、doneを入力し、ドメイン名の設定に進む。

1.3.4 ドメイン名の設定

DNS domain name? (e.g. `example.com`)[my.domain]

PCのドメイン名を入力する。ホスト名同様、会社など、誰かが管理しているネットワークで使用する場合は、ネットワーク管理者の指示を仰ぐ。個人で自分のドメインを持っていない人は、デフォルトのmy.domainでよいでしょう。

1.3.5 DNSサーバの設定

DNS servers? (IP address list or 'none')[none]

DHCPでIPv4アドレスの設定に成功していれば、取得したアドレスがデフォルト値に設定されているはず。なので、Enterキーを押下するだけで良いと思う。私は失敗したので、8.8.8.8を入力した。

1.4 rootパスワードの設定

Password for root account? (will not echo)

管理者アカウントのログインパスワードを設定する。入力した文字は表示されないので注意。

1.5 sshサーバ自動起動の設定

Start sshd(8) by default? [yes]

sshサーバを自動起動するか聞かれる。サーバ用途の場合は起動しても良いだろう。デスクトップといった、リモートログインが必要ない用途であれば起動する必要はない。

1.6 デスクトップマネージャー自動起動の設定

Do you want the X Window System to be started by xenodm(1)? [no]

xenodmというデスクトップマネージャーを使ってX Wondow Systemを自動起動するかと聞かれる。 yesにすると、起動時にGUIのログイン画面が表示される。サーバ用途ではnoにする。

1.7 一般ユーザの作成

Setup a user? (enter a lower-case login name or `no`)

ここで一般ユーザーを作成する場合は、小文字でログイン名を、必要なければnoを入力する。

1.8 sshでのrootログインの可否の設定

WARNING: root is targeted by password guessing attacks, pubkeys are safer.
Allow root ssh login? (yes, no, prohibit-password) [no]

sshでrootログインを許すかどうか設定する。許可する場合は’yes’、禁止する場合は’no’、パスワード認証を禁止し、公開鍵認証であれば許可する場合は、prohibit-password を入力する。一般にrootでリモートログインする理由はないので、noで良いだろう。なんらかの理由でrootによるリモートログインが必要なら、prohibit-passwordを設定して、公開鍵認証を使用すべきである。

1.9 パーティションの設定

Available disks are: sd0 sd1
Which disk is the root disk? ('?' for details)[sd0]

OpenBSDをインストールするディスクを指定する。’?‘を入力するとsd0,sd1が何を指しているかが表示される。私のPCの場合、sd0がハードディスクで、sd1がUSBメモリだった。

インストールするディスクを指定すると、指定したディスクのパーティションテーブルが表示され、その後に

Use (W)hole disk MBR, whole disk (G)PT, or (E)dit? [W]

と聞かれる。ディスク全体を使う場合はGを指定する。ここでGを指定しないとuEFIでは起動できない。

Gを選択すると、パーティションを自動設定した場合のレイアウトが表示されたあと、自動設定を採用するか、変更するか聞かれる。

#                size           offset  fstype [fsize bsize   cpg]
  a:          2097152             1024  4.2BSD   2048 16384 12958 # /
  b:         33598688          2098176    swap                    # none
  c:       1953525168                0  unused                    
  d:          8388608         35696864  4.2BSD   2048 16384 12958 # /tmp
  e:         74537408         44085472  4.2BSD   2048 16384 12958 # /var
  f:          4194304        118622880  4.2BSD   2048 16384 12958 # /usr
  g:          2097152        122817184  4.2BSD   2048 16384 12958 # /usr/X11R6
  h:         41943040        124914336  4.2BSD   2048 16384 12958 # /usr/local
  i:              960               64   MSDOS                    
  j:          4194304        166857376  4.2BSD   2048 16384 12958 # /usr/src
  k:         12582912        171051680  4.2BSD   2048 16384 12958 # /usr/obj
  l:        629145536        183634624  4.2BSD   4096 32768 26062 # /home
Use (A)uto layout, (E)dit auto layout, or create (C)ustom layout?[a]

自動で良ければaを、自動設定をベースに変更するならEを、カスタムなレイアウトにする場合はCを入力する。パーティションの設定が終わると、パーティションを作成してフォーマットを始める。特に確認はないので、マルチブートをするときなど、既存のシステムを消さないように注意する。

ファイルシステムの作成が終わったら、

Available disks are: sd1
Which disk do you wish to initialize? (or 'done')[done]

と聞かれる。これ以上初期化するディスクが無ければdoneを入力する。

1.10 インストールセットの指定

Let's install the sets!
Location of sets? (disk http or done)[http]

ネットワーク設定に成功した人は、httpを指定する。今回、私はファームウェアが足りずネットワーク設定に失敗したためdiskを選択することにする。

Is the disk partition already mounted? [yes]

ディスクパーティションが既にマウントされているかだと？ディスクパーティションとは何を指すのかな。よくわからんので、デフォルトのyesで。

Pathname to the sets? (or 'done')[6.5/amd64]

しらんがな。ひとまずデフォルトで。

The directory '6.5/amd64' dose not exist.

デスヨネー

Pathname to the sets? (or 'done')[6.5/amd64]

では、doneで逃げる。

Location of sets? (disk http or done)[disk]

もどった。diskを選択。

Is the disk partition already mounted? [yes]

さっきはyesでダメだったので、noにする。

Available disks are: sd0 sd1
Which is disj contains the install media? (or 'done') [sd1]

sd1がUSBメモリだったので、sd1を指定。

a:     920512    1024  4.2BSD    2048  16384  16142
i:        960      64   MSDOS
Available sd1 partitions are: a i
Which sd1 partition has the install sets? (or 'done')[a]

インストールメディアのUSBメモリは2つのパーティションに分かれているのか。まぁインストールセットが入っているのは、きっとaでしょう。パーティションタイプが4.2BSDだし、なによりもサイズがでかい。

Pathname to the sets? (or 'done')[6.5/amd64]

これはデフォルトの6.5/amd64で。

1.11 インストールセットの選択

Select sets by entering a set name, a file name pattern or 'all'. De-select
sets by prepending a '-'. e.g.: '-games*'. Selected sets are labeled '[X]'.
    [X] bsd           [X] base65.tgz     [X] game65.tgz    [X] xfont65.tgz
    [X] bsd.mp        [X] comp65.tgz     [X] xbase65.tgz   [X] xserv65.tgz
    [X] bsd.rd        [X] man65.tgz      [X] xshare65.tgz
Set name(s)? (or 'abort' or 'done)[done]

ここでは、インストールするセットを選択する。例えばサーバー用途で、X Window Systemがいらない場合は、-x*と入力すると、X関連のインストールセットが除外される。インストールするセットの指定がおわったら、doneと入力するとインストールが始まる。

ネットワークに接続できない状態でインストールすると、

Directory dose not contain SHA256.sig. Continue without verification? [no]

と言われるが、無い物は無いので、yesと回答する。

1.12 タイムゾーンの設定

What timezone are you in? [Canada/Mountain]

タイムゾーンを聞かれるので、Asia/Tokyoと入力する。

すると、

CONGRATIRATIONS! Your OpenBSD install has been successfully completed!

When you login to your new system the first time, please read your mail
using the 'mail' command.

Exit to (S)hell, (H)alt or (R)eboot [reboot]

ひとまずインストールは成功したようだ。よかったよかった。

rebootを選択して再起動しよう。

2. インストール後の設定

2.1 ファームウェアのインストール

2.1.1 ファームウェアの取得

インストーラーに入っていないファームウェアをインストールする。今回は、ネットワークに接続していないので、手動でファームウェアをダウンロード・インストールする。まず、fw_updateコマンドで不足しているファームウェアを列挙する。

# fw_update -i
Missing: inteldrm-firmware iwm-firmware vmm-firmware intel-firmware

http://firmware.openbsd.org/firmware/6.5 にある、不足しているファームウェアおよび、SHA256.sigをダウンロードし、 USBメモリにコピーする。

2.1.2 USBメモリのマウント

他のPCでダウンロードしたファームウェアをUSBメモリ経由でインストールするために、USBメモリをマウントする。まずdisklabelコマンドで使用されているパーティションを調べる。

# /dev/rsd1c:
type: SCSI
disk: SCSI disk
label: USB FLASH DRIVE 
duid: 0000000000000000
flags:
bytes/sector: 512
sectors/track: 63
tracks/cylinder: 255
sectors/cylinder: 16065
cylinders: 7528
total sectors: 120938496
boundstart: 0
boundend: 120938496
drivedata: 0 

16 partitions:
#                size           offset  fstype [fsize bsize   cpg]
  c:        120938496                0  unused                    
  i:        120930432             8064   MSDOS

どうやらiが、FATのパーティションのようである。

# mount /dev/sd1i /mnt
# cd /mnt
# ls
SHA256.sig                                  iwm-firmware-0.20170105.tgz
intel-firmware-20190514p0v0.tgz             vmm-firmware-1.11.0p1.tgz
inteldrm-firmware-20181218.tgz

とすると、/mntにUSBメモリがマウントされる。

2.1.3 署名の検証

ダウロードしたファイルが改竄されていないか、signifyコマンドで検証する。

# signify -C -x SHA256.sig *.tgz
Signature Verified
intel-firmware-20190514p0v0.tgz: OK
inteldrm-firmware-20181218.tgz: OK
iwm-firmware-0.20170105.tgz: OK
vmm-firmware-1.11.0p1.tgz: OK

signifyコマンドは、プリインストールされた公開鍵を使って、SHA256.sigに付されている電子署名を検証する。その後各ファイルのSHA256ハッシュを計算し、検証することで改竄されていないことを検証することができる。

2.1.4 ファームウェアのインストール

fw_updateコマンドに、ダウンロードしたファームウェアパッケージがあるディレクトリを指定すると自動的にインストールしてくれる。例えば、/mntにあるならな、以下のようになる。

fw_update -p /mnt
intel-firmware-20190514p0v0.tgz: OK
inteldrm-firmware-20181218.tgz: OK
iwm-firmware-0.20170105.tgz: OK
vmm-firmware-1.11.0p1.tgz: OK

インストールに成功したら、rebootしてファームウェアを有効にしよう。

shutdown -r now

2.2 システムのアップデート

リリース後に公開されたパッチを適用する。

syspatchコマンドを実行すると、自動で未適用のパッチを調べ、ダウンロードし、適用してくれる。

syspatch

パッケージの更新は、

pkg_add -u

で自動で行われる。

Have Fun!

OpenBSD6.5を暗号化パーティションにインストールする方法

Sat, 08 Jun 2019 21:24:29 +0900

TLDR;

OpenBSDを、暗号化パーティションにインストールすることが可能である。
インストーラー実行時に、shellに落ちて暗号化パーティションを作成し、そこにインストールすれば良い。

PCの盗難や紛失に備え、システムがインストールされているファイルシステムを暗号化することがある。また、個人情報等が入ったストレージデバイスを廃棄時の事や、クラウド上のインスタンスにアタッチされているディスクはただのファイルであることを考えると、暗号化しておいたほうが安心だったりする。

OpenBSDもLinux同様、暗号化パーティションへのインストールをサポートしている。

以下に、OpenBSDを暗号化パーティションにインストールする方法を示す。

1. 暗号化パーティションの作成

OpenBSDのインストーラを起動すると、まず

Welcome to the OpenBSD/amd64 6。5 installation program.
(I)nstall, (U)pgrade, (A)utoinstall or (S)hell?

と聞かれる。ここでSを選択し、Shellに落ちて暗号化パーティションを作成する。

1.0 ディスク全体を乱数で埋める

ディスク全体を一度乱数で埋めておくと、攻撃者にディスクイメージを取得されたとしても、解析が非常に困難になる。機微な情報を保存する必要がある場合は、ディスク全体を乱数で埋めておいたほうが良い。

dd if=/dev/urandom of=/dev/sd0 bs=1m

この処理には、非常に時間がかかる。乱数で埋める必要が無ければスキップしても問題ない。。

UEFI or MBR

C++のWeb Framework oat++ で Hello World

Sat, 11 May 2019 22:03:29 +0900

大きめのデータ（といっても100万点のオーダだけど）を扱うWebアプリを作りたいのだが Pythonだと遅いので、C++で書きたい。ということで、oat++というC++で書かれたフレームワークがあったので、スケルトンコードを作成してみた。ドキュメントもあまり詳しくなく、ちょっと苦労したので忘れないようにblogで公開しておく。

前述の通りoat++は、C++で書かれたWebフレームワークでパフォーマンスがべらぼうに良いらしい。まぁネイティブコードなのでそりゃ速いよねーもちろんオープンソース。さらに他のライブラリに依存しないのが使いやすそう。

oat++のWebページは、https://oatpp.io GitHubのリポジトリは、 https://github.com/oatpp/oatpp である。今回は、Debian9 stretchでコンパイル、実行を行った。

インストール方法

sudo apt-get -y install build-essential cmake git
git clone https://github.com/oatpp/oatpp && mkdir oatpp/build
cd oatpp/build && cmake .. && make && sudo make install

必要なパッケージは、build-essentialとcmakeがあれば特にいらない。gitでcloneしてbuildするだけ。かんたんかんたん。

Hello World

さて、ここからが本題。今回作成したコードは、以下の3つのファイルである。 https://github.com/oatpp/example-crud を参考にした。

app.cc
app_component.hh
controller.hh

app.cc

//app.cc
#include "oatpp/network/server/Server.hpp"
#include 
#include 
#include "./app_component.hh"
#include "./controller.hh"

void run() {
        AppComponent components;
        auto router = components.httpRouter.getObject();
        auto controller = Controller::createShared();
        controller->addEndpointsToRouter(router);

        oatpp::network::server::Server server(components.serverConnectionProvider.getObject(), components.serverConnectionHandler.getObject());
        server.run();
}

int main(int argc, const char * argv[]) {
        oatpp::base::Environment::init();
        run();
        oatpp::base::Environment::destroy();
        return 0;

まずは、main関数が含まれるapp.cc。サーバの初期化と起動を行っている。

app_component.hh

次に、app_component.hhは、app.ccのrun関数で、serverを初期化に必要なオブジェクトインスタンスを作成するクラスAppComponentを定義している。

// app_conponent.hh
#pragma onece
#include 

#include "oatpp/web/server/HttpConnectionHandler.hpp"
#include "oatpp/web/server/HttpRouter.hpp"
#include "oatpp/network/server/SimpleTCPConnectionProvider.hpp"

#include "oatpp/core/macro/component.hpp"

/**
 *  Class which creates and holds Application components and registers components in oatpp::base::Environment
 *  Order of components initialization is from top to bottom
 */
class AppComponent {
        private:
        static const int PORT = 8000;

        public:
    
  /**
   *  Create ConnectionProvider component which listens on the port
   */
  OATPP_CREATE_COMPONENT(std::shared_ptr<oatpp::network::ServerConnectionProvider>, serverConnectionProvider)([] {
    return oatpp::network::server::SimpleTCPConnectionProvider::createShared(PORT);
  }());
  
  /**
   *  Create Router component
   */
  OATPP_CREATE_COMPONENT(std::shared_ptr<oatpp::web::server::HttpRouter>, httpRouter)([] {
    return oatpp::web::server::HttpRouter::createShared();
  }());
  
  /**
   *  Create ConnectionHandler component which uses Router component to route requests
   */
  OATPP_CREATE_COMPONENT(std::shared_ptr<oatpp::network::server::HttpRouter>, serverConnectionHandler)([] {
    OATPP_COMPONENT(std::shared_ptr<oatpp::web::server::HttpRouter>, router); // get Router component
    return oatpp::web::server::HttpConnectionHandler::createShared(router);
  }());  
};

OATPP_CREATE_COMPONENT マクロは、oatpp/core/macro/component.hpp で以下のように定義されている。

#define OATPP_CREATE_COMPONENT(TYPE, NAME) \
oatpp::base::Environment::Component NAME = oatpp::base::Environment::Component

変数を宣言しているだけでした。

このクラスでは、ServerConnectionProvider、HttpRouter、HttpConnectionHandlerを作成している。

controller.hh

そして、controller.hhでは、URLマッピングと呼ばれたときの処理を記述する、Controllerクラスを定義している。

//controller.hh
#pragma onece

#include "oatpp/web/server/api/ApiController.hpp"
#include "oatpp/parser/json/mapping/ObjectMapper.hpp"
#include "oatpp/core/macro/codegen.hpp"
#include "oatpp/core/macro/component.hpp"

#include 

class Controller : public oatpp::web::server::api::ApiController {
public:
        Controller(const std::shared_ptr<ObjectMapper>& objectMapper)
                : oatpp::web::server::api::ApiController(objectMapper)
        {}

        static std::shared_ptr<Controller> createShared(OATPP_COMPONENT(std::shared_ptr<ObjectMapper>,objectMapper))
        {
            return std::make_shared<Controller>(objectMapper);
        }


#include OATPP_CODEGEN_BEGIN(ApiController)

ENDPOINT("GET", "/", root) {
    const char* html =
    ""
    ""
    ""
    ""
    ""
    "Hello World
"
    ""
    "";
    auto response = createResponse(Status::CODE_200, html);
    response->putHeader(Header::CONTENT_TYPE, "text/html");
    return response;
}

ENDPOINT("GET", "/get", get_test, REQUEST(std::shared_ptr<IncomingRequest>, request)
)
{
    const char* resp = (request->getQueryParameter("name", ""))->c_str();

    auto response = createResponse(Status::CODE_200, resp);
    response->putHeader(Header::CONTENT_TYPE, "text/plain");
    return response;
}


ENDPOINT("POST", "/post", post_test, BODY_STRING(String, request)
)
{
    const char* resp = request->c_str();

    auto response = createResponse(Status::CODE_200, resp);
    response->putHeader(Header::CONTENT_TYPE, "text/plain");
    return response;
}


ENDPOINT("GET", "/query-test", query_test, 
        QUERY(String, p, "lon"), QUERY(Float64, q, "lat")
)
{
        std::stringstream resp;
        resp<< "p="<<p->c_str()<< std::endl
                << "q="<<q<< std::endl;

    auto response = createResponse(Status::CODE_200, resp.str().c_str());
    response->putHeader(Header::CONTENT_TYPE, "text/plain");
    return response;
}


ENDPOINT("GET", "/tile/${z}/${x}/${y}", path_test, 
        PATH(Int32, z), PATH(Int32, x), PATH(Int32, y), HEADER(Int32, param))
{
        std::stringstream resp;
        resp<< "zoomlevel = "<< z<< std::endl
                << "x = "<< x<< std::endl
                << "y = "<< y<< std::endl
                << "param = "<< param<< std::endl;

    auto response = createResponse(Status::CODE_200, resp.str().c_str());
    response->putHeader(Header::CONTENT_TYPE, "text/plain");
    return response;
}



#include OATPP_CODEGEN_END(ApiController)
};

各、URLマッピングは、ENDPOINTマクロを使用する。 ENDPOINTマクロは、OATPP_CODEGEN_BEGIN()と、OATPP_CODEGEN_END()で囲む。 #include OATPP_CODEGEN_BEGIN(ApiController)は、#include oatpp/codegen/codegen_define_ApiController_.hppに展開される。 oatpp/codegen_define_ApiController_.hppでは、ENDPOINTマクロで使用するマクロ類が宣言されている。

ENDPOINTマクロは、見てわかるように、#define ENDPOINT(METHOD, PATH, NAME, ...)と宣言されており、 oatpp::web::protocol::http::outgoing::Response を返す関数に展開される。 4番目以降のパラメータは、パラメータマッピングで、関数での処理に必要なリクエストパラメータを指定する。

Parameter Mapping

oat++には、以下のパラメータマッピングがある

ヘッダ

HEADER(, , "")

パス

PATH(, , "")

クエリ

QUERY(, , "")

Body

BODY_STRING(String, )

リクエスト

REQUEST(std::shared_ptr, request)

BODY_DTO(::ObjectWrapper, )

パラメータマッピングは、https://oatpp.io/docs/components/api-controller/ にドキュメントがあるが、正直、どう書くのかほとんどわからなかった。前掲のcontroller.hhがサンプルになっていると思う。

data-typeは、以下の型が使えることを確認した。Booleanも使えるかも。

String
Int32
Int64
Float32
Float64

Makefile

一応、Makefileも。

CXX=g++
CXXFLAGS=-I /usr/local/include/oatpp-0.19.4/oatpp --std=c++11 -w -Wall
LDFLAGS=-L /usr/local/lib/oatpp-0.19.4/ -loatpp -loatpp-test -lpthread

all: app

.o:.cc
        $(CXX) -c $(CXXFLAGS) $<

app: app.o 
        $(CXX)  -o $@ $< $(LDFLAGS)

app.o: app.cc app_component.hh

clean:
        rm -f app *.o

Have Fan!

OpenBSD6.4をインストールしたVPSでIPv6を使う際の注意

Wed, 17 Apr 2019 23:03:29 +0900

TL;DR

OpenBSD 6.4をインストールしたVPSでIPv6のデフォルトゲートウェイに接続できない時は、 SIIを無効にすること。例えば、さくらインターネットの場合、hostname.vio0は以下のようになる。

inet  203.0.113.23 255.255.254.0
inet6 autoconf -autoconfprivacy -soii
inet6 alias 2001:db8:102:3013:203:0:113:23 64
up
!route -nq add -inet6 default fe80::1%vio0

OpenBSDをインストールしたさくらVPSのインスタンスでIPv6のデフォルトゲートウェイと通信できなくてハマった。なんとか解決できたのでメモ。

さくらVPSは、グローバルIPv6のIPを一つくれる。そのゲートウェイはfe80::1である。

OpenBSD 6.3あたりから、Semantically Opaque Interface Identifiers (SOIIs) がデフォルトで有効になっている。 SOIIとはSLAACアドレス（自動で設定されるリンクローカルアドレス）のインターフェース識別子(IID)にMACアドレスを使わずに、プレフィックスも使ってIIDを生成することで、リングローカルアドレスを生成するというもの（RFC7217）。

以前は、MACアドレスだけからリンクローカルアドレスを生成していた（Modified EUI-64）ため、プレフィックスが変化してもリンクローカルアドレスから容易にMACアドレスが特定でき、プライバシーやセキュリティの問題があった。 OpenBSDはそれをいやがって、SOIIをデフォルトで有効にしたのだろう。

一方、さくらのゲートウェイは、IIDをMACアドレスから生成する昔ながらのModified EUI-64を前提にフィルタリングしていると思われる。そのため、SOIIで生成されたアドレスはフィルターされIPv6でインターネットに接続できなかったのだろう。

SIIを無効にするには、上記の例のように、ifconfigのオプションに、-soiiをつける。詳細は、ifconfigのmanページを参照のこと。

blog restart

Wed, 17 Apr 2019 22:30:18 +0900

操作ミスで、メールサーバやらWebサーバをホストしていたさくらのVPSを飛ばしてしまったので、ドメインも変えてやりなおすことにしました。

このblogはガチ技術よりにしようかと思っています。どうぞよろしくお願いします。