KJ's Site

『世界一やさしい会計の教科書 1年生』を読んだ

Sun, 16 Aug 2026 00:00:00 GMT

登川雄太さんの『世界一やさしい会計の教科書 1年生』を読んだメモ

Understanding is the new bottleneck

Mon, 06 Jul 2026 00:00:00 GMT

Understanding is the new bottleneck by Geoffrey Litt

AIが書いたコードを人間が理解するための方法論。素晴らしい記事。

そもそもなぜコードを人間が理解する必要があるのだろうか？それは、コードを検証するためだけではなく、Agentのループに参加するため、共創するため。

And the understanding you have of the system is part of your ability to come up with the next idea to evolve it.
You need a rich set of concepts in your mind to think creatively and fluently about how to move something forward. If you’re lacking that fluency, your ability to participate in the project is meaningfully limited.

当然、ボトルネックになるのは人間側の理解速度。そのための工夫が三つ出てくる。特に勉強になったのは、AIに説明をさせるだけでなく、理解を確認するクイズを作らせること。

ドキュメントを読むだけでは理解したことにはならない。だからクイズを埋め込ませる。

この考えを使ったexplain-diffというskillsも公開してくれている。

GitNationの動画の文字起こしを取得する

Sun, 05 Jul 2026 00:00:00 GMT

GitNation のTalk動画の文字起こしを取得できないかを調べた。

自分でブラウザの開発者ツールを開いてページを解析してみるが、上手い方法が見つからない。

これは難しいか？と感じながらも、Codex Appのブラウザである動画ページを開いた。「このページの文字起こしを取得する方法を考えて」と指示を出したところ、ページ HTML の中に Vimeo の埋め込み URL があることを発見してくれた。

そこからはCodexの提案に乗り、yt-dlpを使うことで字幕を取得することができた。（yt-dlpは便利なことにYoutube以外のプラットフォームもサポートしている）

スクリプトはtools に gitnation-subs.py として置いた。

手元に uv が入っていれば、uv run で URL から直接実行できる。

uv run https://kj-9.github.io/tools/python/gitnation-subs.py --help

字幕一覧だけ確認する場合。

uv run https://kj-9.github.io/tools/python/gitnation-subs.py \
  --list \
  '<GitNation page URL>'

英語字幕を保存する場合。

uv run https://kj-9.github.io/tools/python/gitnation-subs.py \
  -l en \
  -P ~/Downloads \
  '<GitNation page URL>'

Parse, don't validate

Sat, 27 Jun 2026 00:00:00 GMT

Parse, don’t validate by Alexis King

プログラムを実装していて、いたるところで値のバリデーションやチェックをしていると感じたことはないだろうか。

そして、氾濫するバリデーションをどうやって整理したものか頭を抱えたことはないだろうか。

そんな悩みに、この記事は方針を示してくれる。一度読んでおきたい記事だ。

validateとは値をチェックすること。 parseとはvalidateしてより制約の強い型に変換すること。

validateだけでは情報をロスしてしまい、勿体無い。parseして型に落とす。理想的には後続処理に渡す前に。そうすることで、後続の処理で同じチェックを何度もする必要がなくなる。

記事ではより詳しい説明と、実践的なアドバイスも書かれている。

現実との折り合い

ただし、すべてを「parseして型に落とす」で綺麗に解決できるわけではない。

Can types replace validation? もあわせて読むと、現実のアプリケーションでは別の都合もあることが分かる。

たとえば、ユーザー入力では複数のエラーをまとめて表示したいことがある。言語の型システムだけでは表現しにくい制約もある。外部ライブラリやフレームワークとの境界で、理想的なドメイン型だけを扱えないこともある。

TypeScript や Python で考える

現実的には、言語に搭載されている機能だけに頼るのではなく、ある程度フレームワークを活用するのが良いと思う。TypeScript なら Zod、Python なら Pydanticのようなライブラリを使う。

Pydanticでは、標準的に複数のバリデーションエラーを一度に取得できる:

#!/usr/bin/env -S uv run
# /// script
# requires-python = ">=3.12"
# dependencies = [
#   "pydantic[email]>=2.11",
# ]
# ///

from pydantic import (
    BaseModel,
    EmailStr,
    Field,
    ValidationError,
)


class AdultUser(BaseModel):
    name: str = Field(min_length=3)
    age: int = Field(ge=18)
    email: EmailStr

try:
    AdultUser(
        **{
            "name": "a",
            "age": 15,
            "email": "xxx",
        }
    )
except ValidationError as e:
    print("❌ Validation failed\n")

    for error in e.errors():
        path = ".".join(str(x) for x in error["loc"])
        print(f"• {path}")
        print(f"    入力値 : {error.get('input')!r}")
        print(f"    理由   : {error['msg']}")
        print()main.py

実行結果:

❯ uv run main.py
❌ Validation failed

• name
    入力値 : 'a'
    理由   : String should have at least 3 characters

• age
    入力値 : 15
    理由   : Input should be greater than or equal to 18

• email
    入力値 : 'xxx'
    理由   : value is not a valid email address: An email address must have an @-sign.

一度のバリデーションで複数のエラーを取得できるので、ユーザーに対してまとめてエラーを表示することも容易だ。

その他にもPydanticには豊富な機能が存在するので、選択肢として覚えておきたい。

Kindleハイライトのエクスポート制限を回避してコピーする

Tue, 12 May 2026 00:00:00 GMT

How to Copy and Paste Kindle Highlights Beyond the Export Limits by Glasp Tutorial

Kindle Cloud Reader と Glasp のブラウザ拡張を使って、Kindle のハイライトをまとめてコピーしたり、TXT / CSV / Markdown としてエクスポートしたりする手順。

Kindle のハイライトは外に出そうとすると制限にぶつかることがあるので、こういう逃がし方があるのはありがたい。

macOS + OBSでChatGPT Atlasを録画したら音が入らなかった

Sat, 09 May 2026 00:00:00 GMT

OBS StudioでChatGPT Atlasの画面を録画したところ、映像は撮れていたのに音声が入っていなかった。

結論としては、ChatGPT AtlasとOBSの相性が悪かったっぽい。同じ設定のままChromeで録画すると音が入った。

環境

macOS 26.4.1
OBS Studio 32.1.2
macOS Screen Capture ソースを使用
録画対象はChatGPT Atlasの画面と音

OBS公式ドキュメントを見る限り、OBS Studio 30以降かつmacOS 13以降では、macOS Audio Capture Source でデスクトップ全体またはアプリ単位の音声をキャプチャできる。また、macOS Screen Capture でもmacOS 13以降なら音声をキャプチャできる。

なので、今回はBlackHoleなどの仮想オーディオデバイスは入れずに試した。

参考:

何が起きたか

ChatGPT Atlasの画面と音をOBSで録画したところ、映像は撮れているのに音声がほぼ無音だった。

OBSの設定:

macOS Screen Capture はミュートされていない
録画トラック1に音声が割り当たっている
OBSの録画ファイルにはAAC音声トラックが存在するがほぼ無音

原因っぽいもの

今回の切り分けでは、ChatGPT Atlasだと音が取れず、Chromeだと音が取れた。同じOBS設定でブラウザだけ変えている。

なので原因はOBSの録画設定というより、macOSの音声キャプチャとブラウザ側の相性に見える。

macOS Screen Capture はScreenCaptureKitベースのソースなので、そのあたりでブラウザやアプリによって取れたり取れなかったりすることがあるっぽい。

録画前の確認ポイント

ソースに macOS Screen Capture を追加
録画したいブラウザを選ぶ
ブラウザで音を再生する
OBSの音声ミキサーでメーターが動くか確認する
短くテスト録画して、実際に音が入っているか確認する

メーターが動いていない、または録画ファイルがほぼ無音の場合は、OBS設定だけでなくブラウザも疑う。今回のようにChatGPT Atlasでダメでも、Chromeならそのまま解消することがある。

Isometric NYC（ピクセルアートで作るNYCの等角地図）

Sat, 31 Jan 2026 00:00:00 GMT

Isometric NYC

NYC全域を等角（isometric）のピクセルアートで可視化した巨大マップの制作記録。

終始生成AIを駆使して取り組んでいるが、必ずしも全てがスマートに進んだわけではなく、試行錯誤・悪戦苦闘しながらやりきっているのがすごい。

インタラクティブな完成版はこちら: isometric.nyc

DuckLake デバッグ備忘録

Sun, 23 Nov 2025 00:00:00 GMT

はじめに

duckdbのエクステンション、ducklakeをローカルで開発・デバッグする際の備忘録。

PRを出す際に探り探りでやっていたので、次回以降のために記録を残しておく。

参考資料

以下は一読すると良い:

ducklakeのREADME
duckdb公式Doc
- Testing
  - SQLLogicTest の使い方が解説されているので一読すると良い
- Internals
  - DuckLake のアーキテクチャやコンポーネントの説明がある

debug ビルドの作成

ducklakeをクローンして、git submoduleを初期化し、debugビルドを作成する:

git submodule update --init --recursive # 初回のみ
GEN=ninja make debug

差分を反映するには再ビルドが必要となるので、ソースを修正したらGEN=ninja make debug でデバッグビルドを更新する。

テスト実行

buildをすると、テストを実行できるプログラムが build/debug/test/unittest に生成される。

テストは以下のように実行する:

./build/debug/test/unittest test/sql/merge/merge_partition_update.test

build/debug/test/unittest がデバッグビルドのテスト実行バイナリ。
引数に SQLLogicTest のテストファイルを指定して実行する。

より細かいテストの流し方

VSCode でデバッグ

launch.jsonを設定して、VSCodeのデバッガでDuckLakeのソースコードをステップ実行できるようにする。

記事を参考に作成:

{
  "version": "0.2.0",
  "configurations": [
    {
      "name": "(lldb) test_simple_projection",
      "type": "cppdbg",
      "request": "launch",
      "program": "${workspaceFolder}/build/debug/test/unittest",
      "args": ["test/sql/merge/merge_partition_update.test"],
      "stopAtEntry": false,
      "cwd": "${workspaceFolder}",
      "MIMode": "lldb",
      "externalConsole": false
    }
  ]
}.vscode/launch.json

program に build/debug/test/unittest を指定し、args で実行したい SQLLogicTest（例: test/sql/merge/merge_partition_update.test）を渡す。
cwd はリポジトリのルートに設定しておく。
これで VSCode のブレークポイントが DuckLake のソースにヒットするようになる。
- 追いたいファイル（例: src/storage/ducklake_update.cpp）にブレークポイントを置く。
設定した launch.json で VSCode デバッガを起動し、テストを実行しながらステップ実行できる。

SQLテストは単スレッドで走らせるとデバッグしやすい。どうやらデフォルトでは並列スレッドで実行されるようなので、いちいちスレッドが切り替わってしまい、デバッグが困難になる。

SQLogicTest の冒頭に PRAGMA threads=1; を追加し、並列実行を抑止する。
デバッガで追いやすくなり、並列化によるログの混乱や競合を避けられる。

Git rerere (Reuse Recorded Resolution) テクニックとヒント

Mon, 06 Oct 2025 00:00:00 GMT

Gitのrerere（reuse recorded resolution）は、マージやリベースの際に発生したコンフリクト（競合）の解決方法をGit自身に記憶させ、同じコンフリクトが将来再び発生したときに自動で再適用させるための強力な機能である。特に長期にわたるブランチ開発や、頻繁なリベースを行うワークフローで、手作業によるコンフリクト解決の繰り返しを防ぎ、作業効率を大幅に向上させる。

1. rerereの基本と有効化

A. rerereの仕組み

衝突の記録（Preimage）: コンフリクトが発生すると、Gitは衝突前のファイルの状態を.git/rr-cache/ディレクトリにハッシュ値で記録する（これをPreimageと呼ぶ）。
解決の記録（Postimage）: ユーザーがコンフリクトを手動で解決し、git addしてからgit commit（またはgit rebase --continueなど）を行うと、Gitはその解決後の状態を記録する（Postimage）。
解決の再利用: 次回、同じPreimageを持つコンフリクトに遭遇した場合、Gitは記録されたPostimageを自動的に適用する。

B. 有効化の方法（必須）

rerereはデフォルトでは無効になっているため、以下のコマンドで有効にする必要がある。

スコープ	コマンド
グローバル（すべてのリポジトリ）	`git config --global rerere.enabled true`
ローカル（現在のリポジトリのみ）	`git config rerere.enabled true`

2. rerereの応用テクニックと活用シーン

A. 長期ブランチの頻繁な同期

長期フィーチャーブランチ（開発に時間がかかるブランチ）をmainやdevelopブランチに追従させるために、定期的にリベースやマージを行う場合、同じコンフリクトが何度も発生しがちである。

活用方法: 一度目のリベース/マージでコンフリクトを解決すれば、二度目以降の追従作業ではrerereが自動で解決を適用してくれる。

git checkout feature-branch
# 初回：ここでコンフリクトを解決・コミットし、rerereに記憶させる
git rebase main
# 2回目以降：自動解決される
git rebase main

B. 「テストマージ」とマージコミットの破棄

フィーチャーブランチがmainと結合した状態で正しく動作するか確認するために一時的なマージを行い、履歴をクリーンに保つためにそのマージコミットを破棄するワークフロー（“Test Merge”）がある。

テストマージを実行し、コンフリクトを解決・コミットする。(rerereが解決を記録)
テストを実行し、問題ないことを確認する。
マージコミットを破棄する。

git reset --hard HEAD^

最終的な正式マージ（またはリベース）を行う際、rerereが以前の解決を再適用するため、手動での再解決が不要になる。

3. rerere利用時のヒントと注意点

A. 自動解決後の確認を怠らない

rerereがコンフリクトを自動で解決した後でも、そのファイルはステージングされた状態で停止する。これは、Gitがユーザーに最終確認を促しているためである。

必須の操作: rerereが自動解決を行った際は、必ず以下の手順を踏むこと。

git statusやgit diffで自動解決の内容を確認する。
単体テストや統合テストを実行し、解決後のコードが意図通りに動作することを確認する。
問題なければ、git commitまたはgit rebase --continueなどで作業を完了する。

B. 誤った解決の削除

もし、過去に誤った解決方法をrerereに記録させてしまった場合、次回同じコンフリクトに遭遇したときに間違った解決が自動で適用されてしまう。その場合は、forgetサブコマンドを使って記録を削除し、手動で正しい解決をやり直すこと。

特定のファイルの記録を削除:

# 現在のコンフリクト中のファイル（例: src/file.js）の記録を削除
git rerere forget src/file.js

C. 状態確認用のサブコマンド

rerereは通常、自動で動作するが、以下のコマンドで現在の動作状況を確認できる。

git rerere status: 現在のコンフリクト処理において、rerereが関与しているファイルを表示する。
git rerere diff: rerereが現在適用しようとしている（または適用した）解決策の差分を表示し、手動での確認を助ける。

Async Python: The Different Forms of Concurrency

Sun, 05 Oct 2025 00:00:00 GMT

Async Python: The Different Forms of Concurrency, Abu Ashraf Masnun

Pythonでパフォーマンスチューニングや非同期処理について学ぶ際、必ずと言っていいほど登場するのが「非同期」「並行」「並列」といった言葉だ。これらの言葉の定義に触れつつ、Pythonにおける非同期処理について解説した良い記事。

Python並行処理: yt-dlpでの動画ダウンロードを高速化する

Sat, 04 Oct 2025 00:00:00 GMT

Pythonの動画ダウンロードライブラリyt-dlpを使って複数の動画をダウンロードする際、単純にForループで順番に処理すると時間がかかってしまう。例えば、次のコードは複数のURLから動画をダウンロードするが、1つずつ順番に処理するため、全体の時間が長くなってしまう。

import yt_dlp

urls = [
    "https://www.youtube.com/watch?v=...",
    "https://www.youtube.com/watch?v=...",
    "https://www.youtube.com/watch?v=...",
    ...
]

with yt_dlp.YoutubeDL(get_options(file_path)) as ydl:
    for url in urls:
        ydl.download([url])

動画を1つずつ順番にダウンロードするのではなく、並行処理にすることによって全体の時間を短縮したい。

GILとタスクの性質

!注意! Python 3.13以降では、実験的にGILを無効化したバージョンが提供されており、今後GILと並行処理をめぐる状況は大きく変わる可能性がある。

Pythonの並行処理を理解する上で避けて通れないのが、GIL（Global Interpreter Lock） の存在だ。

GILは、Pythonのバイトコードを一度に1つのスレッドでしか実行できないようにするロック機構である。GILの存在により、ある瞬間にPythonのコードを実行できるのは常に1つのスレッドだけに限られる。

GILの挙動を理解するため、タスクの性質を次の2つに分類する。

I/Oバウンド: ファイルの読み書きやネットワーク通信など、I/Oの待ち時間がボトルネックになるタスク（動画のダウンロードはこちらに該当する）。
CPUバウンド: 複雑な計算など、CPUの処理能力がボトルネックになるタスク。

I/O待機中にはGILが解放されるため、その間に別のI/O操作を進めることができる。したがって、I/Oバウンドなタスクは、複数スレッドへの分散が効果的だ。

一方、CPUバウンドなタスクでは、GILが効いてしまい、複数スレッドを使っても同時にPythonコードを実行できない。そのため、GILによるロックを回避するには複数プロセスを立ち上げる必要がある。つまり、CPUバウンドなタスクは、複数プロセスへの分散が効果的だ。

並行処理アプローチ

GILの特性とタスクの性質を踏まえると、Pythonの並行処理には複数のアプローチがある。どのアプローチを選ぶべきか、以下のフローチャートを参考に判断できる。

1. `multiprocessing`: CPUバウンドタスク向け

multiprocessingは、複数のプロセスを立ち上げ、各プロセスで独立してPythonコードを実行するライブラリだ。CPUバウンドなタスクに効果的だが、プロセス間の通信にオーバーヘッドがあるため、I/Oバウンドなタスクにはあまり向いていない。

2. `threading`: I/Oバウンドタスク向け

threadingは、スレッドを使って並行処理を実現するライブラリだ。I/O待機中にGILが解放され、他のスレッドが処理を進められるため、I/Oバウンドなタスクに非常に効果的だ。ただし、前述の通りGILの存在により、CPUバウンドなタスクには向いていない。

multiprocessingとthreadingには、より高水準なAPIであるconcurrent.futuresモジュールが存在し、こちらを使うと並行処理をより簡単に実装できる。

3. `asyncio`: I/Oバウンドタスク向けの現代的な方法

asyncioは、Pythonの標準ライブラリで提供される非同期I/Oフレームワークだ。

単一スレッド内のイベントループという仕組みを使い、awaitキーワードでI/O処理の完了を非同期に待ちながら、その間に他の処理を進めることができる。スレッドと同様にI/Oバウンドなタスクに非常に効果的で、threadingよりもさらに軽量に多くの処理を扱える場合がある。

ただし、asyncioに対応した関数でなければ、この方法で並行処理を行うことはできない。yt-dlpはasyncioに対応していないため、そのままawaitを使ってもイベントループがブロックされてしまい、並行処理の効果が得られず、同期的なコードと同じ結果になる。

このような場合はasyncio.to_threadを使うことで、同期的な関数を別スレッドで実行し、その完了を非同期に待つことができる。これにより、asyncioのイベントループをブロックすることなく、同期的なI/Oバウンドタスクを並行化できる（この場合、内部でスレッドを生成しているため、実質的にはthreadingと同様の効果が得られる）。

参考資料

ここまでで紹介した概念についてより深く知りたい場合は、以下の資料が非常に参考になる。

GILについて:

Understanding the Python GIL, David Beazley
threading vs multiprocessing in python, Dave’s Space

asyncioについて:

PEP492
Build Your Own Async, David Beazley

yt-dlpを並行化する

それでは、実際のコードでyt-dlpを使った動画ダウンロード処理の並行化を試してみよう。

フローチャートに従うと、まずyt-dlpによる動画ダウンロードはI/Oバウンドなタスクである。そして、yt-dlpはasyncioには対応していない。

そのため、次のようにyt-dlpのdownloadメソッドを直接awaitしようとしても、処理自体は同期的に実行されてしまい、高速化の効果は得られない。

async def async_download_video_thread(video_id: str, file_path: Path):
    with yt_dlp.YoutubeDL(get_options(file_path)) as ydl:
        # NG: イベントループがブロックされる
        await ydl.download([video_id])

実質的に冒頭の同期的なコードと同じで、並行化の効果は得られない。

そこで、フローチャートに従い、threadingの利用を検討する。より簡潔に書けるconcurrent.futuresを使うと、次のようになる。

from concurrent.futures import ThreadPoolExecutor

def download_video_thread(video_ids: list[str], file_path: Path, max_workers: int):
    def download(video_id):
        with yt_dlp.YoutubeDL(get_options(file_path)) as ydl:
            ydl.download([video_id])

    with ThreadPoolExecutor(max_workers=max_workers) as executor:
        executor.map(download, video_ids)

もう一つの方法として、asyncio.to_threadの利用がある。これは、同期的な関数を別スレッドで実行し、その完了を非同期に待つことができる関数だ。

async def async_download_video_thread(video_id: str, file_path: Path):
    with yt_dlp.YoutubeDL(get_options(file_path)) as ydl:
        # 同期的なdownloadメソッドを別スレッドで実行し、完了を待つ
        await asyncio.to_thread(ydl.download, [video_id])

この方法はasyncioのイベントループをブロックしないため、他の非同期処理と組み合わせる際に有効だ。内部的にはthreadingと同様、複数のスレッドでダウンロード処理を並行化している。

パフォーマンス比較

ここまで紹介した3つのアプローチと、従来の同期的な方法について、実際に動画ダウンロードのパフォーマンスを比較した。

タスク: 動画を3回ダウンロード
- 動画：最低画質、音声なし（608KB）
スレッド数: 3
Python: 3.13

次の4つのアプローチを試した。

1. sync: 通常の同期処理
2. async: asyncioでそのままyt-dlpを呼び出す(実質的に同期処理と同じ)
3. thread: concurrent.futuresを使い、複数スレッドでyt-dlpを呼び出す
4. async-thread: asyncioでスレッドを利用してyt-dlpを呼び出す

実際のコードはgistに、パフォーマンス比較にはhyperfineを利用している。

結果を次のグラフに示す。

同期処理（sync）では約12秒かかった。
asyncはyt-dlpがasyncioに対応していないため、同期処理と同じ約12秒かかった。
スレッドを使った2つの方法（thread, async-thread）は、いずれも約6秒という結果になった。
- スレッドの利用により、ダウンロード速度が約2倍に向上したことがわかる。

まとめ

yt-dlpのような同期的（ブロッキング）なI/Oバウンドタスクを並行化するには、スレッドを利用する方法が有効だ。

asyncioを主に使う場合は、asyncio.to_threadを利用することで、イベントループをブロックせずに同期処理を別スレッドに委譲できる。これは実質的にthreadingと同様の効果だが、他の非同期処理と組み合わせる際にコードの統一性を保てるという利点がある。

将来yt-dlp自体がasync/awaitに対応すれば、asyncio.to_threadを使わずに、より効率的な非同期処理が実現できるだろう。

Githubで手動でサブスクライブしたIssueとPRの一覧を見る方法

Sun, 28 Sep 2025 17:00:00 GMT

サブスクリプションの一覧から確認できる。

filterのサーチクエリはサブスクリプションの検索には対応していない。こちらのStackoverflowも参考になる。

ハッカーニュースの日本語要約RSSフィードを作った

Wed, 16 Apr 2025 23:00:00 GMT

Hacker Newsが結構好きなのだが、英語の情報がほとんどのため、内容を把握するのにいつも時間がかかる。

CatnoseさんのHacker Newsの日本語要約ページがとても便利で、いつもお世話になっている。だが、RSSフィードは提供されてないので、RSSリーダーで読むことができない。

自分はFeedlyを使ってRSSフィードをチェックしているので、Hacker Newsの日本語要約をRSSフィードで読みたいと思った。

そこで、Hacker Newsの日本語要約のRSSフィードを自分で作ってみた。

RSSフィード

さっそくだがこちらがRSSフィードのURLだ。

その日のHacker NewsのスレッドTop10の、日本語での要約をRSSフィードで配信している。

実装

RSSはGithub Pagesでホスティングしている。レポジトリはこちら。

RSSの更新には、Github Actionsを使っている。 Pythonスクリプトを実行しHacker Newsの日本語要約を取得し、Geminiで要約し、RSSフィードのXMLを生成といった流れだ。

実装にはSimon Wllison氏のllm-hacker-newsを利用した。

LLMというCLIツールのプラグインで、簡単にHacker Newsのスレッドを取得し、geminiなどのモデルに投入できる:

llm --fragment 'hn:43669185' --system '日本語で要約して' --model gemini-2.0-flash

--fragment 'hn:{スレッドID}' で指定したHacker Newsのスレッドをプロンプトに流すことができる。

LLMではPython APIも利用可のだが、執筆時点ではまだllm-hacker-newsなど--fragmentsで利用するPluginがサポートされていないようだった。これについてはIssueをファイルしている。

RSSフィードの簡易リーダー

作成してFeedlyで読み込んでみて気づいたのだが、Feedlyはすぐに更新を反映してくれない。そのため、RSSフィードを更新しても、Feedlyで反映されるまで時間がかかる。

それがちょっと不満だったので、Claude3.7とGithub CopilotでVibe Codingして簡易なRSSリーダーを作成した。

ロードしたRSSと閲覧中のエントリをURLをシェアできるように作ってもらった。例えば以下のリンクから、Hacker Newsの日本語要約の、4Chanの情報漏洩についてのエントリが閲覧できる:

https://kj-9.github.io/tools/rss-reader.html?feed=https%253A%252F%252Fkj-9.github.io%252Fhacker-news-ja-summary-rss%252Frss.xml&entry=43691334

中身は単一の静的HTMLファイルで、こちらもGithub Pagesでホスティングしている。

URLシェアできるとはいっても、クライアントサイドのJavascriptのみで動作しているので、Javascriptが動作しない環境では利用できない。

Quoting "Simon Willison: My career in side projects and open source" video on YouTube

Sun, 13 Apr 2025 18:00:00 GMT

on Youtube by Simon Willison

Simon Willison氏が自身のキャリアについて語ったビデオを見つけた。 2019/12/9に行われたトークなので、少々時間が立っているが、とても興味深い内容だった。

いくつか印象的だった部分を引用してみる。

00:10~

基本的に、私はサイドプロジェクトやオープンソース関連のことを20年ほど続けてきました。最近気づいたのですが、私のキャリアにおける重要な転機はすべて、サイドプロジェクトとして始まったものだったのです。

52:39~

部分的には、私が持っている大きなチートは、基本的に、構築するのが本当に簡単だとわかっているプロジェクトにしか取り組まないことです。

それが速いとわかっています。基本的には過去20年間、使える小さなトリック、チートシートのようなものを蓄積してきました。そして、時々、何かが現れて、「これとこれを過去に構築したから、そしてこれとこれのおかげで、これは数日でできるプロジェクトで、ローンチできる」と考えます。

正直なところ、何かを公開できるまでに1週間以上かかるプロジェクトには取り組みません。私が書くプラグインのほとんどは数時間で、その後、最初のリリースを公開します。それは私が学んだことです…つまり、「早くリリースし、頻繁にリリースする」ということです。それがサイドプロジェクトにとって非常に重要であることがわかりました。なぜなら、代替案は、サイドプロジェクトを決して出荷しないことです。

55:56~

実際、それはDataset自体に関する私の哲学です。何かを行うのに必要な労力の量を、例えば1週間かかるものを、数時間に短縮するツールやテクノロジーには、本当に興味深い何かがあると思います。

もしあなたが新聞社で、地元の老人ホームに関するデータを公開したいとして、JSONエクスポートなどのウェブインターフェースを立ち上げるためにエンジニアに1週間作業してもらう必要があるなら、それはやらないでしょう。そのために1週間のエンジニアリング時間を割く余裕はありません。

しかし、もしDatasetがそれを数時間に短縮するなら、あなたはそれをやるでしょう。ですから、この種の活性化エネルギーがあり、それを行うのに十分な時間がかかるために選択しないであろう何かを取り、それをバーの下に落とし、そしてそれをやらせるツールやテクニックがあります。そして、私はそのようなものが大好きです。私にとって、もし将来、時間がかかりすぎるためにやらなかったであろうダース以上のプロジェクトを行うことができるツールを構築できれば、それは非常に価値があります。

AnyIO: Prefectの非同期処理ライブラリ

Thu, 03 Apr 2025 00:30:00 GMT

prefectのブログで、AnyIOが紹介されている。

How AnyIO powers Prefect’s Async Architecture

prefectの内部的な非同期処理では、AnyIOが積極的に使われているようだ。AnyIOについて少し調べてみたので、メモしておく。

AnyIO

AnyIOは非同期処理を行うためのPythonライブラリ。

AnyIO is an asynchronous networking and concurrency library that works on top of either asyncio or trio. It implements trio-like structured concurrency (SC) on top of asyncio and works in harmony with the native SC of trio itself.

最近ようやくPythonの非同期処理の標準ライブラリであるasyncioを触りだしたが、いろいろと足りていないと感じる部分も多い。

trioはそんな部分を補うために作られたOSSライブラリだ。

一方でAnyIOのドキュメントと冒頭のブログによると、AnyIOは、asyncioとtrioの両方と互換性を持たせつつ、より統合されたAPIを提供することを目指している。

AnyIOはAlex Grönholmという方がメインのメンテナーをしている。Pythonの非同期処理界隈では有名な方のようだ。

この手のライブラリはコアチームにメンテされていくのが理想的だ。だがAnyIOにはasyncioやtrioそれぞれの開発者がAnyIOにコントリビュートしているらしく、継続性について一つの安心材料になると感じている。

AnyIOの特徴

asyncioでは非同期のファイル処理やネットワーク処理を簡潔に行うための関数やAPIが提供されていない。

そのため、ファイル処理ではaiofile、ネットワーク処理ではhttpxやaiohttpなどのライブラリを利用することが多い。

AnyIOでは、非同期のファイル処理や高水準なネットワーク処理を行うためのAPIを提供している。詳細な比較はできてないが、aiofileやaiohttpなどのライブラリをカバーすることができそうだ。

また、スレッドやプロセスも扱えるし、タスクをグループ化し、きめ細かいキャンセル処理を行うことができる。

AnyIO offers the following functionality:

Task groups (nurseries in trio terminology)

High-level networking (TCP, UDP and UNIX sockets)

Happy eyeballs algorithm for TCP connections (more robust than that of asyncio on Python 3.8)

async/await style UDP sockets (unlike asyncio where you still have to use Transports and Protocols)

A versatile API for byte streams and object streams

Inter-task synchronization and communication (locks, conditions, events, semaphores, object streams)

Worker threads

Subprocesses

Asynchronous file I/O (using worker threads)

Signal handling

AnyIOが依存するパッケージもミニマムなものだ。 pyproject.tomlのdependenciesを見てみると、以下のようなものがある。

dependencies = [
    "exceptiongroup >= 1.0.2; python_version < '3.11'",
    "idna >= 2.8",
    "sniffio >= 1.1",
    "typing_extensions >= 4.5; python_version < '3.13'",
]

以下は比較的小さなPythonライブラリだ:

idna: 国際化ドメイン名（IDN）を処理するためのライブラリ
sniffio: 現在実行中の非同期フレームワークを検出するためのライブラリ

その他は、あくまでPythonの標準ライブラリを拡張するためのもので、Pythonのバージョンが進めば不要になるものだ。

どれも軽量な依存関係で、AnyIOはPure Pythonに近い状態で書かれている、と言えるだろう。

このように、AnyIOはシンプルかつ高機能な非同期処理ライブラリであり、今後自分のプロジェクトでも使ってみたいと思った。

補足: ファイルの非同期処理について

asyncioにおける、非同期なファイルIOのサポートについて、StackOverflowが参考になった。

Does asyncio supports asynchronous I/O for file operations?

次のことが言及されている:

asyncioではファイルIOは直接的にはサポートしていない
そもそも、多くのOSでは、OSレベルで非同期なファイルIOをサポートしていない
- Linuxの最近のバージョン(>=4.18?)や、Windowsはサポートしている模様
Node.jsの非同期ファイルAPIも、内部的にはスレッドを使っている
aiofileも、内部的にはスレッドを使っている

そのほか、OSの非同期ファイルIOについては、次の記事も参考になった。

asynchronous disk I/O

Quoting Pekka Enberg

Tue, 01 Apr 2025 23:00:00 GMT

Senior developer don’t want to rewrite legacy code because it’s insanely hard. That’s why we need fearless 25 year olds who don’t know better to do it to move forward.

on X by Pekka Enberg

Airflow 3.0 Betaをローカルで動かしてみる

Thu, 27 Mar 2025 22:45:00 GMT

Airflow 3.0が現在開発中となっている。

開発タイムラインによると、3月末にはRCがリリースされる予定だ。

v3.0の主な変更点については、Astronomerが提供する情報が詳しい:

執筆時点でBeta4がリリースされているので、ローカルで試してみる。

Airflow 3.0 Betaをローカルで動かす

BetaリリースはGitHubのリポジトリ上のタグとして管理されているようだ。

v3.0b4

PyPIやGitHubリリースは作成されていないようだ。

まずはタグを指定してリポジトリをCloneする。

git clone --depth 1 --branch '3.0.0b4' https://github.com/apache/airflow.git
cd airflow

uvを使ってBreezeをインストールする。 BreezeのインストールにはDockerが必要となる。詳細はGitHub上のドキュメントに記載されている。

uv tool install -e ./dev/breeze

Airflow起動時にpre-commitがないとエラーが出たので、pre-commitをインストールしておく。

uv tool install pre-commit

Breezeを使ってAirflowを起動する。初めて実行する際は、コンテナのセットアップなどで時間がかかる。 --load-example-dagsをつけるとExample DAGsがロードされる。起動するだけだとDAGが存在しないので、つけておくと良い。

breeze start-airflow --load-example-dags

完了すると、Tmuxセッションが立ち上がり、Airflowが起動する。

それぞれのPaneで、Triggerer, Scheduler, API Server, DAG Processorが起動している。

http://localhost:8080/にアクセスすると、AirflowのUIが表示される。

v3.0のUIを確認することができた。v2と比べて、UIが大きく変わっている。

Airflowを終了するには、Tmuxの左上のセッションでstop_airflowと入力する。

terraformはS3-nativeなstate lockをどのように実装しているのか

Wed, 26 Mar 2025 23:30:00 GMT

terraform v1.11.0でS3-nativeなstate lockが実装された。これによって、今まではDynamoDBが必要だったstate lockをS3だけで実現できるようになった。

ベースとなる実装はこちらのPRで実装されている。

S3 Conditional Writes

PRのDescriptionによると、S3でconditional writes(条件付き書き込み)がサポートされたことで、この実装が可能になったとのこと。

conditional writesとは何かというと、「あるファイルをS3に書き込む際に、そのファイルが既に存在している場合は書き込みを防ぐことができる」というもの。

PutObjectリクエストに'If-None-Match': '*'ヘッダーを追加することで、conditional writesを利用できる。(詳細)

そんな単純なものが今までサポートされてなかったのか？そしてそんな単純なものがサポートされて何が嬉しいのか？

という気持ちになるのだが、これが複数クライアントの競合Lockを実装するのに必要な機能だった。

TerraformのS3-nativeなstate lockの仕組み

次の仕組みで、S3-nativeなstate lockが実現されている。

ロックの動作

Terraformの操作（plan、apply等）を開始すると、まずS3バケットに.tflockファイルをconditinal writesで作成を試みる
.tflockファイル作成に成功した場合:
- ロックの取得に成功したと判断し、操作を続行
- Terraformの操作完了後、.tflockファイルを削除
.tflockファイル作成に失敗した場合:
- 他のユーザーが操作中と判断し、エラーを返す

conditinal writesでただファイルを書き込むだけで、他のユーザーが操作中かどうかを判断できるのがとてもシンプル。

GCSのstate lockはどのようになっているのか

GCSはconditional writesに相当する機能が、以前からサポートされている。仕組み自体は上記のS3-nativeなstate lockと同じようだった。

つまりは、S3の方が遅れていたということだろうか。

S3 Object Lock

Tue, 25 Mar 2025 22:15:00 GMT

S3 Object Lock

S3 Object Lockという機能について知った。

一定期間、S3のオブジェクトを削除できないようにする機能。いくつか設定が可能だが、コンプライアンスモードというものを有効化すると、たとえRootユーザーであっても、オブジェクトの削除ができなくなる。

ストレージクラスの変更自体は可能な模様。削除はできないが、保持期間中により安価なストレージクラスに変更することはできそうだ。

LLMで作成した小さなWebツール

Mon, 24 Mar 2025 23:30:00 GMT

Simon Willison氏がHTMLとJavaScriptのみで作成したツールのコレクションをまとめて公開している。ほとんどはLLMの助けを借りたものとのこと。

とても良い発想で、真似したくなった。

自作ツール

自分の助けのためにミニツールをClaudeで作成し、GitHub Pagesでホスティングしてみた。ツールの一覧ページ:

Tools

まだツールは2つだけ:

それぞれ名前の通り、XMLを整形するツールと、文字数とバイト数をカウントするツール。

正直、ググったりVSCodeの拡張機能で似たようなものはある。だが広告が多かったり、自分が欲しいと思うオプションがなかったりする。サクッと自分が欲しいものをClaudeがかなりの速さとクオリティで作成してくれるので、LLMの力を借りて自作するのは簡単だし、すぐに作れる。

また、GitHub Pagesでホスティングすることで、後でまた使いたくなったときにアクセスできる。

Character Byte Counter

Character Byte Counterは、Claude 3.7との会話で試しつつ、プロンプトを通じて機能を改善していった。

初期バージョンからの変更点:

Emojiなどマルチバイト文字に対応できていなかったので機能を追加
- プロンプト
URLで文字列の分析結果をシェアできる機能を追加
- プロンプト

(Claudeでシェアしたプロンプトも貼っていますが、URLがいつまで残るのかはわからないので)

Character Byte CounterのURLシェア機能は便利で。例えば以下で”𩸽“という文字の分析結果をシェアできる:

https://kj-9.github.io/tools/character-byte-counter.html?text=%F0%A9%B8%BD

この機能も上記promptに貼っているが、頼めばすぐに追加してくれる。Claudeは非常に優秀だ。

5 Things I Learned About Leadership from the Death & Rebirth of Microsoft

Sat, 22 Mar 2025 22:00:00 GMT

5 Things I Learned About Leadership from the Death & Rebirth of Microsoft from Dare Obasanjo

マイクロソフトの2000年代後半の凋落と、そこからの復活の背後でリーダーが取ったスタンスについて。

企業が(時として独善的に)設定する戦略よりも、顧客志向を優先したことが印象的。strategy taxという概念も初めて知った。記事内で引用されている。

OpenRouterで無料でLLMのAPIを利用する

Wed, 19 Mar 2025 23:00:00 GMT

Open Table of contents

OpenRouter
日本語が得意なモデルは?
OpenRouterのAPIを利用する
コマンドの出力をパイプして渡す
まとめ
追記(2025/03/18): OpenRouterから無料でGeminiが使えるようになった

OpenRouter

無料で使えるLLMのAPIを調べていたところ、OpenRouterというサービスを見つけた。

OpenRouterでは多くのLLMモデルを利用できるのだが、執筆時点で無料で利用できるのは「100%OFF」と表示されている以下の8モデル:

利用できるモデルの詳細はSupported Modelsを参照。

日本語が得意なモデルは?

WebUI上から複数モデルとChatすることができるので、無料モデルがどれくらい日本語を理解できるのか見てみた。

ざっとみただけだが、OpenChat3.5はなかなか良さそう。その他のモデルは少々厳しいか？

OpenRouterのAPIを利用する

APIを利用するには、OpenRouterのアカウントを作成し、APIキーを取得するだけ。クレジットカードの登録も不要。

OpenAIのAPIと互換性があるので、Pythonであればpip install openaiで利用開始できる。Quick Startにサンプルコードものっている。

今回は個人的に気に入っている、LLMというCLIツールを使ってAPIを利用してみる。LLMは名前の通り、LLMをターミナルから利用できるCLIツール。(分かりやすいがややこしい。)

LLMでは色々なPluginが存在しているのだが、OpenRouterのAPIを利用するためのPluginもあり、サクッと試すにはおすすめ。

cliの利用準備:

pip install llm
llm install llm-openrouter

llm keys set openrouter
# プロンプトで発行したAPIキーを入力

これで準備は完了。以下のように利用できる:

llm -m openrouter/openchat/openchat-7b "PythonでCSVファイルを読み込むコードを書いて"

-mは利用するモデルの指定で、openrouter/openchat/openchat-7bは先ほどのOpenChat3.5。

以下LLMからの回答:

PythonでCSVファイルを読み込むには、csvモジュールを使用します。以下に例を示します。

import csv

# CSVファイルのパス
csv_file_path = 'example.csv'

# CSVファイルを読み込む
with open(csv_file_path, mode='r', encoding='utf-8') as csvfile:
    # CSVファイルを読み込む
    csv_reader = csv.reader(csvfile)

    # ファイル内の行を順に読み込む
    for row in csv_reader:
        print(row)

この例では、example.csvという名前のCSVファイルを読み込み、その内容を順に表示しています。csv.readerを使用して、CSVファイルの行を順に読み込むことができます。csvfileは、with文の中で自動的に閉じられるため、ファイルが適切にクローズされることが保証されます。

無料にしてはなかなか良さそうだ。

コマンドの出力をパイプして渡す

だが、これだけだとGPT3.5使えば良い話なので、コマンド結果をパイプしながら作成し、LLMに渡してみる。

無料で使える天気予報APIをcurlで叩き、東京駅周辺の天気情報をJSON形式で受け取り、LLMに渡して要約してもらった:

# 東京駅の緯度軽度
LON=139.76
LAT=35.68

# JSON形式で天気予報を取得し、jqで整形してからLLMに渡す
curl "https://api.open-meteo.com/v1/forecast?latitude=${LAT}&longitude=${LON}1&current=temperature_2m,wind_speed_10m&hourly=temperature_2m,relative_humidity_2m,wind_speed_10m" \\
| jq \\
| llm -m openrouter/openchat/openchat-7b \\
  -s "あなたは優秀な日本語アシスタントです。天気予報のAPIからのレスポンスをJSON形式で渡すので、内容を要約してください" \\
  -o max_tokens 1000

ここで、

-sはシステムプロンプトの指定。
-oはモデルのオプションの指定。max_tokensは生成するトークンの最大数を指定。

LLMで利用できるオプションはllm models --optionsで表示できる。(参考)

以下LLMからの回答:

天気予報APIから受けたデータを要約しました。現在の気温は10.9℃で、最高気温は21.8℃であり、最低気温は1.8℃です。湿度は95%で、風速は11.8km/hです。この週の天気予報は、多くの時間で雨が降り、気温は低い予定です。1月20日～26日の間、最高気温は11℃、最低気温は1℃です。湿度は高く、風速は中程度です。

日本語として違和感のない文章で要約してくれている。

まとめ

OpenAIのAPIは有料だが、OpenRouterのAPIは無料で利用できる。ChatGPT程の精度はないが、無料の範囲でそれなりに日本語も扱えるモデルも揃っているので、十分に遊べる。

今回はCLIから利用したが、openaiのAPIを使ってPythonなりJavascriptで実装してみるのも良さそうだ。

追記(2025/03/18): OpenRouterから無料でGeminiが使えるようになった

久々に見ていたら、GeminiやGemmaなど、googleのモデルもOpenRouterで無料で利用できるようになっていた。(GeminiのAPI自体は、OpenRouterを使わずとも、Googleアカウントがあればクレカ登録不要で利用はできる)

llm-openrouterのPluginも進化していて、v0.4では無料のモデルを一覧で表示できるようになった。

Googleの無料モデルは、執筆時点で以下:

❯ llm openrouter models --free | grep google
- id: google/gemma-3-1b-it:free
- id: google/gemma-3-4b-it:free
- id: google/gemma-3-12b-it:free
- id: google/gemma-3-27b-it:free
- id: google/gemini-2.0-flash-lite-preview-02-05:free
- id: google/gemini-2.0-pro-exp-02-05:free
- id: google/gemini-2.0-flash-thinking-exp:free
- id: google/gemini-2.0-flash-thinking-exp-1219:free
- id: google/gemini-2.0-flash-exp:free
- id: google/gemini-exp-1206:free
- id: google/learnlm-1.5-pro-experimental:free
- id: google/gemma-2-9b-it:free

レートリミットの制限はあるが、もはやOpenChat3.5とは比べ物にならない精度が期待できる。

❯ llm -m 'openrouter/google/gemini-2.0-flash-lite-preview-02-05:free' こ んにちは。あなたは日本語が得意ですか？
INFO: HTTP Request: POST https://openrouter.ai/api/v1/chat/completions "HTTP/1.1 200 OK"
はい、日本語は得意です。日本語の読み書き、会話、理解はできます。 質問や何かお手伝いできることがあれば、遠慮なくお尋ねください。

1年前はOpenChat3.5が精度が高いと感じていたが、今はGoogleのGeminiが無料で使えるので、もはやOpenChat3.5は使う理由がないかもしれない。1年でここまで進むとは、驚きだ。

ちなみにllm-geminiというGeminiAPI専用のPluginもあるので、Geminiを使う場合はこちらを使うと良い。JSON形式での出力や、音声、動画ファイルの入力などにも対応していて、とても使いやすい。

さらに、llm openrouter keyでAPIキーの使用状況も確認できる:

❯ llm openrouter key
INFO: HTTP Request: GET https://openrouter.ai/api/v1/auth/key "HTTP/1.1 200 OK"
{
  "label": "sk-or-v1-a3b...0a8",
  "limit": null,
  "usage": 6.1435e-05,
  "is_provisioning_key": false,
  "limit_remaining": null,
  "is_free_tier": true,
  "rate_limit": {
    "requests": 10,
    "interval": "10s"
  }
}

rate limitの状態や、free_tierの状態も表示される。

Findyイベントアーカイブ

Mon, 10 Mar 2025 23:30:00 GMT

Findyイベントアーカイブ

エンジニアの転職サービスでお馴染みのFindyは、エンジニア向けのイベントも開催している。色々な技術トピックについての過去のアーカイブ動画が公開されていて、なかなか良さそうだ。動画の閲覧にはアカウント作成は必要になる。

直近で気になったもの:

ジャンルは幅広く、データエンジニアリング、Web開発、インフラ、セキュリティ、マネジメントなど、様々なトピックがある。

llmをMacBook Air M2上で無料で動かす (mlxとggufを比較)

Thu, 20 Feb 2025 00:00:00 GMT

Run LLMs on macOS using llm-mlx and Apple’s MLX frameworkという記事で、mlxを使って、macOS上でllmを動かす方法が紹介されている。

mlxとはAppleが開発するApple Siliconのための機械学習フレームワーク。mlx-lmというllmをmlxで動作させるためのPythonライブラリも提供されている。

しばらく自身のMacBook Air上でllmを動かしていなかったので、自分のMacBookでmlxを利用したllmの実行を試してみることにした。

PCのスペック

MacBook Air M2 (2022)

16GB memory
512GB SSD
Sequoia 15.3

LM Studioを使ってローカルでllmを実行

今回はLM Studioというオープンソースのデスクトップアプリを使ってllmを動かしてみる。

LM Studioは従来のllmのファイル形式であるggufだけでなく、mlxのファイル形式もサポートしている。(v0.3.4以降でmlxがサポートされた)

LM StudioのUIから、HuggingFaceが提供するmlx/ggufのモデルを検索し、ダウンロードして使うことができる。

Mistral 7Bをmlx/ggufで比較

16GBメモリのMacBook Airのため、巨大なモデルは動かすことはできない。今回はMistral 7B Instruct v0.3の4GB程度のモデルファイルでmlx/ggufそれぞれの形式を比較してみる。

入力プロンプトは「ツリーを巡回するPythonコードを簡潔に説明して」

TL;DR

先に結論だが、mlxとggufとで大差はなさそうだった。

Modelサイズやメモリ使用量はmlxの方が少し小さい (-0.3GBほど)
Token Speedはmlxの方がわずかに速い(+3tok/sec)
回答内容はどちらも良さそう
- どちらもちゃんとコードを生成できている
- ggufの方が回答内容が少し長いが、mlxの方が回答内容が簡潔である
- 日本語も漢字が中国語っぽい部分はあるが、どちらも十分理解できる内容である

あくまで今回の比較は、4GB程度のモデルでの比較であるため、より巨大なモデルでの比較を行うと、性能差がより顕著に出ると思われる。

次の表により詳細な結果をまとめた:

	mlx	gguf
Model Name	Mistral 7B Instruct v0.3 4bit	Mistral 7B Instruct v0.3 Q4_K_M
File Size	4.08 GB	4.37 GB
Memory Usage	4.28 GB	4.71 GB
Token Speed	20.81 tok/sec	17.60 tok/sec
Time to First Token	0.63s	0.52s
Output Tokens	531	639

実際の回答:

mlxの回答

Pythonでツリー（Tree）を輪遡させる（Recursively traverse）シンプルなコードは次のようになります：
def traverse(node, func):
   if node:
       # 現在のノードを処理
       func(node)

       # 子ノード（左側と右側）について、同じ処理を繰り返してください
       traverse(node.left, func)
       traverse(node.right, func)

# 木構造で表現されたデータを持ち、leftとrightに子ノードがあるnodeオブジェクト
root = MyNode(1) # 例: Root Node
root.left = MyNode(2)
root.right = MyNode(3)
root.left.left = MyNode(4)
root.left.right = MyNode(5)

# 木を輪遡させる処理
traverse(root, print) # 上記の構造に対して、各ノードを出力
上記のコードでは、traverse() 関数に木構造を持ち、func を呼び出すようになっています。この func 関数は処理を行うたびに、渡されるノードオブジェクトに対して何らかの処理を行います。一度呼び出されるたびに、現在のノードを処理してから子ノード（左側と右側）について、再帰的にこの処理を繰り返します。
上記の例では、print() 関数を func として与えています。これにより、rootノードから、子ノードを辿ってrootノードから根拠した木構造の全てのノードが出力されます。

ggufの回答

以下は、Pythonで木（Tree）を深さ優先探索（Depth-First Search, DFS）または幅優先探索（Breadth-First Search, BFS）する方法の簡単な例です。

これらの例は、Python標準ライブラリに含まれるcollections.dequeを使用して、ノードを追跡したり、前へ戻れたりすることが可能です。

# 深さ優先探索 (Depth-First Search, DFS)
class Node:
   def __init__(self, val):
       self.val = val
       self.children = []

def dfs(node):
   print(node.val)
   for child in node.children:
       dfs(child)

root = Node("root")
root.children.append(Node("A"))
root.children.append(Node("B"))
root.children[0].children.append(Node("D"))
root.children[1].children.append(Node("E"))
root.children[1].children.append(Node("F"))
root.children[0].children.append(Node("C"))
root.children[2].children.append(Node("G"))

dfs(root)  # root, A, D, C, B, E, F, G の順に出力されます。

# 幅優先探索 (Breadth-First Search, BFS)
from collections import deque

def bfs(node):
   q = deque()
   q.append(node)
   while q:
       current_node = q.popleft()
       print(current_node.val)
       for child in current_node.children:
           q.append(child)

root_bfs = Node("root")
# ノードの設定は同じですが、DFSと異なり次第に子ノードを追加します。
root_bfs.children.append(Node("A"))
root_bfs.children.append(Node("B"))
root_bfs.children[0].children.append(Node("D"))
root_bfs.children[1].children.append(Node("E"))
root_bfs.children[1].children.append(Node("F"))
root_bfs.children[0].children.append(Node("C"))
root_bfs.children.append(Node("G"))

bfs(root_bfs)  # root, A, B, C, D, E, F, G の順に出力されます。

おまけ: CLIで実行する

冒頭の記事で紹介されているが、CLIツールLLMでもmlxを使ってllmを動かすことができる。

まずuvを使ってLLMをインストールする:

uv tool install llm --python 3.12

ここで--python 3.12は、内部で利用されているsentencepieceのwheelがpython3.12までしか提供されていないため指定している。

プラグインであるllm-mlxをインストールする:

llm install llm-mlx

mlxモデルファイルは、CLIからダウンロードすることもできるが、せっかくなのでLM Studioでダウンロードしたファイルを使いまわしたい。

~/.lmstudio/models/mlx-communityにダウンロードしたmlxモデルが保存されている:

❯ ls -l ~/.lmstudio/models/mlx-community
total 0
drwxr-xr-x@ 9 kh03  staff  288 Feb 18 21:31 Mistral-7B-Instruct-v0.3-4bit

このモデルファイルをLLMで使うためには、モデル定義を記述するjsonファイルを編集する必要がある。以下でjsonを開ける:

❯ open "$(llm mlx models-file)"

jsonに以下のキーを追加する:

{
  "~/.lmstudio/models/mlx-community/Mistral-7B-Instruct-v0.3-4bit": {
    "aliases": ["lmstudio"]
  }
}

キー自体は、LM Studioでダウンロードしたモデルのパスを指定し、aliasesにはCLIで利用するモデルの名前を自由に指定する。 (ここのモデル登録は少々面倒なので、コマンドを追加できないかIssue作成した)

あとはaliasを指定して、LLMを実行する:

❯ llm -m lmstudio-mistral hi

まとめ

より大きなモデルをローカルで利用したい場合はMacBook Proの上位モデルが適しているかもしれないが、今回のような小規模なモデルであれば、MacBook Air M2でも十分動かすことができた。

何よりもローカルで動かせば無料だし、外部のサーバーに依存しないので、セキュリティ的にも安心である。色々と試すにはかなりお勧めできる。

またCLIを利用すれば、ほかのプログラムとPipeを通じて組み合わせることもできる。

プラグインで拡張可能なソフトウェアを設計・実装する方法 by Simon Willison

Fri, 14 Feb 2025 00:00:00 GMT

プラグインで拡張可能なソフトウェアを設計・実装する方法 by Simon Willison

via DjangoCon 2024.

DjangoCon 2024でのSimon Willison氏による、pluginアーキテクチャについての貴重なトークがYoutubeで公開されている。

氏が作成したPluginアーキテクチャを採用した実例が紹介されている:

すべてPytestのPluginアーキテクチャを支える、pluggyというライブラリを活用している。

pluggyもプラグインシステムも話題にのぼることは少ない(と感じるが)、実例も含み示唆に富む氏のトークは、pluginアーキテクチャを採用するメリットや、その実装方法についての理解を深めるのに役立つ。

エンジニアの仕事を昇進につなげるには

Tue, 11 Feb 2025 16:00:00 GMT

How to Turn Engineering Work into a Promotion ~エンジニアの仕事を昇進につなげるには~ by Anna Jean McDougall via GitNation

具体的で行動に移しやすいトーク内容、GitNationで無料で視聴できる。

GitNationでは色々なカンファレンスの動画が視聴でき、中には有料のものもあるが、無料で見れるものも多い。

C4ダイアグラム

Tue, 11 Feb 2025 00:00:00 GMT

C4ダイアグラム via Hacker News Comment on 7 Common Mistakes in Architecture Diagrams

C4ダイアグラムは、ソフトウェアのアーキテクチャを4つのレベルで整理する方法論。イントロダクションがわかりやすい。

リンクブログを作る

Fri, 07 Feb 2025 00:00:00 GMT

リンクブログを作る via Hacker News

XuanwoはSimon Willisonに触発され、リンクブログを作ることにした。そして自分も触発されたので、リンクブログを作ることにした。

リンクブログとは

「みつけたこと」をかく小さなブログ
リンクにすこし付け加える
- 簡単なサマリ、コメント
- リンク先の引用もするかもすれない
コードの切れ端など、そのほかのリンクを含むかもしれない
常に、ソースを提供した人のなまえをいれる

pytestでフラグ指定した時のみ統合テストを実行する

Wed, 04 Dec 2024 00:00:00 GMT

pytestを使って、統合テストを行いたい。統合テストでは、外部のAPIやリソースにアクセスする。そのため、pytest実行時にフラグを指定した場合のみ、統合テストを実行するようにしたい。

実装としては、@pytest.markをつかって、テストをマークしておく方法がある。

この方法ではテストファイルのディレクトリ構成に関係なく、個々のテストを統合テストとしてマークする。これはこれで便利だが、今回は、「特定のディレクトリ内のテストファイル」をすべて統合テストとして実行する方法を試してみた。

pytestの設定

テストコードのディレクトリ構成は以下のようになっているとする:

tests/
├── conftest.py
├── integration/
│   ├── conftest.py
│   ├── test_integration.py
├── test_unit.py

ここで、integration/ディレクトリ内のテストファイルを統合テストとして、--integrationフラグを指定した場合のみ実行したい:

pytest --integration

ベースとなるtests/conftest.pyに以下のコードを追加する:

def pytest_addoption(parser):
    parser.addoption(
        "--integration",
        action="store_true",
        default=False,
        help="run integration tests",
    )

これで、--integrationフラグをpytestコマンドに指定できるようになる。

次に、tests/integration/conftest.pyに以下のコードを追加する:

def pytest_collection_modifyitems(config, items):
    # skip all integration tests if not explicitly requested
    if not config.option.integration:
        skip_integration = pytest.mark.skip(reason="need --integration option to run")
        for item in items:
            if "integration" in item.keywords:
                item.add_marker(skip_integration)

これで、--integrationフラグが指定されていない場合、integration/内のテストはスキップされるようになる。

例

とあるbqmというレポジトリにおける--integrationフラグを指定した場合のみ実行されるテストコードの追加コミット.

統合テストとして、GCPのBigQueryにアクセスするテストコードを書いている。

--integrationフラグを指定せずにテストを実行すると、統合テストはスキップされる:

❯ pytest tests/integration -vv
==== test session starts ============================================
platform darwin -- Python 3.12.7, pytest-8.3.3, pluggy-1.5.0 -- /Users/hoge/work/repos/bqm/.venv/bin/python3
cachedir: .pytest_cache
rootdir: /Users/hoge/work/repos/bqm
configfile: pyproject.toml
plugins: syrupy-4.7.2
collected 2 items
tests/integration/test_integration.py::test_integration SKIPPED (need --integration option to run) [ 50%]
tests/integration/test_integration.py::test_tables_dryrun SKIPPED (need --integration option to run) [100%]

=== 2 skipped in 0.32s ==============================================

--integrationフラグを指定してテストを実行すると、統合テストが実行される (このツールでは、--projectでGCPのプロジェクトIDも指定する必要がある):

❯ python -m pytest  --integration --project hoge-gcp -vv
==== test session starts ============================================
platform darwin -- Python 3.12.7, pytest-8.3.3, pluggy-1.5.0 -- /Users/hoge/work/repos/bqm/.venv/bin/python
cachedir: .pytest_cache
rootdir: /Users/hoge/work/repos/bqm
configfile: pyproject.toml
plugins: syrupy-4.7.2
collected 5 items
tests/integration/test_integration.py::test_integration PASSED [ 20%]
tests/integration/test_integration.py::test_tables_dryrun PASSED [ 40%]
tests/test_bqm.py::test_version PASSED [ 60%]
tests/test_bqm.py::test_tables_dryrun PASSED [ 80%]
tests/test_bqm.py::test_views_dryrun PASSED [100%]
---snapshot report summary ------------------------------------------
3 snapshots passed.
=== 5 passed in 5.97s ===============================================

pythonスクリプトをCLIツールとしてインストールする

Mon, 28 Oct 2024 00:00:00 GMT

時たま利用する、単体のPythonスクリプトがいくつかある。

利用する頻度としては微妙なラインで、わざわざパッケージ化するほどではないが、誰かに共有したり、複数の端末でインストールしたい場合には、1発のコマンドでインストールできると便利だ。

uvのuv tool installコマンドを使うと、簡単に隔離された環境にPythonパッケージをCLIとしてインストールできる。だが、現状は単一のPythonスクリプトをインストールすることはできない。少なくとも、1つのPythonスクリプトに加えて、pyproject.tomlが必要になる。

単一のPythonスクリプトをインストール可能にするfeature requestがuvのレポジトリで作成されているが、まだ実装されていないのが現状だ。

copier template

そこでcopierを使って、PythonスクリプトをCLIツールとしてuv tool installでインストールするためのミニマムなファイルを生成するテンプレートを作成した。

uv-tool-min-copier

ファイルを生成するには、uvをインストールした環境で、以下のコマンドを実行する:

uvx copier copy gh:kj-9/uv-tool-min-copier your-tool-dir

プロンプトでいくつかの質問に回答を求められるので、生成するCLIツール名など適宜入力する。

途中で"Do you want to use Click for command line interface?"という質問が表示される。yを入力すると、Clickを使ったCLIツールのスターターコードがスクリプトに追加される。

入力が完了すると以下の3つのファイルが生成される:

main.py
pyproject.toml
.gitignore

main.pyはCLIツールのスクリプト本体。こちらを編集してツールを作成する。

pyproject.tomlはuv toolとしてインストールするため、ミニマムな内容のみを記述した設定ファイル。

.gitignoreはインストールには不要だが、プロジェクトをGitで管理する場合のために生成している。

インストール

生成したプロジェクトディレクトリを指定して、uvでインストールする:

uv tool install ./your-tool-dir -e

-eオプションは、編集モードでインストールするためのオプション。これにより、インストールされたツールのソースコードを編集することができる。

gitリポジトリとしてgithubに公開した場合、以下のコマンドでインストールできる:

uv tool install git+https://github.com/{github-username}/{repo-name}

Gistとして公開する場合は:

cd your-tool-dir
gh gist create main.py pyproject.toml --description "ツールの説明"

Gist自体もGitレポジトリなので、GistのURLを指定すればインストールできる:

uv tool install git+https://gist.github.com/{github-username}/{gist-id}

atuin: コマンド履歴管理ツール

Fri, 18 Oct 2024 00:00:00 GMT

atuinはRust製のコマンド履歴管理ツール。コマンド履歴をローカルのSQLiteデータベースに保存し、履歴のFuzzy検索や端末間での同期などの機能を提供する。

普段からzsh組み込みの履歴検索(Control + R)を使っているが、思い通りにコマンド検索ができないことがあり、atuinを試してみることにした。

インストール

まずはatuinのバイナリをインストールする。以下で簡単にインストールできる:

curl --proto '=https' --tlsv1.2 -LsSf https://setup.atuin.sh | sh

~/.atuin/binにバイナリがインストールされる。HomebrewやCargo経由でもインストールできるので、詳細は公式ドキュメントを参照。

次に、atuinを利用するシェルごとに初期化設定を行う必要がある。

デフォルトのキーバインドでは、上矢印キーで履歴検索画面が表示されるが、無効化したい場合は--disable-up-arrow 指定する。自分の場合は少々ビジーに感じるので、無効している。

zshの場合:

echo 'eval "$(atuin init zsh --disable-up-arrow)"' >> ~/.zshrc

nushellの場合:

mkdir ~/.local/share/atuin/
atuin init nu --disable-up-arrow | save ~/.local/share/atuin/init.nu

コマンド履歴のインポート

インストール後の状態では、当然だがコマンド履歴は何も保存されていない。既存のhistoryをatuinにインポートするコマンドatuin importが用意されているので、これを使って履歴をインポートする。

zshの場合:

atuin import auto

nushellの場合:

atuin import nushell

コマンド履歴の検索

Control + Rもしくはatuin search -iで履歴検索のTUIを開くことができる。

検索ワードを入力すると、Fuzzy検索が行われ、履歴が絞り込まれる。

詳細な検索シンタックスは公式ドキュメントに記載されているが、fzfのシンタックスをベースとし、完全一致や前方一致、後方一致など、様々な検索方法が利用できる。

以下は、執筆時点での検索シンタックスの一覧を和訳した表:

トークン例マッチタイプ説明
sbtrkt あいまい一致 sbtrkt にマッチするアイテム
'wild 完全一致 wild を含むアイテム
^music 前方完全一致 music で始まるアイテム
.mp3$ 後方完全一致 .mp3 で終わるアイテム
!fire 逆完全一致 fire を含まないアイテム
!^music 逆前方完全一致 music で始まらないアイテム
!.mp3$ 逆後方完全一致 .mp3 で終わらないアイテム

トークン例	マッチタイプ	説明
`sbtrkt`	あいまい一致	`sbtrkt` にマッチするアイテム
`'wild`	完全一致	`wild` を含むアイテム
`^music`	前方完全一致	`music` で始まるアイテム
`.mp3$`	後方完全一致	`.mp3` で終わるアイテム
`!fire`	逆完全一致	`fire` を含まないアイテム
`!^music`	逆前方完全一致	`music` で始まらないアイテム
`!.mp3$`	逆後方完全一致	`.mp3` で終わらないアイテム

|は、OR演算子として使える。例えば、次のクエリは「core」で始まり、「go」、「rb」、または「py」のいずれかで終わるエントリにマッチする:

^core go$ | rb$ | py$

Enterキーでの実行の無効化

デフォルトでは、検索画面でEnterキーを押下すると、選択中のコマンドがすぐに実行される。

少々危険なので、これは無効化している。atuinのconfigファイル(~/.config/atuin/config.toml)を編集する:

# ~/.config/atuin/config.toml
enter_accept = false

端末間の同期

atuinは、端末間の同期機能も特徴の一つだ。atuinの製作者がホストするサーバーか、セルフホストのサーバーを利用して、端末間で履歴を同期することができる。

同期機能はまだ試せていない。仕事で利用する場合は少々ハードルが高いが、個人利用であれば試してみてもいいかもしれない。通信はエンドツーエンドで暗号化されているとのこと。

代替的な端末間の移行方法として、ファイルをコピーする方法もある。atuin infoコマンドで、atuinの設定ファイルやデータベースのパスを確認できるので、ファイル群を端末間でコピーすればOK。ただし、公式のドキュメントにはこの方法について記載がなく、サポートされているわけではないようなので自己責任で行なってほしい。

SatoriでのOGP画像生成に日本語フォントを使う - astro-paper向けガイド

Tue, 23 Jul 2024 00:00:00 GMT

執筆時点で、このブログはastro-paperというAstroテンプレートをカスタマイズして作成しています。astro-paperには、ブログ記事をSNSでシェアしたときに表示されるOGP画像の生成機能も含まれています。

OGP画像はsatoriを利用して生成されています。satoriはVercelが提供している、HTMLを画像に変換するためのツールです。

astro-paperは非常に便利なテンプレートですが、デフォルトでは日本語非対応のIBM Plex Monoフォントが指定されているため、日本語テキストを含むOGP画像が正しく表示されません。

本記事では、この問題を解決し、satoriで日本語フォントを適切に使用する方法を説明します。

日本語の文字化け

初期設定のIBM Plex Monoのまま、日本語を含むテキストをOGP画像に変換すると、日本語に対応していないため、文字化けが発生します。

先日ポストした「GitHub ActionsからCloudflare pagesにDirect Uploadする」という記事のOGP画像です:

(こちらのサイトでURLを入力してOGP画像を確認できます)

日本語文字が文字化けしているのがわかります。

ちなみに、ローカルの環境に日本語フォントがインストールされている場合、フォールバックフォントが使われるため、日本語が文字化けしないことがあるので注意が必要です。自分のmacOSでビルドすると、IBM Plex Monoを使っていても、日本語が文字化けしませんでした。

そのため、CI環境でビルドしたOGP画像が文字化けしているかを確認することが重要です。

日本語フォントファイルを探す

今回は日本語対応フォントのNoto Sans Japaneseを使います。

Satoriの設定は簡単で、フォントファイルをロードし、Satoriのコンフィグに追加するだけです。フォントファイルは、.ttf / .otf / .woff 形式に対応しているようです（執筆時点で.woff2には未対応、公式のREADME参照）。

astro-paperにおけるSatoriの設定箇所はこちらです。RegularとBoldの2種類のフォントファイルが必要になります。

ほとんどのフォントファイルはGoogle Fontsからダウンロードできますが、今回はCDNでホストされているフォントファイルを見つけたので、そちらを使います。CDNを利用することで、ファイルをコードに追加する必要がなくなります（astro-paperもデフォルトでCDNからフォントファイルを取得しています）。

CDNはどこでも良いですが、jsDelivrを使いました。 “noto sans jp”で検索すると、いくつかパッケージが表示されます:

パッケージによっては、細かくフォントファイルが分割されている場合があります。分割されている場合、読み込みに手間がかかるので、利用は避けて別のパッケージを探してみることをオススメします。今回は@openfonts/noto-sans-jp_japaneseを利用しました。

Satoriの設定

CDNパッケージのページで必要なフォントファイルと対応するURLを確認し、Satoriのconfigに追加します。

どのファイルをRegularとBoldとして使うかは、ローカルでOG画像を生成して確認しながら決めると良いでしょう。@openfonts/noto-sans-jp_japaneseの場合、ファイル名にフォントのweight（100、200といった数字で、数字が大きいほど太字）が含まれているので、参考にして選びます。

今回は以下のように設定しました:

Regular: {長いので省略}/files/noto-sans-jp-japanese-300.woff
Bold: {長いので省略}/files/noto-sans-jp-japanese-500.woff

satoriのコンフィグファイルsrc/utils/generateOgImages.tsxを以下のように編集します:

@@ -7,13 +7,13 @@
 const fetchFonts = async () => {
   // Regular Font
   const fontFileRegular = await fetch(
-    "https://www.1001fonts.com/download/font/ibm-plex-mono.regular.ttf"
+    "https://cdn.jsdelivr.net/npm/@openfonts/noto-sans-jp_japanese@1.44.5/files/noto-sans-jp-japanese-300.woff"
   );
   const fontRegular: ArrayBuffer = await fontFileRegular.arrayBuffer();

   // Bold Font
   const fontFileBold = await fetch(
-    "https://www.1001fonts.com/download/font/ibm-plex-mono.bold.ttf"
+    "https://cdn.jsdelivr.net/npm/@openfonts/noto-sans-jp_japanese@1.44.5/files/noto-sans-jp-japanese-500.woff"
   );
   const fontBold: ArrayBuffer = await fontFileBold.arrayBuffer();

@@ -28,13 +28,13 @@
   embedFont: true,
   fonts: [
     {
-      name: "IBM Plex Mono",
+      name: "NotoSansJP",
       data: fontRegular,
       weight: 400,
       style: "normal",
     },
     {
-      name: "IBM Plex Mono",
+      name: "NotoSansJP",
       data: fontBold,
       weight: 600,
       style: "normal",

実際にデプロイして確認します。修正後のOGP画像:

文字化けが解消され、日本語が正しく表示されました。

まとめ

satoriを使ってOGP画像を生成する際、日本語を含むテキストが文字化けする問題を解決するために、日本語フォントを使う方法について説明しました。

設定自体は簡単ですが、CIとローカルの差分や、日本語対応のフォントを見つけたりするのに時間がかかったので、記録として残しておきます。

Windows PCをSSHサーバーとして設定する

Tue, 16 Jul 2024 00:00:00 GMT

この記事では、Windows PCをSSHサーバーとして設定し、macOSからリモートでSSH接続する方法を紹介します。

使っていないWindows PCを自宅のLAN内でサーバーとして活用し、メインで使用しているMacBookからWindowsにSSH接続してリモート作業ができるようにしたいと思い、設定を行ってみました。

クライアント側はLinux環境でも動作すると思われますが、本記事では検証していません。

環境

サーバー: Windows 10 Pro (バージョン 22H2, OS ビルド 19045.3208)
クライアント: macOS 14.5 (23F79)

Windows側の設定 (サーバー側)

まずはパスワード認証でのSSH接続を設定します。秘密鍵を用いての認証は後述します。

OpenSSHのインストール

WindowsにOpenSSHをインストールします。Windows 10では拡張機能としてGUIからインストールできます。

[設定] → [システム] → [オプション機能] でOpenSSHを検索
見つからない場合は [機能の追加] からOpenSSH Serverをインストール

SSHサービスの設定

PowerShellを管理者権限で実行し、以下の手順を行います:

SSH用のポート(22)を開放:

netsh advfirewall firewall add rule name="sshd" dir=in action=allow protocol=TCP localport=22

sshdを起動:
```
Start-Service sshd
```
PC起動時にsshdを自動起動するよう設定:
```
Set-Service sshd -StartupType Automatic
```

Git Bashの導入 (オプション)

デフォルトのPowerShellではなくGit Bashを使用したい場合:

Git for Windowsからインストーラーをダウンロードしインストール

管理者権限のPowerShellで以下を実行:

New-ItemProperty -Path "HKLM:\SOFTWARE\OpenSSH" -Name DefaultShell -Value "C:\Program Files\Git\bin\bash.exe" -PropertyType String -Force

これでSSHログイン時のデフォルトシェルがGit Bashになります。

接続情報の確認

クライアントからSSH接続する際に必要な情報を確認します。ここで確認した情報はクライアント側で使用します。

IPアドレスの確認:
```
ipconfig
```

ユーザー名の確認:

[System.Security.Principal.WindowsIdentity]::GetCurrent().Name

クライアントからの接続

macOSから以下のコマンドで接続:

ssh {serverのユーザー名}@{serverのIPアドレス}

注意: ユーザー名にバックスラッシュ\を含む場合、macOSからSSHする際は/に読み替えてください。

接続がうまくいかない場合は、-vvvオプションを付けてログを確認できます。

公開鍵認証の設定

より安全でパスワード入力が不要な、公開鍵認証の設定方法を説明します。

クライアント側 (macOS)

公開鍵を生成（多くの記事が存在するので、方法は割愛）

生成した公開鍵をサーバーに送信:

scp ~/.ssh/your_keyfile_ed25519.pub {serverのユーザー名}@{serverのIPアドレス}:~/.ssh/

サーバー側 (Windows)

ここからの設定で自分は詰まってしまい、時間がかかってしまいました。

こちらのStackOverflowの回答がとても参考になったので、もし下記の手順で詰まったら参照してみてください。

クライアントから送信した公開鍵ファイルのリネーム: ~/.ssh/your_keyfile_ed25519.pub → ~/.ssh/authorized_keys
~/.ssh/authorized_keysのパーミッション設定変更:
- 権限の継承をOFF
- SYSTEM, USER(Windowsのユーザー)以外の権限を削除
C:\ProgramData\ssh\sshd_configの編集:

公開鍵認証を有効化し、パスワード認証を無効化します:
```
-#PubkeyAuthentication yes
+PubkeyAuthentication yes
-#PasswordAuthentication yes
+PasswordAuthentication no
```
以下のMatch Group administrators ...で始まる2行がコメントアウトされていない場合、コメントアウトしてください:
```
-Match Group administrators
-       AuthorizedKeysFile __PROGRAMDATA__/ssh/   administrators_authorized_keys
+#Match Group administrators
+#       AuthorizedKeysFile __PROGRAMDATA__/ssh/   administrators_authorized_keys
```
補足:
- C:\ProgramDataはエクスプローラ上でCドライブを開いても表示されないかもしれませんが、アドレスバーに直接打ち込めば開けるはずです。
- C:\Windows\System32\OpenSSHにも似たファイルsshd_config_defaultがありますが、そちらをいじっても設定は反映されません。
sshdの再起動:
```
Restart-Service sshd
```

クライアントからの接続

macOSから以下のコマンドで接続:

ssh {serverのユーザー名}@{serverのIPアドレス}

パスワードを入力せずに接続できれば成功です。

トラブルシューティング

サーバー側でsshの設定が反映されない場合はRestart-Service sshdを実行するかPCを再起動してください
クライアント側でWarpをターミナルで使用している場合、ssh接続がすぐに切断されることがあります。Warp SSH Wrapperを無効化してみてください:
SSH接続時に-vvvオプションを付けてログを確認することで、問題の特定ができるかもしれません

まとめ

Windows PCをSSHサーバーとして設定し、macOSからリモートでSSH接続する方法を解説しました。

本来はTmuxを使ってセッションが切れてもプロセスを継続できるようにしたかったのですが、Git Bashでの設定が上手くいかず、今回は断念しました。いずれ再トライしてみたいと思います。

WeekNotes: 2024-07-11

Thu, 11 Jul 2024 00:00:00 GMT

今週、気になった話題

LLMs全般

Simon Willison氏がAI Engineer World’s Fairで新たなKeyNoteスピーチ

一見の価値あり
- GPT-4oの一強体制は崩れつつある
- Gemini FlashはGPT-3.5より格段に優れ、かつ安い
- など

SoftBank、Y!mobile、LINEMOユーザーは1年間Perplexity AIが無料で利用可能

SoftBank、Y!mobile、LINEMOユーザーなら絶対に使ってみるべし
2025/6/18まで無料

GitHub Copilot

Copilot EnterpriseでGPT-4oが利用可能に
Copilot EnterpriseでCopilot Knowledge Basesからの情報取得がプレビューに
- Copilot Knowledge Basesは、1つ以上のGitHubリポジトリからなる情報源
- 組織のオーナーがKnowledge Basesを設定できる
  - 組織内でKnowledge Basesの内容は共通

Claude

Artifactsのシェアが可能に

My Blog Posts

Changesets: バージョン・リリース管理ツールの設定方法

Sun, 07 Jul 2024 00:00:00 GMT

Changesetsとは

Changesetsは、Svelte.jsのリポジトリでも採用されているバージョン管理ツールです。Changesets自体はnpmパッケージとして提供されており、Node.jsプロジェクトの管理を行うためのCLIツールとして利用できます。

Changesetsには以下の主要機能があります:

PR単位またはコミット単位で変更メッセージをMarkdownファイルで生成し管理（Gitにコミット）
Semantic Versioningに基づいたタグのバンプ（生成したMarkdownはバンプ時に自動削除）
Changelogの自動生成

Svelte.jsのReleasesを見ると、Semverに基づいたリリースがなされ、リリースノートでは各PRへのリンクが付いていて、とても見やすくなっています。これはChangesetsを利用して作成されています。

リリースプロセスにChangesetsを組み込むには、changesets/actionというGitHub Actionsを利用できます。

また、changeset-botというGitHub Appを導入することで、Pull RequestにChangesetsが適切に適用されているかを自動でチェックすることもできます。

本記事では、Changesetsのインストールから、GitHub Actions、GitHub botの設定方法について解説します。

Changesetsの設定

1. Changesetsのインストールと初期設定

まず、Changesetsのコマンドラインインターフェース（CLI）をインストールします:

pnpm add -D @changesets/cli

次に、Changesetsの初期設定を行います:

pnpm changeset init

.changeset/ディレクトリが作成され、設定ファイルが生成されます。生成されたファイルはコミットしておきます:

git add .
git commit -m "chore: Changesetsの初期設定を追加"

2. package.jsonの更新

package.jsonのscriptsセクションに以下のコマンドを追加します:

"scripts": {
    ...
+   "changeset": "changeset",
+   "tag": "changeset tag"
},

1つ目のpnpm changesetは、新しいChangesetを追加するためのコマンドです。ローカルで変更を行った場合、このコマンドを実行して変更内容を記録します。

2つ目のpnpm tagは、Changesetを元にバージョンを更新するためのコマンドです。後述するGitHub Actionsで使用します。

3. Changelogのカスタマイズ

GitHubリポジトリを使用している場合、changesets-changelog-github-compactプラグインを導入すると、より洗練されたChangelogを生成できます。

Svelte.jsでも利用されており、必須ではありませんが導入をおすすめします。

プラグインのインストール:

pnpm i -D @svitejs/changesets-changelog-github-compact

次に、.changeset/config.jsonを編集してChangelogの設定を変更します:

-  "changelog": "@changesets/cli/changelog",
+  "changelog": ["@svitejs/changesets-changelog-github-compact", { "repo": "your-username/your-repo" }],

your-username/your-repoは、実際のGitHubリポジトリのパスに置き換えてください。

プラグインの設定は以上で完了です。その他のプラグインに関する詳細はこちらを参照してください。

GitHub Actionsの設定

GitHub Actionsでchangesets/actionを使用してリリースプロセスを自動化します。様々なワークフローの設定パターンが存在するので、詳細はREADMEを参照してください。

changesets/actionでnpmへのパッケージのpublishまで行うことができますが、npmへのpublish以外のデプロイも柔軟に設定できます。

以下は、Changesetsでのnpmへのpublishは行わず、独自のデプロイを実施するGitHub Actionsの設定例です:

name: Release

on:
  push:
    branches: [main] # リリースブランチを指定

jobs:
  release:
    runs-on: ubuntu-latest
    permissions:
      contents: write # Changesets to create releases
      pull-requests: write # Changesets to create PRs
      #deployments: write # uncomment if your deploy task creates deployments
    steps:
      - uses: actions/checkout@v4

      - name: Use Node.js
        uses: actions/setup-node@v4

      - uses: pnpm/action-setup@v4
        name: Install pnpm
        with:
          version: 8
          run_install: false

      - name: Get pnpm store directory
        id: pnpm-cache
        shell: bash
        run: |
          echo "STORE_PATH=$(pnpm store path)" >> $GITHUB_OUTPUT

      - uses: actions/cache@v4
        name: Setup pnpm cache
        with:
          key: "${{ runner.os }}-pnpm-store-${{ hashFiles('**/pnpm-lock.yaml') }}"
          path: "${{ steps.pnpm-cache.outputs.STORE_PATH }}"
          restore-keys: |
            "${{ runner.os }}-pnpm-store-"

      - name: Install dependencies
        run: pnpm install

      - name: Run Changesets
        id: changesets
        uses: changesets/action@v1
        with:
          title: "Update version"
          # just needs to echo `New tag: @somename/{pkgName}}@{tagName}` for changesets action to create GitHub release
          publish: pnpm tag
        env:
          GITHUB_TOKEN: ${{ secrets.GITHUB_TOKEN }}
      - name: Build and Deploy
        if: steps.changesets.outputs.hasChangesets == 'false' # リリース時のみ実行
        run: |
          pnpm build
          # ここにデプロイ用のコマンドを追加

Run Changesetsタスクで、changesets/actionを実行しています。 changesets/actionは、2通りの動作を実施します。

mainブランチで.changesets/に新しいChangesetがpushされた場合

mainブランチに対してリリースPull Requestを作成/更新します。

リリースPull Requestの差分は:

package.jsonのバージョンアップ
Changelogの更新
.changesets/にあるChangesetsの削除

参考としてSvelte.jsのリリースPull Requestを見てみてください。

リリースPull Requestのマージによってmainブランチがpushされた場合

Changesetsによってリリース処理を行います:

with.publishに指定したコマンドpnpm tagが実行され、タグを作成します。
作成されたタグに対応するGitHub Releaseを作成します。

Build and Deployタスクは、リリースPull Requestがマージされた場合にのみ実行されます。

GitHub botの設定

Changeset botを導入することで、Pull RequestにChangesetsが適切に適用されているかを自動でチェックできます。設定手順は以下の通りです:

Changeset botのページにアクセスします。
“Install”ボタンをクリックし、指示に従ってリポジトリに対してbotを有効化します。

Changesetsの使用方法

ここまでで、Changesetsの設定は完了です！

開発時に、適宜pnpm changesetコマンドを実行してChangesetを追加します。

pnpm changeset
# プロンプトに従って変更内容を入力

# ./changesetに変更内容を記録したMarkdownファイルが生成されるので、コミットする
git add .
git commit -m "feat: 新機能を追加"

次回リリースまでの変更内容が.changeset/に記録されていきます。あとはこれらの変更をmainブランチにマージすれば、リリースPull Requestが作成されます。

リリース時には、リリースPull Requestをマージするだけで、バージョンアップとリリースノートの作成が自動で行われます。

まとめ

Changesetsを導入することで、タグ、Changelog、リリース作成が大幅に効率化されます。これらを手動で行うことを手間に感じている場合は、ぜひChangesetsを導入してみてください。

GitHub ActionsからCloudflare pagesにDirect Uploadする

Sat, 06 Jul 2024 00:00:00 GMT

GitHub ActionsからCloudflare Pagesにデプロイする方法について、何度か設定しているものの、いつも忘れてしまうので、記録しておきます。

参考資料:

Cloudflare Pagesへのデプロイ方法には、他にもGit Integrationがあります。

GitHubのリポジトリと連携するには一見こちらのほうが適していそうですが、デプロイ時の細かい処理を組むことが難しいため、ここで紹介するDirect Uploadを使うことをおすすめします。

前提条件:

Cloudflare Pagesのアカウントを作成済みであること
パッケージマネージャーにpnpmを使用しているため、以下のコマンド例もpnpmを使用しています。npmやyarnの場合は適宜読み替えてください。

Pagesプロジェクトを作成する

まず、wranglerというCloudflareのCLIツールをインストールします。

pnpm install wrangler --save-dev

インストールできたら、バージョンを確認します。 v3系のバージョンが表示されればOKです:

pnpx wrangler -v

wranglerを使ってPagesのプロジェクトを作成します:

pnpx wrangler pages project create

ブラウザが開いてOAuth認証を求められるので、認証を行います。

プロンプトで入力を求められるので、適宜入力します:

✔ Enter the name of your new project:
- Cloudflare Pagesのプロジェクト名。GitHubのリポジトリ名と同じにするとわかりやすいです。
✔ Enter the production branch name:
- Cloudflare Pagesのプロジェクト内のプロダクションブランチ名。GitHubのプロダクションブランチ（mainブランチ）と同じにします。

wranglerを使って作成したプロジェクトを確認できます:

pnpx wrangler pages project list

GitHub Actionsを設定する

GitHub Actionsの設定ファイルを作成して、Cloudflare PagesにデプロイするActionを追加します。

適宜、設定値を変更して以下の設定ファイルをリポジトリに作成します:

# `.github/workflows/release.yml`

name: Release

on:
  push:
    branches: [main]
  workflow_dispatch:

jobs:
  release:
    runs-on: ubuntu-latest
    permissions:
      contents: read
      deployments: write # cloudflare/pages-action@1 でデプロイメントを作成するために必要
    steps:
      - uses: actions/checkout@v4

      - name: Use Node.js
        uses: actions/setup-node@v4

      - uses: pnpm/action-setup@v4
        name: Install pnpm
        with:
          version: 8
          run_install: false

      - name: Get pnpm store directory
        id: pnpm-cache
        shell: bash
        run: |
          echo "STORE_PATH=$(pnpm store path)" >> $GITHUB_OUTPUT

      - uses: actions/cache@v4
        name: Setup pnpm cache
        with:
          key: "${{ runner.os }}-pnpm-store-${{ hashFiles('**/pnpm-lock.yaml') }}"
          path: "${{ steps.pnpm-cache.outputs.STORE_PATH }}"
          restore-keys: |
            "${{ runner.os }}-pnpm-store-"

      - name: Install dependencies
        run: pnpm install

      - name: Build production bundle
        run: pnpm build

      - name: Publish to Cloudflare Pages
        uses: cloudflare/pages-action@1
        with:
          accountId: "${{ secrets.CLOUDFLARE_ACCOUNT_ID }}" # CloudflareのアカウントID
          apiToken: "${{ secrets.CLOUDFLARE_API_TOKEN }}" # CloudflareのAPIトークン
          projectName: your-project-name # 先ほど作成したCloudflare Pagesのプロジェクト名
          directory: ./dist # ビルドしたファイルが入っているディレクトリ
          gitHubToken: ${{ secrets.GITHUB_TOKEN }} # GitHub Actionsのdeploymentsを作成する場合に必要
          # オプション: 公開するブランチを切り替えます。
          # デフォルトではこのワークフローをトリガーしたブランチになります
          branch: main
          # オプション: Wranglerのバージョンを変更します。特定のバージョンや'beta'などのタグを指定できます
          wranglerVersion: "3"

Actionsで参照しているsecretsは、GitHubのリポジトリのSettings -> Secretsで登録できます。

アカウントIDの調べ方・トークン発行の方法は、冒頭に記載したブログ記事が参考になります:

以上で設定は完了です。あとはmainブランチにプッシュするか、Actionsのworkflow_dispatchから手動で実行すると、Cloudflare Pagesにデプロイされます。

Github Actionsから別のリポジトリにコミットする

Sat, 13 Jan 2024 00:00:00 GMT

あるGithubレポジトリのGithub Actionsから、別のGithubレポジトリに変更をコミットする方法について。

ワークフローの流れとしては、以下になる:

まずコミットをPushするレポジトリをCloneする
何らかの変更を加える
変更をコミットしてPushする

サンプルのワークフロー定義は以下。 Push先のレポジトリ名はyyyとする:

name: Update antoher repo

on:
  workflow_dispatch:
  schedule:
    - cron: "49 0 */2 * *" # once two days for example

jobs:
  update-another-repo:
    runs-on: ubuntu-latest
    steps:
      # may be some scripts here
      - name: checkout yyy repo
        uses: actions/checkout@v4
        with:
          repository: "xxx/yyy"
          ref: main
          path: "yyy"
          token: "${{ secrets.PAT_WRITE_YYY }}"
          persist-credentials: true

      - name: make change to yyy repo's file
        run: |
          make some-change # just example, apply change to files in yyy repo

      - name: commit to yyy repo
        run: |
          git config --local user.email "action@github.com"
          git config --local user.name "GitHub Action"
          cd yyy
          git add . -A
          (git commit -m "Update from github actions" && git push) || echo "No changes to commit"

ここで、${{ secrets.PAT_WRITE_YYY }}は、yyyレポジトリにPushするためのPAT。

PATを発行するには、Githubアカウントにログインし、Settingsから、Developer settings > Personal access tokens(Fine-grained)に行き、yyyレポジトリにContents: Write権限を付与する(画像内の上の赤枠):

自動でMetadataのRead権限も付与されるが、必須で付随するものなのでこのままでOK（画像内の下の赤枠）

PATを発行したら、yyyレポジトリのSettings > Secrets and Variables > Actionsを開き、secretsにPATを登録する。

ちなみにPATがないと、Pushする権限がないため、以下エラーになる。

remote: Permission to xxx.git denied to github-actions[bot].
fatal: unable to access 'https://github.com/xxx/': The requested URL returned error: 403

AWSアカウント間でのS3 to S3ファイルコピー

Thu, 04 Jan 2024 00:00:00 GMT

自分のAWSアカウント内のS3から、別アカウントのS3へファイルをコピーする機会があったので方法を残しておく。

今回は送信元アカウントのIAMユーザーに対して、送信先アカウントで権限を付与してもらい、このIAMユーザーを使ってファイルをコピーする方法を取った。

内容としてはこちらの記事にも詳しく説明されている:

https://repost.aws/knowledge-center/copy-s3-objects-account

準備

まず、送信先のアカウントの管理者から、送信先のバケット名、バケット内のどのPrefixにファイルをコピーするのかを確認しておく。ここでは仮に

送信先バケット名: bucket-to
送信先Prefix: copy/to/here/

とする。

*実務的には、1回限りの連携と思っても、実際には何度かデータ再送信することもある。なのでPrefixは適宜ネームスペースを切っておくと良い。例えば、copy/here/${送信日}/${ファイルバージョン名}/みたいに。

送信元については、

送信元バケット名: bucket-from
送信元Prefix: copy/from/here (ココにコピーしたいファイルを置いている)

とする。

送信元: IAMユーザー作成と権限付与

次に、ファイルを送信するためのIAMユーザーを作成する。

適当な名称でIAMユーザーを払い出し、以下のPolicyをアタッチする。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["s3:ListBucket", "s3:GetObject", "s3:GetObjectTagging"],
      "Resource": [
        "arn:aws:s3:::bucket-from",
        "arn:aws:s3:::bucket-from/copy/from/here/*"
      ]
    },
    {
      "Effect": "Allow",
      "Action": ["s3:ListBucket", "s3:PutObject", "s3:PutObjectAcl"],
      "Resource": [
        "arn:aws:s3:::bucket-to",
        "arn:aws:s3:::bucket-to/copy/to/here/*"
      ]
    }
  ]
}

ここで、参考記事にも記載されているが、s3:GetObjectTaggingについては、送信元のS3バケットでバージョニングを有効化している場合は必要となる。その他、権限でエラーが出た場合の対応についても参考記事に詳しく載っている。

発行したらIAMユーザーのARNを送信先アカウントの管理者に連携する。 ARNはこのような形式になるはず: arn:aws:iam::123456789:user/copy-user

送信先: バケットの権限設定

送信先のバケットのS3 Object OwnerShipをbucket owner prefferedに設定する。これでbucket-owner-full-controlオプション付きでUploadされたオブジェクトは、送信先アカウントの所有となる。

次に、送信先バケットのバケットポリシーを設定する。

{
  "Version": "2012-10-17",
  "Id": "Policy123456789",
  "Statement": [
    {
      "Sid": "Stmt123456789",
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::123456789:user/copy-user"
      },
      "Action": "s3:PutObject",
      "Resource": "arn:aws:s3:::bucket-to/*",
      "Condition": {
        "StringEquals": {
          "s3:x-amz-acl": "bucket-owner-full-control"
        }
      }
    },
    {
      "Sid": "Stmt123456789",
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::123456789:user/copy-user"
      },
      "Action": "s3:ListBucket",
      "Resource": "arn:aws:s3:::bucket-to"
    }
  ]
}

ここでも、先ほどのアカウントと同様、ObjectTaggingなど必要な権限は環境によって異なる可能性があるので、適宜修正する。

送信元: ファイル送信

以上で設定は完了したので、ファイルを送信できる。

自分のケースではショットでの対応だったので、作業PCからaws cliを叩いて実行した。適宜キーを発行してaws cliでの認証を通しておく。今回は--profile copy-userに設定したものとする。

まずは実行前に--dryrunを使ってコマンドを確認するのがおすすめ。

aws s3 cp --dryrun \\
   --profile copy-user \\
   --recursive \\
   --expected-size 107374182400 \\
   --acl bucket-owner-full-control \\
      s3://bucket-from/copy/from/here/ s3://bucket-to/copy/to/here/

ここで、

--expected-size 107374182400 は50GiB以上の大きなファイルをコピー際に必要なオプション（参考）
--acl bucket-owner-full-control は前述の通りコピーしたオブジェクトのOwnerを送信先アカウントとするために必要なオプション

dryrun結果に問題がなければ、--dryrunオプションを消して実行する。データ量が多い場合は、かなり時間がかかることもあるので、作業PC上で実行する際はtmuxを活用すると、PCがスリープしてもバックグランドで実行を継続してくれる。

tmux new -s s3-operation

自分の場合は、tmuxで実行したが、社内VPNが途中で切れてしまってErrorになってしまった。可能であればVPNは最初から切っておくのが良さそうだ。

送信が完了したら、最後に念の為、ファイル数とサイズが一致するか確認しておくと良いだろう。

# ファイル数の一致確認
aws s3 ls --profile copy-user --recursive s3://bucket-from/copy/from/here/  | wc -l
aws s3 ls --profile copy-user --recursive s3://bucket-to/copy/to/here/  | wc -l

# ファイルサイズの一致確認
aws s3 ls --profile copy-user --recursive --summarize s3://bucket-from/copy/from/here/  | grep "Total Size"
aws s3 ls --profile copy-user --recursive --summarize s3://bucket-to/copy/to/here/  | grep "Total Size"

上記結果がそれぞれ一致していれば、ミスなくコピーできているはずだ。

DenoKVとSupabaseでTodoリストアプリを作ってみる

Sun, 17 Dec 2023 00:00:00 GMT

DenoKVが発表された。以前からDeno自体は気になっていたので、これを機に触ってみることにした。

サンプル: Todoリスト

ベースとなるのはこのTodoリストアプリ。 DenoKVを使って複数のユーザーがTodoを追加・削除しながら、Todoリストを共有できる。サンプルアプリではあるが良くできている。TwitterでDemoが流れてきていたが、リアルタイム並みに高速でリストが同期されるのには驚いた。

実際にDenoDeployのアカウントを作って試したみた。Github上のリポジトリを指定するだけで、すぐにデプロイが完了する。上記のサンプルをForkしたものはこちら。

実際に見てみると、Demoほど高速で同期はされないようだ。原因はおそらく、Deno KVのWriteリージョン(データがまず書き込まれるリージョン)が現状Virginia, USAで固定になっているため、地域差があるのだろう。現状東京リージョンでは展開されていないので、そこは今後に期待したい。

DenoとSupabaseでWeb認証を試す

上記のアプリでは、誰でもTodoを編集できる。クローズドで認証したユーザーのみがTodoを表示・編集できるようにしてみたくなったので、試してみた。

Deno初心者かつWeb認証の実装もやったことがなかったので、色々と調べてみたが、分かりやすいYoutube動画があったので、fresh(denoのWebフレームワーク.preactを採用している) + Supabaseで実装してみた。

Build an Auth App with Deno, Fresh And Supabase Part 1

Supabaseでの認証のポイントとしては、freshのroutes/_middleware.tsに以下のコードを追加する。この関数は、あらゆるリクエストをインターセプトする形で実行され、ユーザーの認証を確認することができる。

export async function handler(
  req: Request,
  ctx: MiddleareHandlerContext<State>
) {
  const client = createClient(
    Deno.env.get("SUPABASE_URL") || "",
    Deno.env.get("SUPABASE_KEY") || ""
  );

  ctx.state.supabaseClient = client;

  const supaCreds = getCookies(req.headers)["supaLogin"];

  if (!supaCreds) {
    return ctx.next();
  }

  const { error } = await client.auth.getUser(supaCreds);

  if (error) {
    console.log(error.message);
    ctx.state.loggedIn = false;
  } else {
    ctx.state.loggedIn = true;
  }

  return await ctx.next();
}

supabase clinet libraryのclient.auth.getUserを利用することで、ユーザーの認証を確認することができる。

これが正しい使い方かわからなかったのだが、公式ドキュメントにも以下のような記載があった

This method is useful for checking if the user is authorized because it validates the user’s access token JWT on the server. Should be used only when you require the most current user data. For faster results, getSession().session.user is recommended.

一方で検証できていないがgetSession().session.userを使うこともでき、そちらの方が高速なようだ。

Should be used only when you require the most current user data. For faster results, getSession().session.user is recommended.

認証されている時のみ表示したいページは、routes/auth/に配置し、routes/auth/_middleware.tsに以下のようなコードを追加する。

export async function handler(
  req: Request,
  ctx: MiddleareHandlerContext<State>
) {
  if (!ctx.state.loggedIn) {
    return new Response(null, {
      status: 302,
      headers: {
        Location: "/",
      },
    });
  }

  return await ctx.next();
}

これで、認証されていない場合は、/にリダイレクトされるようになる。

UIからは、propsを通じて、ctx.stateに設定した値を参照することができる。今回はprops.state.loggedInを参照することで、ログイン状態に応じてUIの表示を切り替えることができる。

Supabaseでユーザーを作成する

通常のWebサービスではWeb上でユーザーを作成することができるものだが、今回はあくまでサンプルかつ知り合いで試しに使うくらいの想定なので、Supabaseの管理画面からユーザーを作成した。

Supabaseのダッシュボードから簡単に作成でき、Invitationをメールで送るか、すぐにユーザーを作成するかを選択できる。

まとめ

DenoKVと合わせて、Supabaseでの認証も試してみた。やはり実際に手を動かすことで、DenoについてもSupabaseについても理解が深まったのでよかった。

無料のベースマップサービスまとめ

Sun, 12 Nov 2023 00:00:00 GMT

無料で使える、ベースマップサービスをまとめた。 Observableでのベースマップのサンプルはこちら。

CARTO

CARTOのベースマップを使用するには、ユーザーアカウントやAPIキーは不要。非商用利用であれば無料で利用できる。

Maptiler

Maptilerはクラウドマッピングサービスで、さまざまなマップを提供しており、独自のマップを作成することもできる。

ベースマップを使用するには、ユーザーアカウントを作成し、APIキーを生成する必要がある。APIリクエストにはFree Tierがあり、月間最大100,000リクエストまで無料で利用でき、Free Tierの使用量を超えても自動的に請求されることはない。

VivaldiにDeepLプラグインをインストールする

Sun, 18 Jun 2023 00:00:00 GMT

DeepLは、Google翻訳よりも精度が高いと評判の翻訳サービス。ChromeではDeepLのプラグインがあり、Webページの翻訳が簡単にできるので重宝している。

最近、Vivaldiを使い始めたのだが、VivaldiでもDeepLプラグインを使うことができたので、その方法を紹介する。

Pluginのインストール方法

VivaldiでChromeウェブストアのDeepLPluginのページを開く
「Chromeに追加」ボタンをクリック
Popupがあわわれるので「拡張機能を追加」をクリック

以上でインストール完了。

今まではウェブパネルとしてDeepLのWebサイトを登録して、画面分割しながら、自分でコピペしてDeepLを使っていた。

やはり、Pluginを使ってWebページに現れるPopupからすぐに翻訳できる方が便利。

Terraform: dynamicを使ってblock設定の有無を振り分ける

Sat, 17 Jun 2023 00:00:00 GMT

Terraformでblock自体を設定する・設定しないを振り分けるには、dynamicを使えばよい。

しかし、nullishな変数に対して、dynamicをどう使えばよいかでハマったので、解決法を書いておく。

`dynamic`が必要になるケースは？

あるblock自体の有無を振り分けたい時にdynamicが必要になる。例えば、GCSのgoogle_storage_bucket_iam_memberリソースのconditionブロックがある。

// example
resource "google_storage_bucket_iam_member" "member" {
  bucket   = "member-bucket"
  role     = "hogehoge"
  member   = "hugahuga"
  // conditionはそれ自体がblock
  condition {
    content {
      title       =  "my-rule"
      description =  "it is perfect"
      expression  =  "xxx"
    }
}

ここで、以下のlocalsを、ループして複数のgoogle_storage_bucket_iam_memberを宣言したいとする。

locals {
  test-storage = [
    // パターン1: conditionに値あり
    {
      bucket = "test1"
      role   = "test1"
      member = "user:test1@example.com"
      condition = { # 値があるパターン
        title       = "test"
        description = "test"
        expression  = "test"
    }
    },
    // パターン2: conditionはnull
    {
      bucket = "test2"
      role   = "test2"
      member = "user:test2@example.com"
      condition = null # nullパターン
    },
    // パターン3: conditionキー自体なし
    {
      bucket = "test3"
      role   = "test3"
      member = "user:test3@example.com"
    } # keyがそもそもないパターン
  ]
}

パターンとしては3つ。

パターン1: conditionに値あり
パターン2: conditionはnull
パターン3: conditionキー自体なし

パターン1のみconditionを設定し、パターン2,3は設定しないようにしたい。

ここで注意が必要なのだが、conditionはそれ自体ブロックになっている。そのため、下記のように変数を単純にアサインする書き方ができない。

// 不可: 変数を代入する
...
  condition = local.someMap
...

また、conditionを設定しない場合は、nullを入れる、といったこともできない。

// 不可: 設定しない場合はnull入れる
...
  condition = null
...

そこでdynamicの出番となる。

`dynamic`を使った書き方

以下のように書くことで、パターン1のみconditionを設定し、パターン2,3は設定しないようにできる。

resource "google_storage_bucket_iam_member" "member" {
  for_each = { for i in local.test-storage : i.bucket => i }
  bucket   = each.value.bucket
  role     = each.value.role
  member   = each.value.member

  dynamic "condition" {
    for_each =  try(each.value.condition, null) != null ? [1] : []
    content {
      title       =  each.value.condition.title
      description =  each.value.condition.description
      expression  =  each.value.condition.expression
    }
  }
}

ここがミソ:

for_each =  try(each.value.condition, null) != null ? [1] : []

tryは、パターン2,3の場合は空リスト[]をfor_eachに返す。for_eachでは処理がなされないので、conditionの設定をスキップできる。

dynamic内のfor_eachの注意点

dynamic内でのeachの挙動には注意が必要。

一見、each.valueにはdynamic内のfor_eachで指定した値が入ってくるのではと思われる。

...
  dynamic "condition" {
    for_each =  try(each.value.condition, null) != null ? [1] : []
    content {
      title       =  each.value.condition.title // each.valueは`[1]`が入ってこないの？
      description =  each.value.condition.description
      expression  =  each.value.condition.expression
    }
...

と思って混乱したのだが、ちゃんと公式に書いてあった。 dynamicのfor_eachは通常と少し違う動きをする。

The iterator argument (optional) sets the name of a temporary variable that represents the current element of the complex value. If omitted, the name of the variable defaults to the label of the dynamic block (“setting” in the example above).

つまり、dynamic内のfor_eachで指定した変数にアクセスするには、eachは使わない。

今回のケースだと、condition.key/condition.valueを使えば、dynamicのfor_eachの変数にアクセスできる。よくよく見ると、公式の例でも、dynamicのfor_eachはeach.key/each.valueは使ってない。

CloudAssetInventoryでGCP内のリソースを確認する

Fri, 09 Jun 2023 00:00:00 GMT

あるGCP Projectを削除することになった。削除する前にそのProjectにどんなリソースが存在しているか？想定外の消してはまずいリソースがないか？を確認したくなった。

ググっても意外とすぐに方法は出てこないのだが、Cloud Asset Inventoryを使うと簡単に確認できる。

GCPコンソールの検索バーで「asset inventory」と打てば出てくる。WebUI上で簡単にProject内に存在するアセットを確認できる。

サービス別はもちろん、リージョン別でもアセットを表示してくれる。

支払料金をSKUごとに表示するといったことも可能。

GCPコンソール上で「お支払い」-> 「レポート」と遷移すると月次の利用料金がグラフで表示される。
右側のフィルタで「グループ条件」-> 「SKU」を選ぶと、SKU単位でのサービス利用料金が見れる。

これで直近想定してないサービスの利用や課金がされていないか確認できる。

Airflowを学ぶにはAirflow Summitの動画を見るのが良い

Wed, 01 Mar 2023 00:00:00 GMT

Airflow Summit 2022 の各セッションが Youtube に動画が上がってる。Airflow の専門家たちが様々なお題をテーマに Talk している。

Airflow Summit 2022 sessions

Airflow の最新の動向やベストプラクティスをキャッチアップしたい。でも公式ドキュメントだけではつらい。そんな Airflow 中級者を目指す人（というか自分）にもわかりやすく、とても良いリソース。

興味のあるテーマについて視聴してみることをおすすめする。自分が視聴して良かったセッションについていくつか紹介する。

Dynamic Dags: The New Horizon

今まで For ループ内で作ってた並列タスクを、.expandメソッドでクリーンにかけるようになったよ、というお話。

AirflowUI での並列タスクの表示もより見やすくなった
Airflow2.3 以降で利用可能
.expandできるのは TopLevel のみ。Task の Runtime では使えない。
- v2.4 以降に TopLevel 以外でも呼べるようにしたいとのこと。 -> Doc 見る限り現時点での最新バージョン 2.5.2 でも実装されてなさそう

All About Deferrables

Deferrable Operator ってなに？から基本を教えてくれる初心者向けの Talk.わかりやすい。

個人的にわかりやすかった、Why defferable operator?が一発でわかるスライド：

Deferrable が何なのか、いつ使うのか、公式ドキュメントだけでは理解が難しいと感じている人にとっては特におすすめ。

Happy DAGs Happy Teammates How a little CICD can go a long way

CICD にまつわるショートトーク。

あまり具体的な話は出ないが、CICD 周りを考えるうえでのヒントが幾つかある感じ。

Airflow Breeze なるものの存在を知った。Local で動かす Airflow で DAG を検証するのに良いらしい
- 公式ドキュメント
- 解説記事も落ちていたので張っておく
DAG の Test についての Resource
- ここのスライド PDF の P13 あたりにリンク集がある。いずれ読みたい。

taskデコレータを使ってtask_idを変更する(Airflow v2.2以前)

Fri, 23 Sep 2022 00:00:00 GMT

ここに書いてある通りなのだが、なかなか見つからなかったので。

Airflow v2.2以前で、@taskデコレータで生成したタスクを ForLoop で複数生成したい場合:

from airflow.decorators import task
...

@task
def say_hi(name):
    print("Hi", name)

names = ['Bob', 'Charlie', 'Jane']

for name in names:
    start >> say_hi(name)

これでコードとしては動くが、loop で生成されるtask_id はsay_hi_1, say_hi_2, …と単に連番が振られるだけになってしまう。

そこで以下のようにすれば、好みのtask_id を設定できる:

...

for name in names:
    start >> task(say_hi)(task_id=f"say_hi_to_{name}")(name)

何のことはない、@taskは decorator なので、関数を引数とした関数として使えるということ。少々読みずらくはなってしまうが、Airflow v2.2 以前で@taskを使うには、いろいろと不便が伴うので仕方ない。

Airflow v2.3 以降について

Airflow v2.3以降では、以下のようにoverrideメソッドでtask_idを設定できるようだ:

@task
def say_hi(name):
    print("Hi", name)

names = ['Bob', 'Charlie', 'Jane']

for name in names:
    say_hi.override(task_id=f"say_hi_to_{name}")

    start >> say_hi()

また、少し話はそれるが、v2.3 以降なら ForLoop の代わりにexpandメソッドが使える:

@task
def say_hi(name):
    print("Hi", name)

names = ['Bob', 'Charlie', 'Jane']
say_hi.expand(name=names)

が、どうやらtask_idは最初の例のように、say_hi_1, say_hi_2, …と連番で振られてしまい、任意の値は設定できないようだ。

Astronomer のページでもtask_idはマップ不可と言及されている:

Some parameters can’t be mapped. For example, task_id, pool, and many BaseOperator arguments.

既存の DAG でexpandを取り入れる場合、task_idが変わってしまえば、過去タスクのログが見えずらくなってしまう。 expandメソッドは便利だが、task_idが任意の値で設定できない点は注意が必要そうだ。

KJ's Site

『世界一やさしい 会計の教科書 1年生』を読んだ

Understanding is the new bottleneck

Understanding is the new bottleneck by Geoffrey Litt

GitNationの動画の文字起こしを取得する

Parse, don't validate

Parse, don’t validate by Alexis King

現実との折り合い

TypeScript や Python で考える

Kindleハイライトのエクスポート制限を回避してコピーする

How to Copy and Paste Kindle Highlights Beyond the Export Limits by Glasp Tutorial

macOS + OBSでChatGPT Atlasを録画したら音が入らなかった

環境

何が起きたか

原因っぽいもの

録画前の確認ポイント

Isometric NYC（ピクセルアートで作るNYCの等角地図）

DuckLake デバッグ備忘録

はじめに

参考資料

debug ビルドの作成

テスト実行

VSCode で デバッグ

Git rerere (Reuse Recorded Resolution) テクニックとヒント

1. rerereの基本と有効化

A. rerereの仕組み

B. 有効化の方法（必須）

2. rerereの応用テクニックと活用シーン

A. 長期ブランチの頻繁な同期

B. 「テストマージ」とマージコミットの破棄

3. rerere利用時のヒントと注意点

A. 自動解決後の確認を怠らない

B. 誤った解決の削除

C. 状態確認用のサブコマンド

Async Python: The Different Forms of Concurrency

Python並行処理: yt-dlpでの動画ダウンロードを高速化する

GILとタスクの性質

並行処理アプローチ

1. multiprocessing: CPUバウンドタスク向け

2. threading: I/Oバウンドタスク向け

3. asyncio: I/Oバウンドタスク向けの現代的な方法

参考資料

yt-dlpを並行化する

パフォーマンス比較

まとめ

Githubで手動でサブスクライブしたIssueとPRの一覧を見る方法

ハッカーニュースの日本語要約RSSフィードを作った

RSSフィード

実装

RSSフィードの簡易リーダー

Quoting "Simon Willison: My career in side projects and open source" video on YouTube

AnyIO: Prefectの非同期処理ライブラリ

AnyIO

AnyIOの特徴

補足: ファイルの非同期処理について

Quoting Pekka Enberg

Airflow 3.0 Betaをローカルで動かしてみる

Airflow 3.0 Betaをローカルで動かす

terraformはS3-nativeなstate lockをどのように実装しているのか

S3 Conditional Writes

TerraformのS3-nativeなstate lockの仕組み

GCSのstate lockはどのようになっているのか

S3 Object Lock

LLMで作成した小さなWebツール

自作ツール

Character Byte Counter

5 Things I Learned About Leadership from the Death & Rebirth of Microsoft

5 Things I Learned About Leadership from the Death & Rebirth of Microsoft from Dare Obasanjo

OpenRouterで無料でLLMのAPIを利用する

Table of contents

OpenRouter

日本語が得意なモデルは?

OpenRouterのAPIを利用する

コマンドの出力をパイプして渡す

まとめ

追記(2025/03/18): OpenRouterから無料でGeminiが使えるようになった

Findyイベントアーカイブ

llmをMacBook Air M2上で無料で動かす (mlxとggufを比較)

PCのスペック

LM Studioを使ってローカルでllmを実行

『世界一やさしい会計の教科書 1年生』を読んだ

VSCode でデバッグ

1. `multiprocessing`: CPUバウンドタスク向け

2. `threading`: I/Oバウンドタスク向け

3. `asyncio`: I/Oバウンドタスク向けの現代的な方法