Airflow 3.0 Betaをローカルで動かしてみる

Airflow 3.0が現在開発中となっている。

開発タイムラインによると、3月末にはRCがリリースされる予定だ。

v3.0の主な変更点については、Astronomerが提供する情報が詳しい:

• Airflow 3.0 is coming.
• Apache Airflow® 3 Development Update

執筆時点でBeta4がリリースされているので、ローカルで試してみる。

Airflow 3.0 Betaをローカルで動かす

BetaリリースはGitHubのリポジトリ上のタグとして管理されているようだ。

• v3.0b4

PyPIやGitHubリリースは作成されていないようだ。

まずはタグを指定してリポジトリをCloneする。

git clone --depth 1 --branch '3.0.0b4' https://github.com/apache/airflow.git
cd airflow

uvを使ってBreezeをインストールする。 BreezeのインストールにはDockerが必要となる。詳細はGitHub上のドキュメントに記載されている。

uv tool install -e ./dev/breeze

Airflow起動時にpre-commitがないとエラーが出たので、pre-commitをインストールしておく。

uv tool install pre-commit

Breezeを使ってAirflowを起動する。初めて実行する際は、コンテナのセットアップなどで時間がかかる。 --load-example-dagsをつけるとExample DAGsがロードされる。起動するだけだとDAGが存在しないので、つけておくと良い。

breeze start-airflow --load-example-dags

完了すると、Tmuxセッションが立ち上がり、Airflowが起動する。

それぞれのPaneで、Triggerer, Scheduler, API Server, DAG Processorが起動している。

http://localhost:8080/にアクセスすると、AirflowのUIが表示される。

v3.0のUIを確認することができた。v2と比べて、UIが大きく変わっている。

Airflowを終了するには、Tmuxの左上のセッションでstop_airflowと入力する。