Apache Airflow

Apache Airflowとは Apache Airflowは、ワークフローをプログラマティックに作成、スケジュール、及ぼつ監視できるプラットフォームです。Python的、組み合わせ可能で、拡張可能な設計でジョブのオーケストレーションを行い、SQLのような構文で実現します。 2. Apache Airflowの特性とは Apache Airflowはスケーラブル、ダイナミック、拡張性のある、そしてエレガントなプラットフォームです。その構造はモジュラーで、メッセージキューのシステムを持つことにより大量のワーカーに対応できます。パイプラインはPythonで定義されるため、ダイナミックなパイプライン生成を可能にし、パイプラインの実行を実時間で実現します。拡張性により、カスタムオペレータの定義や既存のライブラリの強化が可能となります。 さらに、Airflowのパイプラインはスリムで明確です。Jinjaテンプレーティングエンジンを利用してパラメータ化が容易に行えます。Pure Pythonプラットフォームであるため、コマンドラインやXMLコンフィグレーションの必要はありません。