Для установки Apache Airflow с использованием Docker Compose в Windows 10 вам понадобится выполнить следующие шаги:
Шаг 1: Установите Docker Desktop
Dля начала вам нужно установить Docker Desktop на ваш компьютер с операционной системой Windows 10. Перейдите на официальный сайт Docker (https://www.docker.com/products/docker-desktop) и загрузите установочный файл Docker Desktop для Windows. Запустите установку, следуя инструкциям, и перезагрузите компьютер после завершения.
Шаг 2: Создайте файл docker-compose.yml
Для управления контейнерами Docker Compose вам понадобится файл конфигурации docker-compose.yml. Создайте новый файл с названием "docker-compose.yml" в любом удобном для вас месте на вашем компьютере. Вот пример содержимого файла:
version: '3'
services:
webserver:
image: apache/airflow
restart: always
ports:
- 8080:8080
environment:
- LOAD_EX=n
volumes:
- ./dags:/opt/airflow/dags
scheduler:
image: apache/airflow
restart: always
volumes:
- ./dags:/opt/airflow/dags
command: scheduler
Шаг 3: Запустите docker-compose up
Откройте командную строку или терминал и перейдите в каталог с вашим файлом docker-compose.yml. Затем выполните следующую команду:
docker-compose up
Docker Compose загрузит образ Apache Airflow из Docker Hub и настроит контейнеры для веб-сервера и планировщика (scheduler). Веб-сервер будет доступен на порту 8080, поэтому вы сможете открыть веб-браузер и перейти по адресу http://localhost:8080 для доступа к панели управления Apache Airflow.
Шаг 4: Настройка директории DAGs
В приведенном выше примере конфигурации Docker Compose примонтирована директория "dags" в контейнере Apache Airflow. Для хранения файлов DAG-ов вы можете создать эту директорию в том же каталоге, где находится файл docker-compose.yml.
Добавьте ваши собственные файлы DAG-ов в созданную директорию "dags". Apache Airflow автоматически обнаружит и загрузит DAG-файлы из этой директории.
Теперь у вас должен быть работающий экземпляр Apache Airflow, развернутый с использованием Docker Compose на вашем компьютере с Windows 10. Вы можете создавать, планировать и запускать задачи в Apache Airflow, используя его веб-интерфейс.