초기 에어비엔비 엔지니어링 팀에서 개발한 워크플로우 오픈 소스 플랫폼입니다.
CRON 에서 성공했는지 실패했는지 체크하는 등의 기능을 가지고 있는 것으로 이해하고있습니다. 자세한 내용은 에어플로우 설명 에서 확인해주세요
docker run --rm "debian:bullseye-slim" bash -c 'numfmt --to iec $(echo $(($(getconf _PHYS_PAGES) * $(getconf PAGE_SIZE))))'
위의 명령어는 스킵하셔도 됩니다.
curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.8.1/docker-compose.yaml'
에어플로우 컨테이너를 도커에 다운받습니다.
현재 디렉토리에는 아무것도 없기 때문에 괜찮습니다.
ls 를 입력하니 딱 하나만 있군요. 확인해보겠습니다.
vi 에디터로 들어오셨다면 나가는데 어려움이 있으실 겁니다.
여기서 나가시려면 :q
를 입력하시면 돼요.
mkdir -p ./dags ./logs ./plugins ./config
폴더를 추가적으로 만들어줍니다.
ls -al
파일을 체크해봅니다.
echo -e "AIRFLOW_UID=$(id -u)" > .env
AIRFLOW_UID=50000
명령어를 입력합니다.
docker compose up airflow-init
자 이제 도커 컴포즈 업을 통해 세팅을 진행합니다.
docker compose up
docker compose up 을 입력하여 에어플로우를 실행합니다
총 6개의 컨테이너가 실행되는 것을 확인하실 수 있습니다.
마지막으로 새 터미널을 연 뒤 sudo docker ps 를 입력하여 정상적으로 실행되었는지 체크합니다.
계정 비밀번호 모두 같은 airflow 입니다.