Airflow 설치 방법 총정리 (WSL 도커 활용)

Airflow 란 무엇인가

초기 에어비엔비 엔지니어링 팀에서 개발한 워크플로우 오픈 소스 플랫폼입니다.
CRON 에서 성공했는지 실패했는지 체크하는 등의 기능을 가지고 있는 것으로 이해하고있습니다. 자세한 내용은 에어플로우 설명 에서 확인해주세요

• 워크플로우 : 의존성으로 연결된 작업들의 집합

Airflow 설치

• 설치 : 에어플로우 도커 메뉴얼

docker run --rm "debian:bullseye-slim" bash -c 'numfmt --to iec $(echo $(($(getconf _PHYS_PAGES) * $(getconf PAGE_SIZE))))'

위의 명령어는 스킵하셔도 됩니다.

컨테이너 다운로드

curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.8.1/docker-compose.yaml'

에어플로우 컨테이너를 도커에 다운받습니다.
현재 디렉토리에는 아무것도 없기 때문에 괜찮습니다.

ls 를 입력하니 딱 하나만 있군요. 확인해보겠습니다.

vi 에디터로 들어오셨다면 나가는데 어려움이 있으실 겁니다.
여기서 나가시려면 :q 를 입력하시면 돼요.

mkdir -p ./dags ./logs ./plugins ./config

폴더를 추가적으로 만들어줍니다.

ls -al

파일을 체크해봅니다.

echo -e "AIRFLOW_UID=$(id -u)" > .env

AIRFLOW_UID=50000

명령어를 입력합니다.

docker compose up airflow-init

자 이제 도커 컴포즈 업을 통해 세팅을 진행합니다.

실행하기

docker compose up

docker compose up 을 입력하여 에어플로우를 실행합니다

정상 실행 체크하기

총 6개의 컨테이너가 실행되는 것을 확인하실 수 있습니다.
마지막으로 새 터미널을 연 뒤 sudo docker ps 를 입력하여 정상적으로 실행되었는지 체크합니다.

계정 비밀번호 모두 같은 airflow 입니다.