728x90 반응형 프로그램/파이쎤3 airflow 설치 리눅스 사용자 계정 생성 adduser airflow /* sudo 권한 부여 */ apt install sudo chmod +w sudoers vi /etc/sudoers chmod -w sudoers airflow ALL=(ALL:ALL) ALL su - airflow mkdir airflow 환경설정 export AIRFLOW_HOME=~/airflow /* 파이션 3.8설치 */ /* 설치전 우분투 서버 업데이트 */ apt update apt upgrade 2단계: Python 3.8 PPA 가져오기 Ubuntu 사용자의 경우 Python 및 추가 필수 패키지에 대한 최신 업데이트에 액세스하는 가장 쉬운 방법은 "deadsnakes" 팀 Launchpad PPA를 가져오는 것입니다 . 이렇게 하.. 2023. 5. 10. [파이쎤] 이기종 db 마이그레이션 대용량 데이터를 이관할때 파이쎤을 이용한 벌크인서트와 읽어 올때 chunksize 옵션 처리 기능을 이용해서 메모리 오버플로우를 처리 하였습니다. 메모리가 충분하면 한방에 읽어와서 처리하면 처리가 빠르지만 메모리 용량이 부족할 경우에는 나누어서 읽어서 처리를 해야 메모리 오버플로우가 발생하지 앖습니다. 파이썬 버전 : 3.8.8 로 테스트 파이썬을 설치후 패키지를 다운받아서 설치한다. pip install contextlib pip install sqlalchemy pip install jaydebeapi pip install pandas pip install apscheduler 1. config.py TIBERO_DB_CONFIG = { 'driver': 'com.tmax.tibero.jdbc.TbD.. 2022. 6. 21. [파이쎤] 이기종간의 DB 실시간 동기화 파이썬 버전 : 3.8.8 로 테스트 파이썬을 설치후 패키지를 다운받아서 설치한다. pip install contextlib pip install sqlalchemy pip install jaydebeapi pip install pandas pip install apscheduler 1. config.py TIBERO_DB_CONFIG = { 'driver': 'com.tmax.tibero.jdbc.TbDriver', 'url': 'jdbc:tibero:thin:@192.100.1.10:829:tibero', 'user': 'tiberotest', 'password': 'test1234', 'jdbcDriver': 'd:/python_schedule/jdbc/tibero6-jdbc.jar' } PG_DB.. 2022. 6. 21. 이전 1 다음 728x90 반응형
