728x90 반응형 프로그램/파이쎤5 airflow 설치 리눅스 사용자 계정 생성 adduser airflow /* sudo 권한 부여 */ apt install sudo chmod +w sudoers vi /etc/sudoers chmod -w sudoers airflow ALL=(ALL:ALL) ALL su - airflow mkdir airflow 환경설정 export AIRFLOW_HOME=~/airflow /* 파이션 3.8설치 */ /* 설치전 우분투 서버 업데이트 */ apt update apt upgrade 2단계: Python 3.8 PPA 가져오기 Ubuntu 사용자의 경우 Python 및 추가 필수 패키지에 대한 최신 업데이트에 액세스하는 가장 쉬운 방법은 "deadsnakes" 팀 Launchpad PPA를 가져오는 것입니다 . 이렇게 하.. 2023. 5. 10. [파이쎤] 이기종 db 마이그레이션 대용량 데이터를 이관할때 파이쎤을 이용한 벌크인서트와 읽어 올때 chunksize 옵션 처리 기능을 이용해서 메모리 오버플로우를 처리 하였습니다. 메모리가 충분하면 한방에 읽어와서 처리하면 처리가 빠르지만 메모리 용량이 부족할 경우에는 나누어서 읽어서 처리를 해야 메모리 오버플로우가 발생하지 앖습니다. 파이썬 버전 : 3.8.8 로 테스트 파이썬을 설치후 패키지를 다운받아서 설치한다. pip install contextlib pip install sqlalchemy pip install jaydebeapi pip install pandas pip install apscheduler 1. config.py TIBERO_DB_CONFIG = { 'driver': 'com.tmax.tibero.jdbc.TbD.. 2022. 6. 21. [파이쎤] 이기종간의 DB 실시간 동기화 파이썬 버전 : 3.8.8 로 테스트 파이썬을 설치후 패키지를 다운받아서 설치한다. pip install contextlib pip install sqlalchemy pip install jaydebeapi pip install pandas pip install apscheduler 1. config.py TIBERO_DB_CONFIG = { 'driver': 'com.tmax.tibero.jdbc.TbDriver', 'url': 'jdbc:tibero:thin:@192.100.1.10:829:tibero', 'user': 'tiberotest', 'password': 'test1234', 'jdbcDriver': 'd:/python_schedule/jdbc/tibero6-jdbc.jar' } PG_DB.. 2022. 6. 21. 리눅스 파이썬 psycopg2 패키지 설치 오류 해결 파이썬 3.8버전 기준 리눅스에서 테스트 관련 의존성 라이브러리를 pip로 설치한다. sudo pip3.8 install sqlalchemy sudo pip3.8 install jaydebeapi sudo pip3.8 install pandas sudo pip3.8 install psycopg2 Error: pg_config executable not found. 에러 발생시 postgresql과 설정에 문제가 있어서 발생 sudo yum install postgresql postgresql-devel python3-devel 설치 후 다시 설치 sudo pip3.8 install psycopg2 gcc 관려 에러가 발생하면 gcc도 설치 해 준다. sudo yum install gcc /* 리눅스에서 .. 2021. 12. 23. 티베로에서 PostgreSQL로 데이타 마이그레이션 이관 티베로에서 postgresql로 데이타 이관하는 소스 입니다. 파이션으로 만들었습니다. 80만건 되는 데이터를 엑셀로 다운받아서 해볼려고 했는데 엑셀로 80만건 내려받는데 20분이 넘게 걸려서 포기하고 파이쎤으로 만들어 볼까 하고 만들었는데 외상예로 처리 속도가 빨라서 jdbc만 지원하는 모든 데이터 베이스 이관은 이것 하나 응용하면 끝날것 같아서 필요 하신분 있을것 같아서 소스 공개합니다. 80만건 티베로에서 postgresql로 이관시 2분도 안 걸렸습니다. 소스 로직도 간단 합니다. db접속해서 원하는 데이터 쿼리로 가져와서 그냥 sqlalchemy 라이브러리 사용해서 밀어 넣으면 끝입니다. from sqlalchemy import create_engine import sqlalchemy.types.. 2021. 7. 28. 이전 1 다음 728x90 반응형
