
#데이터엔지니어 #백엔드개발자
📞 +82 10-4745-6976
📧 [email protected]
| Resume | Github I LinkedIn | RocketPunch |
새로운 것을 능숙하게 받아들입니다.
중심을 유지하며 업무를 진행합니다.
원활한 협업을 이끌어냅니다.
🚀 제가 경험한 기술 스택 입니다
Data Engineering
- AWS EMR, AWS glue, Redshift, Elastic search
- sparkSQL, pyspark, zeppelin, presto
- Airflow, kafka, kinesis, Logstash,
- Tableau, Kibana
DevOps
- MySQL, PostgreSQL, RDS(Aurora)
- EC2, S3, AWS Apigateway, AWS Lambda, AWS Batch, ECR, Docker
- Cloud Watch, IAM, Secret Manager
- Nginx, Gunicorn
- Ubuntu, Centos, Redhat
Backend
- Python3.x
- Django, FastAPI
- SQL alchemy, Redis
업무Tool
🧑🏻💻 프로젝트
빅데이터 분산처리
- 식당, 메뉴 개인화 추천 프로그램
- AWS 데이터 파이프라인
- Taxi-pricing 파이프라인
- 전국 날씨현황 호출 배치
- 이상데이터 감지 kafka cluster
Backend 서버 개발
[식당, 메뉴 개인화 추천 프로그램]
| 역할 : 추천프로그램 개발 | 기여도: 100% | 팀원 : 개인프로젝트 | GITHUB
기술스택 : Python PostgreSQL AsyncIO Pandas SVD
프로젝트 개요
- 배달앱 크롤링 데이터를 이용한 식당/메뉴 개인화 추천 데이터 도출
구현 사항
- 파이썬 비동기 적용으로 프로세스 속도 향상
- 리뷰 데이터를 통한 유저 간 유사도 도출 - Collaborate Filtering 적용
- SQL / Pandas 이용한 데이터 가공
- SVD 이용한 유저 별 식당/메뉴에 대한 예상 점수 도출
- 도출 데이터에 대한 Upsert 구현
프로젝트 리뷰
추천 시스템 로직에 대한 이해
-
추천 로직에 대한 학습 진행
(Collaborative Filtering, Contents based Recommendation 등)
-
SVD 라이브러리를 학습하고 RMSE로 측정하는 과정을 통해 머신러닝 개념 이해
-
대용량 데이터 조회 / 가공 / Upsert 과정을 통해 DB 이해도 향상 및 DataFrame 핸들링 경험