n8n으로 아마존 베스트셀러 자동 수집하기 (feat.Amore Pacific 공모전)

2025년 연말을 맞아, 대학 동기와 함께 아모레퍼시픽 'Innovation Challenge' 공모전에 참가했다.

비록 당선되진 못했지만, n8n이라는새 새로운 플랫폼을 활용해서 자동화 툴을 만들 수 있었던 재미난 경험이었다.

 

n8n이란 무엇인가?

n8n이란, 노드 기반 워크플로우 자동화 플랫폼으로, n-eight-n(엔에잇엔) 이라고 부른다. 코딩 없이 시각적 인터페이스를 통해 다양한 서비스와 애플리케이션을 연결하여 자동화 워크플로우를 구축할 수 있다.

 

https://n8n.io/

 

코드를 작성할 필요가 없다는게 가장 특징이다.

옆에 AI 가 붙어 있어 모르는 부분은  물어 보면 알아서 만들어줘서 편했다.

대학생때 LEGO 프로젝트로 사용했던 LEGO Mindstorm의 코드블럭 방식과 비슷해서, 익숙한 느낌이었다.

딱 2주 무료체험이 가능해서, 2주 바짝 준비해서 제출했다.

 

AI Agent 주제는?

공모전의 주제는 여러가지가 있었는데, 전반적으로 시장 분석 및 예측이 주된 주제였고

우리는 그 중 Amazon US 내 라네즈의 랭킹을 매일 분석해, 마케팅 인사이트를 제공하는 AI 에이전트 개발을 주제로 진행했다.

 

Amazon US의 Best Sellers 탭에서 라네즈의 제품이 어느 랭킹에 있는지를 분석해서, 오를 경우 왜 올랐는지, 떨어졌을 경우 왜 떨어졌을지를 분석해주는 AI agent인 것이다!

 

https://www.amazon.com/Best-Sellers-Beauty-Personal-Care/zgbs/beauty/ref=zg_bs_unv_beauty_1_11058291_2

 

n8n  전체 workflow

상세 단계를 보자면,

1. 매일 10시에 워크플로우를 자동으로 실행하게 해서 라네즈 제품이 아마존 베스트 셀러 몇위에 있는지를 크롤링했다.. 이 때, 전체 카테고리, 립, 파우더 이런식으로 카테고리 별로 수집했다.
2. 일별 랭킹을 구글 드라이브의 스프레드시트 파일에 저장한다. 이게 100개나 보여서 많을 거 같은데, 라네즈 제품이 많지는 않아서 한 sheet 당 하루에 두어개 정도 쌓였다. 
3. 데이터 히스토리를 분석해서 모멘텀을 판단하고, 이로 3일 예측을 생성했다.
   
4. Slack 메시지로 인사이트 자동 전달한다. 아모레퍼시픽에서 어떤 앱을 메신저로 사용하는 지 몰라, 제일 무난한 Slack에 알람이 오도록 설정했다. 

자동화니 AI agent가 붙어있니 해도 트러블슈팅 할 건 계속 나왔다.

 

아마존 베스트셀러 페이지의 무한 스크롤 이슈& IP 차단 해결 -> Apify

단순히 HTTP Request로 페이지를 긁어오면 되겠지? 생각했는데, 막상 workflow를 돌려보니 빈 배열만 반환됐다.

브라우저로 직접 확인해보니, 이 페이지는 무한 스크롤 방식이어서 스크롤을 끝까지 내려야 모든 데이터가 로딩되는 것이었다.

즉, 정적 HTML 요청만으로는 동적으로 로딩되는 콘텐츠를 가져올 수 없었다.

또한 이 점을 해결했다 했더니, 아마존은 공식 Product API가 제한적이어서 Scraper를 호출할 시 로봇 공격으로 간주해 IP를 차단해버리는 문제가 있었다. VPN을 써서 IP를 바꿔보기도 했는데, 막히는 건 똑같았다.

 

찾아보니, Selenium을 사용하면 브라우저를 직접 제어하여 클릭, 스크롤, 데이터 수집(스크래핑) 등을 자동화할 수 있다고 해서, 이를 사용할까도 고려했는데, n8n이 Selenium을 지원하지 않았다. 

 

그래서 고민하다가 Apify라는 것을 찾았다.

Apify를활용하면 n8n에도 붙일 수 있고, Apify Store에 Amazon Scraper라는 Amazon 전용 데이터 스크래퍼가 있어 바로 채택!

https://apify.com/junglee/free-amazon-product-scraper

Amazon Scraper · Apify

 

다만 이게 유료이다보니, 한두번 사용하면 크래딧을 다 쓰게 돼서 workflow를 마구 돌려볼 수는 없었다.

 

크롤링 로직

1. Apify Amazon Best Seller Scraper 사용
   ↓
2. Loop Over Items로 5개 카테고리 순차 처리
   - 각 카테고리별 TOP 1-50위, 51-100위 크롤링
   ↓
3. 제품명에서 "LANEIGE" 키워드로 필터링
   ↓
4. 5개 카테고리별 Google Sheets에 저장
   (전체뷰티/립케어/스킨케어/립메이크업/페이스파우더)
   ↓
5. 일별 히스토리 누적 방식으로 시계열 데이터 축적

 

그래서 이 데이터를 Slack 채널에 쏘면

 

이런 식으로 담당자가 직접 Amazon US 사이트를 들어가지 않고도 매일 랭킹 추이를 확인할 수 있게 된다.

 

 개선 사항

공모전 준비 기간이 2주밖에 없어서, 구상했던 기능을 다 넣지 못한 게 아쉽다.

특히 리뷰 분석 기능이 있었다면 차별화됐을 것 같다. 단순히 "랭킹이 올랐다/떨어졌다" 가 아니라, 고객 반응(리뷰)과 연결지어 분석할 수 있었다면 훨씬 실용적이었을 것이다. 결국 이런 랭킹 분석을 한다는 건 상품을 잘 팔아서 매출을 올리는 게 목표니까..

 

또한 경쟁사 데이터까지 수집했다면, 우리 제품이 밀렸는지를 비교 분석할 수 있어서 인사이트가 더 풍부했을 것 같다.

 

그래도 얻은 것들

• n8n 활용 경험: no-code 자동화 도구의 가능성을 봤다
• API 연동 실력: Apify, Claude, Slack, Google Sheets 조합
• 빠른 프로토타이핑: 2주 안에 빠르게 프로젝트 완성
• 문제 해결 능력: IP 차단, 무한 스크롤 같은 실전 이슈 대응

최대한 금전적 이슈가 없게 하기 위해 짧은 시간동안 구현해야 했는데, 오히려 이 점 덕분에 빠르게 프로젝트를 완수할 수 있었던 것 같다.

다음번에 비슷한 공모전이 있다면, 리뷰 분석이나, 플랫폼 확장도 가능하다는 것을 보여주고 싶다!

 

참고한 것

https://wikidocs.net/290882

https://youtu.be/y9u1IdDYHZQ?si=3NjIx9gNFQW-W-0C