Shopify의 데이터 구조화 여정: One-Shot LLM에서 DSPy 기반 에이전틱 아키텍처로

Shopify가 수백만 개의 비정형 커머스 데이터를 구조화하기 위해 One-Shot LLM 방식에서 DSPy 기반 멀티 에이전트 아키텍처로 전환한 과정을 공유했다. GPT-4/5급 대형 모델 대신 자체 호스팅된 Qwen(32B/72B급) 모델과 DSPy 프레임워크를 결합해 비용 효율성과 품질을 동시에 달성했다. 전문화된 에이전트가 각각 특정 데이터 유형을 처리하는 구조다.

💡 실무 포인트: 대규모 비정형 데이터 처리에서 단일 LLM 호출보다 DSPy 기반 멀티 에이전트 파이프라인이 비용과 품질 모두 우수할 수 있다. 자체 호스팅 모델과 DSPy 조합을 검토해보라.