이 공고, 이렇게 물어볼 겁니다
Q1
지금까지 학습시킨 Relevance 모델 중에, 성능을 크게 끌어올린 사례를 하나 꼽아주세요. 처음 문제는 뭐였고 어떻게 해결했는지, 구체적으로 말씀해주실 수 있을까요?
🎯 임베딩·랭킹 모델을 직접 학습시켜 성능을 최적화해본 경험이 있는지, 단순 조정이 아니라 문제 인식→진단→해결의 사고 과정을 거친 사람인지 검증
Q2
학습 데이터 파이프라인을 직접 설계했다고 했는데, 로그·행동 데이터에서 학습셋을 구성할 때 가장 막혔던 부분은 뭐였고, 어떻게 뚫었나요? 구체적인 사례를 하나 들어주세요.
🎯 대규모 데이터를 단순히 쓴 게 아니라 문제를 진단하고 스스로 설계·개선한 경험이 있는지, 데이터 품질 관리와 파이프라인 설계의 핵심 의사결정을 직접 했는지
Q3
LLM을 레이블링이나 평가에 썼다면, LLM 라벨의 품질을 어떻게 검증하셨어요? 그리고 휴먼 라벨과 어떻게 결합해서 운영했나요?
🎯 LLM-as-a-Judge를 도구로서 능숙하게 쓰되 맹신하지 않고, 품질을 정량적으로 검증하고 휴먼 루프를 설계한 사람인지, 구체적인 검증 메커니즘이 있는지
Q4
Relevance 모델의 성능 개선이 있었다면, 그게 당신의 개인 기여인가요? 당신이 없었으면 그 성과가 정말 안 났을 구체적인 의사결정이 뭐예요?
🎯 팀 성과를 과하게 자신의 것으로 말하지 않으면서, 동시에 본인의 고유한 기여를 명확히 설정하는 정직함이 있는지, 진정한 오너십의 경계를 그을 수 있는 사람인지
Q5
Relevance 모델과 QU·Retrieval·Ranking 팀이 맞물리는 지점에서 품질 이슈를 발견하고 리드한 사례가 있나요? 그때 진짜 원인이 뭐였고, 당신 팀과 다른 팀의 책임을 어떻게 구분했나요?
🎯 데이터로 문제의 진짜 원인을 파악하고, 크로스팀 개선 과제를 리드하는 Problem Solver 능력이 있는지, 자신의 책임 범위를 정직하게 그으면서도 coordination을 주도할 수 있는지
질문만 읽으면 컨닝이에요. 소리 내어 답해보세요 — 어디서 틀어지는지 짚어드립니다.
공고 내용
참고해주세요
- 바로 지원하기가 부담스럽다면, ML Engineer 현업과의 상시 커피챗 을 신청해보세요!
합류하게 될 팀에 대해 알려드려요
- 토스 커머스의 Commerce Search Relevance Silo에 소속돼요.
- 유저 질의를 의미적으로 분석하는 것부터 최적의 상품을 찾아 정렬하는 것까지, 검색 파이프라인 전 단계를 함께 개선해 나가고 있어요. 하루 수십만 건의 질의가 들어오지만, 아직 적지 않은 검색이 유저가 원한 상품을 찾아주지 못해요.
- ML Engineer (검색 Relevance)는 검색의 가장 근본인 relevance, 즉 "이 상품이 이 질의에 정말 적합한가"를 판단하는 모델을 처음부터 끝까지 책임져요. 그렇게 "토스에서 검색하면 찾을 수 있다"를 당연하게 만들어요.
합류하면 함께 할 업무예요
- LLM Teacher 모델을 활용해 relevance 레이블을 설계하고, 이를 distillation한 Student 임베딩 모델을 학습시켜요. 이 모델은 ANN 기반으로 대규모 후보군의 relevance를 판별하는 foundation 역할을 해요.
- Student 임베딩에 더해 상품의 다양한 컬럼(상품명·브랜드·카테고리·속성 등) 기반 lexical 매칭 피처를 결합한 Heavy Relevance 모델을 설계·학습해, 최종 랭킹 단계의 정확도를 끌어올려요.
- Light/Heavy 2-tier 구조 전반의 학습 데이터 파이프라인을 직접 설계해요. 로그·행동 데이터에서 학습셋을 구성하고, LLM 레이블링 프롬프트와 휴먼 레이블링 루프를 함께 운영해요.
- 오프라인 평가 프레임워크(정확도·Recall·Defect Rate 등)를 정의하는 것부터 A/B 실험까지 엔드투엔드로 오너십을 가져요.
- relevance 모델이 QU·Retrieval·Ranking과 맞물리는 지점에서 발생하는 품질 이슈를 진단하고, 크로스팀 개선 과제를 설계·리드해요.
이런 분과 함께하고 싶어요
- 검색 도메인에서 3년 이상의 실무 경험이 있는 분
- 대규모 로그·행동 데이터를 직접 다루고, 학습 데이터셋을 스스로 설계·구축할 수 있는 분
- 임베딩·랭킹 모델을 직접 학습시키고 성능을 끌어올려본 분
- LLM을 레이블링·데이터 생성·평가 등 문제 해결을 위한 도구로 능숙하게 활용할 수 있는 분
- 데이터 분석부터 모델 학습, 서빙 반영까지 혼자 끌고 갈 수 있는 분
- 품질 개선을 가로막는 진짜 원인이 무엇인지 데이터로 밝혀내고, 실험을 설계해 그 결과에서 다음 스텝을 직접 읽어낼 수 있는 Problem Solver
이런 경험이 있으면 더 좋아요
- Knowledge Distillation·Two-Tower·Bi-Encoder·Cross-Encoder 등 relevance 모델 학습과 실서비스 적용 경험
- ANN(Milvus·FAISS 등) 기반 벡터 검색 실무 경험
- LLM-as-a-Judge 기반 relevance 레이블 설계와 품질 검증 경험
- Elasticsearch 기반 BM25·lexical 피처 설계 경험
- LTR·Multi-task 딥러닝 랭킹 모델의 실서비스 적용 경험
- 대규모 커머스 또는 검색 플랫폼에서 A/B 실험 설계·운영 경험
이력서는 이렇게 작성하시는 걸 추천해요
- 현재 채용 공고와 관련 있었던 업무/프로젝트에 대해서 본인의 역할과 결과에 대해 구체적으로 작성해 주세요.
- 본인이 정의한 문제, 선택한 접근법, 실험 방법과 성능 개선 내용을 구체적으로 작성해주세요.
- 이력서 내용을 정량적으로 작성해 주면 더 좋아요.
토스로의 합류여정
서류 접수 > 프리인터뷰 > 직무 인터뷰 > 문화적합성 인터뷰 > 레퍼런스 체크 > 처우 협의 > 최종 합격
- 프리 인터뷰에서는 지원서 기반의 주요 경험과 직무 적합도를 중심으로 면접이 진행될 예정이에요.
- 직무 인터뷰에서는 심층 기술 면접과 ML 시스템 설계를 주제로 면접이 진행될 예정이에요.
이 회사 다른 포지션 · 비슷한 공고
토스커뮤니티 Android · iOS Developer 대규모 채용 (~10/11)iOS · Swift · Android · KotliniOS·안드로이드토스플레이스토스커뮤니티 Server Developer 대규모 채용 (3년 이하) (~10/15)개발 · Server · Kotlin · Spring백엔드토스플레이스Sales Development Specialist 1차 대규모채용 (~10/31)집중채용 · Sales · 페이먼츠 · 영업 · 방문 영업 · 전화 영업PM·기획 · 영업·사업토스페이먼츠Direct Sales Associate 대규모 채용 (~10/12)집중채용 · 신입채용 · 영업 · Direct Sales영업·사업토스플레이스Account Management Specialistsales · 영업 · 결제 · 기가맹관리 · 세일즈영업·사업토스페이먼츠Account Manager오프라인 · 토스페이 · 페이스페이 · 영업 · 제휴영업·사업