論文の概要: SynthAVE: Scalable Synthetic Labeling for E-Commerce with LLM-Arena Validation

• arxiv url: http://arxiv.org/abs/2607.07469v1
• Date: Wed, 08 Jul 2026 14:32:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-09 22:50:30.407585
• Title: SynthAVE: Scalable Synthetic Labeling for E-Commerce with LLM-Arena Validation
• Title（参考訳）: SynthAVE: LLM-Arena Validationによるeコマースのためのスケーラブルな合成ラベル作成
• Abstract要約: eコマースのための微調整された大きな言語モデルには、何千もの製品タイプ、属性、複数の言語にまたがるラベル付きデータが必要です。 提案するSynthAVEは,229の製品タイプ,792の属性,4つの言語にまたがる12,726の製品の属性値抽出を行う。
• 参考スコア（独自算出の注目度）: 4.664379522947337
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning large language models (LLMs) for e-commerce attribute extraction requires labeled data representative across thousands of product types, attributes, and multiple languages. This combinatorial scale translates to millions of annotations, rendering human labeling prohibitively costly. While recent work has demonstrated synthetic label generation using LLMs, deploying such approaches at industrial scale requires integrated quality control mechanisms. We present SynthAVE, a large-scale human-validated benchmark for attribute value extraction spanning 12,726 products across 229 product types, 792 attributes, and 4 languages (Spanish, French, Italian, German). To validate synthetic labels at scale, we introduce a multi-LLM arena framework where samples are independently evaluated by 21 judge configurations (7 model families $\times$ 3 prompts), with final labels determined via majority voting. The majority vote ensemble agrees with human experts at Cohen's $κ= 0.92$ (95.2% agreement), while individual judges show substantial inter-model agreement (Fleiss' $κ= 0.76$). This demonstrates that diverse models with varying individual judgments aggregate into highly reliable predictions, enabling cost-effective validation at scale while maintaining quality parity with human review.
• Abstract（参考訳）: 電子商取引属性抽出のための細調整された大型言語モデル(LLM)には、何千もの製品タイプ、属性、および複数の言語にまたがるラベル付きデータが必要である。 この組み合わせスケールは何百万ものアノテーションに変換され、人間のラベル付けは極めてコストがかかる。 最近の研究でLSMを用いた合成ラベル生成が実証されているが、そのようなアプローチを産業規模で展開するには、統合された品質制御機構が必要である。 SynthAVEは229の製品タイプ、792の属性、4つの言語(スペイン語、フランス語、イタリア語、ドイツ語)にまたがる12,726の製品にまたがる属性値抽出を行う。 合成ラベルを大規模に検証するために,サンプルを21の審査構成(モデルファミリ$\times$3プロンプト)で独立に評価するマルチLLMアリーナフレームワークを導入する。 過半数の票決はコーエンの$κ= 0.92$ (95.2%)で人間の専門家と一致し、一方、個々の裁判官は実質的なモデル間合意を示す(フライスの$κ= 0.76$)。 このことは、様々な個人的判断を持つ多様なモデルが、信頼性の高い予測に集約され、人間のレビューと同等の品質を維持しながら、大規模にコスト効率の高い検証が可能になることを示している。

関連論文リスト

• Retrieve, Match, Escalate: Accurate and Scalable Product Linking with VLM-Distilled Cross-Encoders and Agentic VLMs [1.799279866735219]
  プロダクトリンクは断片化されたリストを集約するので、下流の検索、レコメンデーション、広告は製品ごとに1つのクリーンなエントリを見ることができる。 市場規模では、何十億もの騒々しいマルチカテゴリのレコードが、何千万もの標準製品に対して解決されなければならない。 本稿では, 難易度に比例した生産回収マッチカスケードを提案する。
  論文  参考訳（メタデータ） (2026-08-25T18:26:34Z)
• One Token Is Enough: Fingerprinting and Verifying Large Language Models from Single-Token Output Distributions [0.0]
  APIアグリゲータ、再販業者、推論プロバイダは、大きな言語モデル(LLM)を使用する。 既存の識別技術には、長いテキスト、トークンレベルのログ確率、反対に作られたプロンプト、またはモデル所有者の協力が必要である。 我々は,LLMの行動指紋を,自明なワンワードプロンプトに対する応答の実証的分布として定義する。
  論文  参考訳（メタデータ） (2026-07-11T10:34:17Z)
• Large-Scale Aspect-Based Sentiment Analysis with Reasoning-Infused LLMs [1.4732811715354455]
  Arctic-ABSAは、現実のアスペクトベースの感情分析(ABSA)のための強力なモデルの集合体である 当社のモデルは,大規模な公開データコーパスと慎重に生成された合成データに基づいてトレーニングされた商用ニーズに合わせて調整されているため,SemEval14の20倍のデータセットが生成される。 単一の多言語モデルは、英語のパフォーマンスを低下させることなく、6つの言語で87-91%の精度を維持している。
  論文  参考訳（メタデータ） (2026-01-07T13:58:29Z)
• Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond) [90.45301024940329]
  言語モデル(LM)は、多様で人間らしい創造的コンテンツを生成するのに苦労することが多い。 Infinity-Chatは26万の多様な実世界のオープンエンドユーザクエリからなる大規模データセットである。 本研究では, LMのモード崩壊について大規模に検討し, 人工Hivemind効果が明らかとなった。
  論文  参考訳（メタデータ） (2025-10-27T03:16:21Z)
• Creativity Benchmark: A benchmark for marketing creativity for large language models [0.509780930114934]
  Creativity Benchmarkは、マーケティングのクリエイティビティにおける大規模言語モデル(LLM)の評価フレームワークである。 このベンチマークは100のブランド(12のカテゴリ)と3つのプロンプトタイプ(Insights, Ideas, Wild Ideas)をカバーする。
  論文  参考訳（メタデータ） (2025-09-05T04:44:29Z)
• Ranked from Within: Ranking Large Multimodal Models Without Labels [73.96543593298426]
  ソフトマックス分布から導かれる不確実性スコアは,様々なタスクにまたがるランキングモデルに対して,ロバストな基礎となることを示す。 これにより、ラベルのないデータに対するLMMのランク付けが容易になり、手動のアノテーションを必要とせずに、多様なターゲットドメインのモデルを選択するための実践的なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-12-09T13:05:43Z)
• A Probability--Quality Trade-off in Aligned Language Models and its Relation to Sampling Adaptors [50.046717886067555]
  一致した言語モデルからコーパスをサンプリングする場合,文字列の平均報酬と平均ログ類似度との間にはトレードオフが存在することを示す。 我々は、この現象を形式的に処理し、サンプリングアダプタの選択が、どれだけの確率で報酬を交換できるかを選択できるかを実証する。
  論文  参考訳（メタデータ） (2024-06-14T17:38:21Z)
• AiGen-FoodReview: A Multimodal Dataset of Machine-Generated Restaurant Reviews and Images on Social Media [57.70351255180495]
  AiGen-FoodReviewは、20,144のレストランレビューイメージペアからなるデータセットである。 FLAVAで99.80%のマルチモーダル精度を達成し,一様・多モーダル検出モデルについて検討する。 この論文は、データセットをオープンソース化し、偽レビュー検出装置を公開し、非モーダルかつマルチモーダルな偽レビュー検出タスクでの使用を推奨し、合成データと真正データにおける言語的特徴と視覚的特徴を評価することで貢献する。
  論文  参考訳（メタデータ） (2024-01-16T20:57:36Z)
• Effective Proxy for Human Labeling: Ensemble Disagreement Scores in Large Language Models for Industrial NLP [6.429005147017301]
  アンサンブル不一致スコアは、ゼロショット、少数ショット、微調整の設定において、言語モデルに対する人間のラベル付けのプロキシとして機能することを示す。 様々な言語やドメインにわたる結果から、平均誤差(MAE)が0.4%、平均13.8%のモデル性能が銀ラベルよりも優れているという評価結果が得られた。
  論文  参考訳（メタデータ） (2023-09-11T17:07:01Z)
• Label-Retrieval-Augmented Diffusion Models for Learning from Noisy Labels [61.97359362447732]
  ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。 本稿では,生成モデルの観点からラベルノイズ問題を再構成する。 我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
  論文  参考訳（メタデータ） (2023-05-31T03:01:36Z)
• Ground Truth Inference for Weakly Supervised Entity Matching [76.6732856489872]
  弱監督タスクのための単純だが強力なラベル付けモデルを提案する。 次に、エンティティマッチングのタスクに特化してラベルモデルを調整します。 その結果,従来の手法よりもF1スコアが9%高い結果が得られた。
  論文  参考訳（メタデータ） (2022-11-13T17:57:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。