論文の概要: Multi-Label Topic Assignment via LLM Distillation: A Comparative Analysis of Generative vs. Discriminative Student Models

• arxiv url: http://arxiv.org/abs/2610.09063v1
• Date: Tue, 06 Oct 2026 20:12:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.59269
• Title: Multi-Label Topic Assignment via LLM Distillation: A Comparative Analysis of Generative vs. Discriminative Student Models
• Title（参考訳）: LLM蒸留による多ラベルトピック割り当て:生成モデルと差別的学生モデルの比較分析
• Abstract要約: ユーザ生成コンテンツ(UGC)のマルチラベルトピック割り当ては,大規模なeコマースにおいて,ユニークなスケーラビリティ上の課題を提起する。 LLMは産業標準として、地中構造データを蒸留するためのオークルのラベル付けとして登場している。 生成モデルがラベルセットの大規模拡張の下で頑健な性能を維持することを示す。
• 参考スコア（独自算出の注目度）: 0.25782420501870296
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-label topic assignment for user-generated content (UGC) -- including product reviews and buyer-seller conversations -- poses unique scalability challenges in large-scale e-commerce due to informal language, extreme label sparsity, and rapidly evolving taxonomies. While utilizing Large Language Models (LLMs) as labeling oracles to distill ground-truth data has emerged as an industry standard to bypass prohibitive manual annotation costs, determining the optimal, low-latency architecture for the resulting student models remains an open challenge. To address this, we conduct a comprehensive evaluation across Small Language Model (SLM) parameter scales (1B, 4B, and 8B) and architectural paradigms (causal generative versus bidirectional discriminative). Comparing generative text-to-label classifiers against discriminative baselines (DeBERTa-V3 and ModernBERT), our analysis reveals a crucial data-dependent trade-off: while discriminative models outperform ultra-lightweight generative models on structured product reviews, even the smallest 1B generative model surpasses discriminative baselines on complex, multi-turn conversational data. Furthermore, generative models maintain robust performance under massive label-set expansion (up to 112 topics) and severe long-tail distributions, whereas discriminative baselines suffer a 35% drop in Macro-F1 at scale. Finally, we detail the successful production deployment of these optimized models across both product review and conversational domains, demonstrating strict latency compliance and tangible business impact at a global marketplace scale.
• Abstract（参考訳）: ユーザ生成コンテンツ(UGC)のマルチラベルトピック割り当て – 製品レビューやバイヤー・セラーの会話など – は、非公式な言語、極端なラベルの幅、急速に進化する分類学によって、大規模なeコマースにおいて、ユニークなスケーラビリティ上の課題を提起している。 大規模言語モデル (LLMs) をラベリングオラクルとして利用して地中構造データを抽出する手法は、禁止的な手動アノテーションコストを回避し、結果として得られる学生モデルに最適な低レイテンシアーキテクチャを決定する業界標準として登場したが、依然としてオープンな課題である。 これを解決するために,小言語モデル (SLM) パラメータスケール (1B, 4B, 8B) とアーキテクチャパラダイム (因果生成と双方向識別) を包括的に評価する。 識別的ベースライン(DeBERTa-V3とModernBERT)に対して生成的テキスト-ラベル分類器を比較すると,識別的モデルは構造的製品レビューにおいて超軽量な生成モデルを上回る一方,最小の1B生成モデルは複雑なマルチターン会話データにおいて識別的ベースラインを超える。 さらに、生成モデルは、大規模なラベルセット拡張(最大112のトピック)と重いロングテール分布の下で頑健な性能を維持し、一方、識別ベースラインはマクロF1の規模で35%の低下を被る。 最後に、製品レビューと会話ドメインの両方で、これらの最適化されたモデルのプロダクション展開を成功させ、厳格なレイテンシコンプライアンスと、グローバルな市場規模での具体的なビジネスインパクトを実証する。

関連論文リスト

• MOON3.0: Reasoning-aware Multimodal Representation Learning for E-commerce Product Understanding [13.985610562698348]
  我々は、MLLMの推論能力を利用して、きめ細かい製品属性を明示的にモデル化することが大きな可能性を秘めていると論じる。 製品表現学習のためのMLLMに基づく最初の推論モデルであるMOON3.0を提案する。
  論文  参考訳（メタデータ） (2026-04-01T05:55:25Z)
• PlotTwist: A Creative Plot Generation Framework with Small Language Models [2.2904707352645386]
  PlotTwistは、$leq$5Bのアクティブパラメータを持つSmall Language Models(SLM)が、高品質で前提条件付きプロットを生成することができる構造化フレームワークである。 提案手法は,(1)新規の肯定的・否定的評価モデルを用いて学習した,5つの主観的品質次元(NQD)にまたがる構造的物語の提供戦略,(2)信頼度の高い選好対に対する直接最適化によって整列した実験的プロットジェネレータ,(3)偏見のないポストホック評価に対する人間の批判的判断をエミュレートするエージェント評価モジュールの3つの特殊な構成要素に分解する。
  論文  参考訳（メタデータ） (2026-03-17T11:45:04Z)
• CDRRM: Contrast-Driven Rubric Generation for Reliable and Interpretable Reward Modeling [61.75914342638658]
  CDRRM(Contrast-Driven Reward Model)は、高品質なルーリック生成と優先判断のためのフレームワークである。 この作業は、報酬モデリングのためのスケーラブルで解釈可能で、データ効率のよいパスを提供する。
  論文  参考訳（メタデータ） (2026-03-09T07:15:23Z)
• Beyond Output Matching: Bidirectional Alignment for Enhanced In-Context Learning [39.51220489287151]
  大規模言語モデル(LLM)は、コンテキスト内学習(ICL)を通じて、多くのタスクにおいて印象的な数ショットの一般化を示している。 我々は,学生モデルのICL能力を向上させるために,ICL事例に対するモデルの嗜好を十分に活用するための双方向アライメント(Bidirectional Alignment, BiAlign)を提案する。 具体的には、新しいランキング損失を取り入れることで、学生と教師のモデル間の入力好みのアライメントを導入する。
  論文  参考訳（メタデータ） (2023-12-28T15:02:03Z)
• Model Stealing Attack against Graph Classification with Authenticity, Uncertainty and Diversity [80.16488817177182]
  GNNは、クエリ許可を通じてターゲットモデルを複製するための悪行であるモデル盗難攻撃に対して脆弱である。 異なるシナリオに対応するために,3つのモデルステルス攻撃を導入する。
  論文  参考訳（メタデータ） (2023-12-18T05:42:31Z)
• UniDiff: Advancing Vision-Language Models with Generative and Discriminative Learning [86.91893533388628]
  本稿では、画像テキストコントラスト学習(ITC)、テキスト条件付き画像合成学習(IS)、相互意味整合性モデリング(RSC)を統合した統合マルチモーダルモデルUniDiffを提案する。 UniDiffはマルチモーダル理解と生成タスクの両方において汎用性を示す。
  論文  参考訳（メタデータ） (2023-06-01T15:39:38Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。