論文の概要: Black-Box On-Policy Distillation of Large Language Models

• arxiv url: http://arxiv.org/abs/2511.10643v1
• Date: Fri, 14 Nov 2025 02:01:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-14 22:53:22.972001
• Title: Black-Box On-Policy Distillation of Large Language Models
• Title（参考訳）: 大規模言語モデルのブラックボックスオンポリティ蒸留
• Authors: Tianzhu Ye, Li Dong, Zewen Chi, Xun Wu, Shaohan Huang, Furu Wei,
• Abstract要約: ブラックボックス蒸留は、プロプライエタリな教師モデルのテキスト出力から学習することで、学生の大きな言語モデル(LLM)を生成する。 本稿では,行政上およびブラックボックス蒸留が可能なGAD(Geneversarative Adrial Distillation)を紹介する。
• 参考スコア（独自算出の注目度）: 95.59161351306568
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Black-box distillation creates student large language models (LLMs) by learning from a proprietary teacher model's text outputs alone, without access to its internal logits or parameters. In this work, we introduce Generative Adversarial Distillation (GAD), which enables on-policy and black-box distillation. GAD frames the student LLM as a generator and trains a discriminator to distinguish its responses from the teacher LLM's, creating a minimax game. The discriminator acts as an on-policy reward model that co-evolves with the student, providing stable, adaptive feedback. Experimental results show that GAD consistently surpasses the commonly used sequence-level knowledge distillation. In particular, Qwen2.5-14B-Instruct (student) trained with GAD becomes comparable to its teacher, GPT-5-Chat, on the LMSYS-Chat automatic evaluation. The results establish GAD as a promising and effective paradigm for black-box LLM distillation.
• Abstract（参考訳）: ブラックボックス蒸留は、プロプライエタリな教師モデルのテキスト出力から学習することで、内部のロジットやパラメータにアクセスすることなく、学生の大きな言語モデル(LLM)を生成する。 本研究は, 行政上およびブラックボックス蒸留が可能なGAD(Generative Adversarial Distillation)について紹介する。 GADは学生のLLMをジェネレータとしてフレーム化し、その反応を教師のLLMと区別するために識別器を訓練し、ミニマックスゲームを作成する。 差別者は、生徒と共進化する政治報酬モデルとして機能し、安定した適応的なフィードバックを提供する。 実験の結果,GADは一般的に使用されているシーケンスレベルの知識蒸留を一貫して上回っていることがわかった。 特に、GADで訓練されたQwen2.5-14B-Instruct(学生)は、LMSYS-Chat自動評価の教師であるGPT-5-Chatに匹敵する。 その結果,GAD はブラックボックス LLM 蒸留の有望かつ効果的なパラダイムとして確立された。

関連論文リスト

• Capturing Nuanced Preferences: Preference-Aligned Distillation for Small Language Models [22.613040767122225]
  教師の選好知識を全ての潜在的選好に対する確率分布としてモデル化した選好適応蒸留フレームワークを提案する。 4つの主流アライメントベンチマークの実験では、PADが既存のアプローチよりも一貫して、大幅に優れていることが示されている。
  論文  参考訳（メタデータ） (2025-02-20T05:18:23Z)
• On Teacher Hacking in Language Model Distillation [61.19867259475047]
  我々は,教師のハッキングと呼ばれる同様の現象が,知識蒸留中に起こりうるかどうかを考察する。 これは、教師LMがそれ自体が真の分布の完全な近似であるからである。 オンラインデータ生成技術は、教師のハッキングを効果的に軽減する。
  論文  参考訳（メタデータ） (2025-02-04T19:26:28Z)
• Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
  LLM蒸留における多粒性セマンティックリビジョン法を提案する。 シーケンスレベルでは、シーケンス修正と再生戦略を提案する。 トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。 スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
  論文  参考訳（メタデータ） (2024-07-14T03:51:49Z)
• Democratizing Reasoning Ability: Tailored Learning from Large Language Model [97.4921006089966]
  そこで我々は,そのような推論能力をより小さなLMに蒸留する,適切な学習手法を提案する。 対話型多ラウンド学習パラダイムを構築することにより,理科教員としてのLLMの可能性を活用する。 より小さなLMの推論可能性を活用するために,学生が自作ミスから学習する動機付けを目的とした自己回帰学習を提案する。
  論文  参考訳（メタデータ） (2023-10-20T07:50:10Z)
• Lion: Adversarial Distillation of Proprietary Large Language Models [16.245052771463044]
  より効率的な知識伝達のための新しい逆蒸留フレームワークを提案する。 我々は、ChatGPTから学生モデル(Lionという名前)に、たった70kのトレーニングデータを使って知識を伝達することに成功しました。
  論文  参考訳（メタデータ） (2023-05-22T09:49:16Z)
• Is ChatGPT Good at Search? Investigating Large Language Models as Re-Ranking Agents [53.78782375511531]
  大規模言語モデル(LLM)は、様々な言語関連タスクにまたがる顕著なゼロショットの一般化を実証している。 本稿では、情報検索(IR)における関連性ランキングのためのジェネレーティブLLMについて検討する。 LLMのデータ汚染に関する懸念に対処するため,我々はNovereEvalという新しいテストセットを収集した。 実世界のアプリケーションの効率を向上させるため、ChatGPTのランキング能力を小さな特殊モデルに蒸留する可能性を探る。
  論文  参考訳（メタデータ） (2023-04-19T10:16:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。