論文の概要: One Student, Many Teachers: Multi-Task On-Policy Distillation via Soft-Prompt Privileged Context

• arxiv url: http://arxiv.org/abs/2607.18293v1
• Date: Tue, 30 Jun 2026 19:56:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.121368
• Title: One Student, Many Teachers: Multi-Task On-Policy Distillation via Soft-Prompt Privileged Context
• Title（参考訳）: 一人, 多くの教師:ソフトプロンプトプリビレグドコンテキストによるマルチタスクオンポリティ蒸留
• Abstract要約: 本研究では,教師が学習可能なソフトプロンプトのみで生徒と異なる方法を提案する。 メソッドは、マージされたコーパスの各例を対応するソフトプロンプトの教師にルーティングすることで、マルチタスク設定に自然に拡張する。 Qwen3-1.7BベースとPhi-4-mini-インストラクタでは、単一タスクの変種が完全な微調整と一致するか、あるいは超える。
• 参考スコア（独自算出の注目度）: 40.91201403670402
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: On-policy self-distillation (OPSD) teaches large language models new skills through a teacher that shares the student's backbone and supervises its own rollouts. Existing teachers either inject privileged context at the input -- inducing post-hoc rationalization -- or fine-tune weights, accumulating drift and forgetting across tasks. We propose \method, whose teacher differs from the student only by a learnable soft prompt: trained on $(x, y_\text{gold})$ pairs with the backbone frozen, the prompt yields a task-specific teacher that preserves the student's exact representational geometry. \method\ extends naturally to multi-task settings by routing each example in a merged corpus to its corresponding soft-prompt teacher, allowing a single student to absorb knowledge from $K$ teachers in parallel; at inference, all prompts are discarded. On Qwen3-1.7B-Base and Phi-4-mini-instruct across four tasks (Science, Tool Use, Biology, Math), the single-task variant (OPD with a PT teacher) matches or exceeds full fine-tuning while training orders of magnitude fewer parameters, and the multi-task variant achieves the best overall average ($56.2$ on Qwen3-1.7B-Base) while preserving general-capability benchmarks -- in contrast to sequential SFT, which degrades both.
• Abstract（参考訳）: On-policy Self-distillation (OPSD)は、学生のバックボーンを共有し、自身のロールアウトを監督する教師を通じて、大きな言語モデルに新しいスキルを教える。 既存の教師は、入力時に特権付きコンテキストを注入する -- ホック後の合理化を誘発する -- または微調整の重みを注入し、ドリフトを蓄積し、タスクをまたいで忘れる。 学習可能なソフトプロンプトによってのみ異なる教師である‘method’を提案する: $(x, y_\text{gold})$ pairs with the backbone frozen, the prompt yields a task-specific teacher that maintains the students's exact representational geometry。 \method\は、マージされたコーパスの各例を対応するソフトプロンプトの教師にルーティングすることで、自然にマルチタスク設定に拡張する。 Qwen3-1.7B-Base と Phi-4-mini-instructing across four tasks (Science, Tool Use, Biology, Math) では、シングルタスクの変種 (OPD with a PT teacher) は、桁違いのパラメータをトレーニングしながら完全な微調整をし、マルチタスクの変種は、どちらも低下するシーケンシャルなSFTとは対照的に、最高の全体的な平均 (56.2$ on Qwen3-1.7B-Base) を達成する。

関連論文リスト

• ReOrder-OPD:Reliability-Aware Prompt Ordering for On-Policy Distillation [25.69241346799495]
  我々は,教師が生徒の接頭辞から正しい回答を得られる確率として,プロンプトレベルの教師継続信頼性を$R$と定義する。 我々は、高いR$プロンプトがより大きなOPDゲインをもたらし、下降するR$トレーニングがランダムな順序と上昇順序より優れていることを示す。
  論文  参考訳（メタデータ） (2026-08-11T13:27:56Z)
• Beyond the Best Teacher: Expanding and Compressing the Reasoning Solution Manifold [4.090731563364332]
  我々は、強化学習ポリシーをマルチベース推論解多様体の局所的なプローブと見なすべきであると主張する。 本稿では,教師が多教師政策の蒸留で構築する拡張型圧縮フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-07-30T07:05:37Z)
• OPOD: On-Policy Omni Distillation [57.03701765491103]
  プール化されたマルチモーダルデータ上で単一のモデルをトレーニングすることは、個々のモダリティに特化したモデルにマッチしないことが多い。 本報告では,オムニ蒸留法(Omni Distillation,OPD)について述べる。 OPDは各スケールで最高のスコアを獲得し、70.8、51.7、46.2に達した。
  論文  参考訳（メタデータ） (2026-07-23T04:55:04Z)
• Multi-Turn On-Policy Distillation with Prefix Replay [73.10000453999088]
  エージェントタスクに対するReplayed-Prefix On-Policy Distillation (ReOPD)を提案する。 ReOPDは、プレコンパイルされた教師の軌跡を再生プレフィックスとして再利用する。 OPDレベルの精度を保存または改善し、学生のトレーニング中にゼロツールコールを使用し、PDよりもトレーニングステップあたり最低4$times$高速である。
  論文  参考訳（メタデータ） (2026-07-06T07:56:53Z)
• H-OPD: Confidence Aware Heterogeneous Multi-Teacher Multimodal On-policy Distillation [31.41588745047352]
  H-OPDはマルチモーダル推論のための信頼度を考慮したヘテロジニアスマルチテラーPDフレームワークとして提案されている。 同じ推論プロセスで異種教員の相補性を検証することにより、H-OPDはタスクやサンプルレベルの教師ルーティングを置き換える。 H-OPDは、テキストのみの教師が重要な視覚的意味論にアクセスできるようにするために、視覚から言語への記述転送を利用する。
  論文  参考訳（メタデータ） (2026-07-01T07:37:10Z)
• Teaching Prompts to Coordinate: Hierarchical Layer-Grouped Prompt Tuning for Continual Learning [69.17264556340244]
  連続学習のための階層型階層型プロンプトチューニング手法を提案する。 i) 同じグループの層がほぼ同じプロンプトを共有し、位置符号化によって調整される。 単一のタスク固有のルートプロンプトを使用して、各レイヤグループのサブプロンプトを生成する。
  論文  参考訳（メタデータ） (2025-11-15T08:15:51Z)
• Heuristic-Free Multi-Teacher Learning [0.6597195879147557]
  Teacher2Taskは、手動のアグリゲーションを不要にする、マルチ先生学習のための新しいフレームワークである。 集約されたラベルに頼る代わりに、このフレームワークは、Nの教師による基礎的な真理ラベルとアノテーションからなるトレーニングデータをN+1の異なるタスクに変換する。
  論文  参考訳（メタデータ） (2024-11-19T18:45:16Z)
• PECTP: Parameter-Efficient Cross-Task Prompts for Incremental Vision Transformer [76.39111896665585]
  インクリメンタルラーニング(IL)は、シーケンシャルタスクの深いモデルを継続的に学習することを目的としている。 近年の大規模事前訓練モデル (PTM) は, 従来の試料を含まない実用ILにおいて, 即時的手法により優れた性能を発揮している。
  論文  参考訳（メタデータ） (2024-07-04T10:37:58Z)
• Parameterizing Context: Unleashing the Power of Parameter-Efficient Fine-Tuning and In-Context Tuning for Continual Table Semantic Parsing [13.51721352349583]
  本稿では,連続的なテーブルセマンティック解析のトレーニングに,PEFT(textitcontext- efficient fine-tuning)とICT(textitin-adaptive tuning)を統合した新しい手法を提案する。 教員は、ICTを用いて、いくつかのトレーニング例を示すことで、文脈情報を取得する、いくつかのショット問題に対処する。 代わりに、提案したPEFTフレームワークを利用して教師の出力分布から学習し、その後、文脈情報をプロンプトに圧縮保存し、トレーニング例を保存する必要がなくなる。
  論文  参考訳（メタデータ） (2023-10-07T13:40:41Z)
• TGRL: An Algorithm for Teacher Guided Reinforcement Learning [45.38447023752256]
  強化と教師の学習目標を最大限にするための政策を訓練することが一般的である。 私たちは、$textitprincipled$アプローチと、$textitdynamically$と$textitautomatically$の近似実装を示します。
  論文  参考訳（メタデータ） (2023-07-06T17:58:40Z)
• Representation Consolidation for Training Expert Students [54.90754502493968]
  マルチヘッド多タスク蒸留法は,タスク固有の教師の表現を集約し,下流のパフォーマンスを向上させるのに十分であることを示す。 また,本手法では,複数のドメインで訓練された複数の教師の表現的知識を1つのモデルに組み合わせることができる。
  論文  参考訳（メタデータ） (2021-07-16T17:58:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。