論文の概要: K2P: Label-Free Knowledge to Prompt Distillation

• arxiv url: http://arxiv.org/abs/2609.38898v1
• Date: Wed, 30 Sep 2026 03:45:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.148062
• Title: K2P: Label-Free Knowledge to Prompt Distillation
• Title（参考訳）: K2P: 蒸留を急ぐためのラベルなしの知識
• Abstract要約: ラベルフリーな知識蒸留のためのK2P(Knowledge-to-Prompt)をプロンプトに導入する。 K2Pは、教師ソリューションから再利用可能な命令を合成し、ペア化された教師と学生の反応を用いてそれらを洗練し、回答合意による探索と選択をガイドする。
• 参考スコア（独自算出の注目度）: 5.856304595051761
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge distillation can transfer reasoning from stronger teachers to frozen students through reusable prompts, but avoiding weight updates does not eliminate supervision. Without ground-truth answers, teacher solutions are unverified, and agreement with the teacher can reward shared mistakes. We introduce Knowledge-to-Prompt (K2P) for label-free knowledge distillation to prompts. K2P synthesizes reusable instructions from teacher solutions, refines them using paired teacher and student responses, and guides search and selection with answer agreement. It retains candidates that adaptive search may undervalue and selects on reserved questions. Deployment uses only the frozen student and selected prompt. Our theory separates generation and selection gaps and gives conditions under which agreement-guided construction yields accuracy guarantees despite imperfect teacher references. Across reasoning tasks and students, K2P outperforms label-free alternatives overall and remains competitive with supervised prompt optimization. Ablations and archive diagnostics assess the contributions of teacher solutions and refinement, while revealing the limits of agreement-guided selection.
• Abstract（参考訳）: 知識蒸留は、再利用可能なプロンプトを通じて、より強い教師から凍結した学生への推論を伝達することができるが、重量の更新を避けることは、監督を排除しない。 根本的な答えがなければ、教師のソリューションは検証されず、教師との合意は共有ミスに報いる。 ラベルフリーな知識蒸留のためのK2P(Knowledge-to-Prompt)をプロンプトに導入する。 K2Pは、教師ソリューションから再利用可能な命令を合成し、ペア化された教師と学生の反応を用いてそれらを洗練し、回答合意による探索と選択をガイドする。 適応検索が過小評価されうる候補を保持し、予約された質問で選択する。 配置は凍結した学生と選択したプロンプトのみを使用する。 提案理論は, 生成と選択のギャップを分離し, 教師の不完全な参照にもかかわらず, 合意を導いた構築が正確性を保証する条件を与える。 推論タスクと学生全体にわたって、K2Pはラベルなしの代替品を総合的に上回り、教師付きプロンプト最適化と競合し続けている。 アブレーションとアーカイブ診断は、教師のソリューションと改善の貢献を評価し、合意誘導の選択の限界を明らかにしている。

関連論文リスト

• TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
  強力な教師モデルから小さな学生への蒸留はギャップカースに面している。 教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。 本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
  論文  参考訳（メタデータ） (2026-09-27T10:13:54Z)
• Reward-Gated On-Policy Distillation [58.187458236302575]
  オンライン蒸留は、強い教師から小さな学生に推論能力を伝達する強力な方法である。 RG-OPD: Reward-Gated On-Policy Distillationは、検証者フィードバックを用いて、教師のログがいつ信頼できるかを決定する。 RG-OPDは、推論とコーディングのベンチマークを通じて、より強い蒸留学生を生み出し、バニラ逆KL蒸留と最近のTLD-KDベースラインの両方を上回ります。
  論文  参考訳（メタデータ） (2026-07-04T21:51:22Z)
• The Strongest Teacher Is Not Always the Best Teacher: Student-Centric Answer Selection [46.38575272632866]
  SCAS(Student-Centric Answer Sampling)は、学生中心の学習コストの推定に基づいて、教師が作成した回答から選択するフレームワークである。 30の教師モデル、6人の生徒ベースモデル、8つのタスクにわたる実験は、SCASが生徒のパフォーマンスを継続的に改善していることを示している。
  論文  参考訳（メタデータ） (2026-05-26T11:30:17Z)
• Not All Disagreement Is Learnable: Token Teachability in On-Policy Distillation [28.572361799234784]
  生のKL不一致が学習価値の粗いプロキシであることを示す。 我々はこの局所的な互換性をトークンの教育可能性として定式化する。 軽量なトークン配置選択法であるTeachability-Aware OPDを提案する。
  論文  参考訳（メタデータ） (2026-05-26T10:56:46Z)
• Faithful Knowledge Distillation [75.59907631395849]
  i) 教師と学生は、正しく分類されたデータセットのサンプルに近い点で意見が一致しないか、(ii) 蒸留した学生は、データセットのサンプルに関する教師と同じくらい自信があるか、という2つの重要な質問に焦点をあてる。 これらは、安全クリティカルな設定の中で、堅牢な教師から訓練された小さな学生ネットワークを配置することを考えると、重要な問題である。
  論文  参考訳（メタデータ） (2023-06-07T13:41:55Z)
• Switchable Online Knowledge Distillation [68.2673580932132]
  オンライン知識蒸留(OKD)は、教師と学生の違いを相互に活用することで、関係するモデルを改善する。 そこで我々は,これらの疑問に答えるために,スイッチブルオンライン知識蒸留(SwitOKD)を提案する。
  論文  参考訳（メタデータ） (2022-09-12T03:03:40Z)
• Faculty Distillation with Optimal Transport [53.69235109551099]
  本稿では,教師の課題と生徒の課題を最適な輸送手段で結びつけることを提案する。 ラベル空間間の意味的関係に基づき、出力分布間の支持ギャップを埋めることができる。 各種条件下での実験は,提案手法の簡潔さと汎用性を示すものである。
  論文  参考訳（メタデータ） (2022-04-25T09:34:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。