論文の概要: SimOPD: Relational Knowledge Transfer for On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2610.23306v1
• Date: Fri, 16 Oct 2026 11:10:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.900079
• Title: SimOPD: Relational Knowledge Transfer for On-Policy Distillation
• Title（参考訳）: SimOPD: オンライン蒸留のための関係知識伝達
• Abstract要約: 応答類似性を通じて教師の内部知識を伝達するためのtextbfSimOPDを提案する。 SimOPDは、教師の内部表現を類似度分布として抽出するために、学生生成応答のペアメモリバンクを使用する。 実験の結果、SimOPDは最強のベースラインよりも平均を2.6ポイントと3.1ポイント改善している。
• 参考スコア（独自算出の注目度）: 26.839864100240664
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A key challenge in on-policy distillation (OPD) is extracting effective supervision from teacher knowledge. Supervision from token probabilities may underutilize internal knowledge, while direct hidden-state matching forces the student to shift to the teacher's feature space and complicates cross-architecture transfer. Inspired by contrastive learning's use of relationships between instances, we propose \textbf{SimOPD} to transfer teacher internal knowledge through response similarities. Specifically, SimOPD uses paired memory banks of student-generated responses to extract supervision from the teacher's internal representations as similarity distributions. The student then matches these distributions within its own representation space, retaining representational freedom and removing the need for cross-model projection. Extensive experiments show that SimOPD improves the overall average over the strongest baselines by up to 2.6 and 3.1 percentage points in same- and cross-architecture settings.
• Abstract（参考訳）: オンライン蒸留(OPD)における重要な課題は、教師の知識から効果的な監督を抽出することである。 トークンの確率によるスーパービジョンは内部知識を弱め、直接隠れ状態のマッチングは生徒を教師の特徴空間に移行させ、クロスアーキテクチャーの伝達を複雑にする。 そこで本研究では,教師の内部知識を応答類似性を通じて伝達する「textbf{SimOPD}」を提案する。 具体的には、SimOPDは、生徒が生成した応答のペア化されたメモリバンクを使用して、教師の内部表現から、類似度分布として監督を抽出する。 学生はこれらの分布を自身の表現空間内で一致させ、表現の自由を維持し、クロスモデル投影の必要性を取り除く。 大規模な実験により、SimOPDは最強のベースラインよりも平均を2.6ポイントから3.1ポイントまで改善した。

関連論文リスト

• DOPD: Dual On-policy Distillation [59.65986569617147]
  オンライン蒸留は、高密度のトークンレベルの信号で学生サンプルの軌跡を監督することで、優れた容量転送を提供する。 特権教師と特権学生の政策の間のトークンレベルの監督を動的にルーティングするアドバンテージ・アウェアな二重蒸留パラダイムであるDOPDを提案する。 大きな言語モデル(LLM)と視覚言語モデル(VLM)の両方の実験は、DOPDがバニラPDを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-06-29T17:55:53Z)
• SWARD: Stochastic Window-Attention-Based Relational Distillation for Cross-Architectural Semantic Segmentation [1.1617094867403568]
  大規模視覚基盤モデルは、セマンティックセグメンテーションのような密集した予測タスクに大きな利益をもたらした。 現代の基礎教師は、主にグローバルコンテキストを符号化するトランスフォーマーベースであるのに対し、効率的な学生は、通常、局所的に偏った受容場を持つ畳み込みネットワークである。 既存の蒸留法は主に構造的均質性を前提としており、直接的特徴模倣に依存しており、この表現的ギャップを埋めることができない。 本稿では,このギャップを2つの相補的なメカニズムで解決する知識蒸留フレームワークSWARDを提案する。
  論文  参考訳（メタデータ） (2026-05-31T04:29:31Z)
• AVSD: Adaptive-View Self-Distillation by Balancing Consensus and Teacher-Specific Privileged Signals [65.71225905458182]
  自己蒸留は、生徒と教師の両方と同じモデルを用いて、言語モデルが自身の軌道から政治学を学ぶことを可能にする。 このセットアップは、別の外部モデルに頼ることなく、密集したトークンレベルのフィードバックを提供する。 複数の特権情報ビューを持つ自己蒸留法であるAVSDを紹介する。
  論文  参考訳（メタデータ） (2026-05-20T03:06:36Z)
• Self-Distilled RLVR [57.37526213765131]
  特権教師からのみ派生した学習信号が,情報漏洩と不安定な長期学習をもたらすことを示す。 textbfSelf-textbfDistillationを用いたtextbfRLSD(textbfRLVR)を提案する。 これにより、RSSDはRLVRとOPSDの両方の強度を同時に利用でき、高い収束天井と優れたトレーニング安定性を実現することができる。
  論文  参考訳（メタデータ） (2026-04-03T15:50:07Z)
• "The Whole Is Greater Than the Sum of Its Parts": A Compatibility-Aware Multi-Teacher CoT Distillation Framework [16.96094045628127]
  CoT(Chain-of-Thought)推論は、大きな言語モデル(LLM)に優れた能力を与えるが、通常は禁止的なパラメータスケールを必要とする。 CoT蒸留は、推論技術をコンパクトな学生モデル(SLM)に伝達するための有望なパラダイムとして登場した。 我々は,教師の勾配を動的に重み付けすることで,教師の指導を適応的に融合させるフレームワークCompactを紹介する。
  論文  参考訳（メタデータ） (2026-01-20T14:05:19Z)
• BIRD: Behavior Induction via Representation-structure Distillation [1.534667887016089]
  BIRD (Behavior induction via Representation-structure Distillation) は、生徒モデルの内部表現構造と教師の表現構造をマッチングすることにより、協調行動の伝達を行うフレキシブルなフレームワークである。 画像分類における分布外ロバスト性に適用され、次の最強ベースラインに対して、ロバスト精度を最大16%向上する。 400人以上の教師-学生ペアの大規模研究において、教師の表現の解釈可能かつ計算可能な3つの特性が、伝達成功の最大85%のばらつきを説明できることを示した。
  論文  参考訳（メタデータ） (2025-05-29T18:29:40Z)
• Weakly Supervised Semantic Segmentation via Alternative Self-Dual Teaching [82.71578668091914]
  本稿では,分類とマスク・リファインメント・コンポーネントを統合された深層モデルに組み込む,コンパクトな学習フレームワークを確立する。 本稿では,高品質な知識相互作用を促進するために,新たな自己双対学習(ASDT)機構を提案する。
  論文  参考訳（メタデータ） (2021-12-17T11:56:56Z)
• Wasserstein Contrastive Representation Distillation [114.24609306495456]
  We propose Wasserstein Contrastive Representation Distillation (WCoRD) which leverages both primal and dual form of Wasserstein distance for knowledge distillation。 二重形式はグローバルな知識伝達に使用され、教師と学生のネットワーク間の相互情報の低い境界を最大化する対照的な学習目標をもたらします。 実験では、提案されたWCoRD法が特権情報蒸留、モデル圧縮およびクロスモーダル転送における最先端のアプローチを上回ることを実証した。
  論文  参考訳（メタデータ） (2020-12-15T23:43:28Z)
• Knowledge Distillation Meets Self-Supervision [109.6400639148393]
  知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。 一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。 これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
  論文  参考訳（メタデータ） (2020-06-12T12:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。