論文の概要: Know Thyself, Teach Thyself: Internal Information Flow for Selective Self-Distillation

• arxiv url: http://arxiv.org/abs/2609.36695v2
• Date: Sun, 04 Oct 2026 07:40:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 04:43:28.418455
• Title: Know Thyself, Teach Thyself: Internal Information Flow for Selective Self-Distillation
• Title（参考訳）: 自己を知る, 自分を知る: 選択的な自己蒸留のための内部情報フロー
• Abstract要約: 本稿では,検索誘導型自己蒸留フレームワークInFlowを紹介する。 InFlowは,教師の初期信念と検索条件の回答信念の相違を通じて実効性を測定する。 本分析は,検索と選択によって最適化された情報を定式化し,教師-学生の蒸留ギャップへの回答レベルシフトを関連づける。
• 参考スコア（独自算出の注目度）: 15.143332171675198
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-distillation turns knowledge distillation into a closed learning loop and offers a path toward recursive self-improvement. Without an external teacher, however, the model must determine both what information can improve its supervision and which induced changes should be learned. Existing methods typically improve teacher-generated data or select training examples in isolation, leaving the information transferred between these stages unmeasured. We introduce InFlow, a retrieval-guided on-policy self-distillation framework that models this process as potential-to-realized information flow. InFlow first retrieves potentially informative sources using certainty-calibrated hidden-state trajectories, then measures their realized effect through the Jensen--Shannon divergence between the teacher's initial and retrieval-conditioned answer beliefs. Examples with larger belief shifts are selected for on-policy distillation. Our analysis formalizes the information optimized by retrieval and selection and relates the answer-level shift to the teacher--student distillation gap. Across four open-weight language models and three knowledge domains, InFlow achieves the strongest cross-model average among the compared selection methods, with ablations supporting both stages of the framework. Our code is available at https://github.com/1240148048/INFLOW.
• Abstract（参考訳）: 自己蒸留は知識蒸留を閉じた学習ループに変え、再帰的な自己改善への道を提供する。 しかし、外部教師がいなければ、モデルがどの情報を監督を改善するか、どの変更を学習すべきかを判断しなければなりません。 既存の方法では、教師が作成したデータを改善するか、個別にトレーニング例を選択する。 本稿では、検索誘導型自己蒸留フレームワークInFlowを紹介し、このプロセスを潜在的に実現された情報フローとしてモデル化する。 InFlowは、まず、確実な校正された隠れ状態の軌跡を用いて潜在的に有意な情報源を検索し、その後、教師の初期と検索条件の回答信念の間のジェンセン=シャノンのばらつきを通じて、その実効性を測定する。 より大きな信念シフトを持つ例は、オン・ポリケート蒸留のために選択される。 本分析は,検索と選択によって最適化された情報を定式化し,教師-学生の蒸留ギャップへの回答レベルシフトを関連づける。 4つのオープンウェイト言語モデルと3つの知識ドメインをまたいだInFlowは、比較した選択方法の中で最強のクロスモデル平均を達成し、フレームワークのどちらの段階もサポートしている。 私たちのコードはhttps://github.com/1240148048/INFLOWで利用可能です。

関連論文リスト

• Retrospective Distillation Attribution via Normalized Response Similarity [23.265137857743156]
  SCOUTは、*syntactic pattern*を候補プロファイルに繰り返し集約し、低コントラストパターンをフィルタし、学生候補距離をカリブレートする。 SCOUTは、モデルウェイト、トークンの確率、過去のチェックポイントなしで、現在のテキストのみを使用して属性と棄権をサポートする。
  論文  参考訳（メタデータ） (2026-09-26T16:14:41Z)
• Reference-Based Distillation Detection in LLMs [17.877444310396758]
  本稿では,参照型メンバシップ推論に基づく蒸留検出手法を提案する。 制御された蒸留実験と実世界のモデルの両方にまたがるハイブリッド評価を開発した。 この手法を現代モデルに適用すると、QwQ、DeepSeek-R1、GPT-OSSを含む蒸留関係に関する新たな証拠が得られる。
  論文  参考訳（メタデータ） (2026-06-19T06:59:19Z)
• Learn to Rank: Visual Attribution by Learning Importance Ranking [58.69028273772474]
  コンピュータビジョンモデルのための視覚属性マップを生成する新しい手法を提案する。 提案手法は, 任意の数段階の勾配補正を施した1つの前方通過において, 密度の高い画素レベルの属性を生成する。 我々の実験は、一貫した定量的改善と、よりシャープで境界に沿った説明を示す。
  論文  参考訳（メタデータ） (2026-04-07T12:53:22Z)
• On-Policy Context Distillation for Language Models [92.82835176360864]
  本稿では, オンライン蒸留とコンテキスト蒸留を橋渡しするフレームワークである, オン・ポリティ・コンテキスト蒸留(OPCD)を提案する。 実験的知識蒸留とシステム急速蒸留の2つの重要な応用におけるOPCDの有効性を実証する。
  論文  参考訳（メタデータ） (2026-02-12T18:58:28Z)
• JointDistill: Adaptive Multi-Task Distillation for Joint Depth Estimation and Scene Segmentation [31.89422375115854]
  この研究は、マルチタスク蒸留を用いて統一モデリングを改善する方法について検討する。 学生の現在の学習能力に応じて各教師の知識量を調整できる自己適応型蒸留法を提案する。 我々は,CityscapesやNYU-v2など,複数のベンチマークデータセットについて評価を行った。
  論文  参考訳（メタデータ） (2025-05-15T08:00:48Z)
• Studying Classifier(-Free) Guidance From a Classifier-Centric Perspective [100.54185280153753]
  分類器なし誘導と分類器なし誘導の両方が,微分拡散軌道を決定境界から遠ざけることによって条件付き生成を実現することがわかった。 本研究では,フローマッチングをベースとした汎用的な後処理ステップを提案し,事前学習した復調拡散モデルに対する学習分布と実データ分布とのギャップを小さくする。
  論文  参考訳（メタデータ） (2025-03-13T17:59:59Z)
• Reinforcement Learning from Passive Data via Latent Intentions [86.4969514480008]
  我々は、下流RLを加速する機能を学ぶために、受動的データが引き続き使用できることを示す。 我々のアプローチは、意図をモデル化することで受動的データから学習する。 実験では、クロス・エボディメント・ビデオデータやYouTubeビデオなど、さまざまな形式の受動的データから学習できることを実証した。
  論文  参考訳（メタデータ） (2023-04-10T17:59:05Z)
• MDFlow: Unsupervised Optical Flow Learning by Reliable Mutual Knowledge Distillation [12.249680550252327]
  現在のアプローチでは、継続的な自己スーパービジョンの強化正則化項が課せられている。 本稿では,教師と学生のネットワーク間で信頼ある知識を相互に伝達する新たな相互蒸留フレームワークを提案する。 我々のアプローチはMDFlowと呼ばれ、挑戦的なベンチマーク上で最先端のリアルタイム精度と一般化能力を実現する。
  論文  参考訳（メタデータ） (2022-11-11T05:56:46Z)
• Knowledge distillation via adaptive instance normalization [52.91164959767517]
  本稿では,教師から生徒への特徴統計の伝達に基づく新しい知識蒸留法を提案する。 本手法は,教師に類似する生徒の平均と分散を強制する標準的な方法を超えている。 以上の結果から, 蒸留法は他の蒸留法よりも高い性能を示した。
  論文  参考訳（メタデータ） (2020-03-09T17:50:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。