論文の概要: Retrospective Distillation Attribution via Normalized Response Similarity

• arxiv url: http://arxiv.org/abs/2609.32749v1
• Date: Sat, 26 Sep 2026 16:14:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 20:44:39.397865
• Title: Retrospective Distillation Attribution via Normalized Response Similarity
• Title（参考訳）: 正常化反応の類似性による振り返り蒸留の寄与
• Abstract要約: SCOUTは、*syntactic pattern*を候補プロファイルに繰り返し集約し、低コントラストパターンをフィルタし、学生候補距離をカリブレートする。 SCOUTは、モデルウェイト、トークンの確率、過去のチェックポイントなしで、現在のテキストのみを使用して属性と棄権をサポートする。
• 参考スコア（独自算出の注目度）: 23.265137857743156
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model distillation transfers capabilities through supervised fine-tuning (SFT) on teacher responses, often collected from commercial APIs, raising questions of model provenance. Existing distillation attribution methods have been largely evaluated on students immediately after the SFT step. However, a distilled model may undergo further SFT, preference optimization, or reinforcement learning before release, while an auditor may lack access to the pre-distillation checkpoint required by reference-based attribution. To close this gap, we propose SCOUT, an output-only method that aggregates recurring *syntactic patterns* into candidate profiles, filters low-contrast patterns, and calibrates student--candidate distances against inter-candidate distances. SCOUT supports attribution and abstention using only current texts, without model weights, token likelihoods, or historical checkpoints. Auditing publicly released descendants of distilled models spanning diverse post-training objectives, SCOUT consistently identifies the distillation source. Furthermore, tracing teacher-associated *syntactic signatures* along training trajectories reveals that they emerge during distillation and persist through subsequent preference optimization and reinforcement learning.
• Abstract（参考訳）: モデル蒸留は教師の反応を教師による微調整(SFT)によって伝達し、しばしば商用APIから収集される。 既存の蒸留属性法は, SFT導入直後の学生に広く評価されている。 しかし、蒸留されたモデルは、リリース前にさらにSFT、選好最適化、強化学習を行うことができ、監査人は、参照ベースの属性によって要求される事前蒸留チェックポイントにアクセスできない可能性がある。 このギャップを埋めるために、SCOUTという出力のみの手法を提案する。これは*シンタクティックパターン*を候補プロファイルに集約し、低コントラストパターンをフィルタし、学生候補距離を候補間距離に対して校正する。 SCOUTは、モデルウェイト、トークンの確率、過去のチェックポイントなしで、現在のテキストのみを使用して属性と棄権をサポートする。 様々な訓練対象にまたがる蒸留モデルの子孫を公に公開した結果、SCOUTは一貫して蒸留源を特定している。 さらに, 教師関連*シンタクティックシグネチャを学習軌跡に沿って追跡すると, 蒸留中に出現し, その後の選好最適化と強化学習を通じて継続することが明らかとなった。

関連論文リスト

• An End-to-End Latent-Rollout Approach for Pushing Few-Step ImageNet-$256$ Generation to FID $1.11$ without Fréchet Losses [9.431422086533344]
  蒸留は教師の軌道に沿って選択された状態に教師力の回帰を適用する。 監督の強化は 敵意と補助的な 分類の目的に置き換わる ImageNetのクラス条件生成では,FID 1.11(IS 282)を3段階,FID 1.15(IS 280)を2段階で達成した。
  論文  参考訳（メタデータ） (2026-09-26T08:52:12Z)
• Distillation of Foundation Models for Time-dependent PDEs [21.455872116756492]
  本研究では,事前学習した基礎モデルの予測能力を,コンパクトで効率的な学生に伝達する知識蒸留フレームワークを提案する。 微調整された教師から始めて、TREXは教師のロールアウトを通じて長い合成軌跡を生成することによって、下流の限られたデータを増やす。 結果として得られた学生は、数桁のパラメータ数を減らしながら、教師の精度を一致または超えることができる。
  論文  参考訳（メタデータ） (2026-08-12T11:24:08Z)
• Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
  オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。 まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。 第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
  論文  参考訳（メタデータ） (2026-07-02T14:33:07Z)
• Curvature-Adaptive Consistency Flow Matching: Autonomous Trajectory Optimization via Reinforcement Learning [8.422673935994451]
  連続蒸留は拡散モデルの推論を 著しく加速させました 本稿では,静的サンプリングの限界に対処するため,曲率適応整合フローマッチングを提案する。 提案手法は,FLUXやSDXLといった大規模モデルに対して,最新の結果を実現する。
  論文  参考訳（メタデータ） (2026-06-21T08:49:50Z)
• Reference-Based Distillation Detection in LLMs [17.877444310396758]
  本稿では,参照型メンバシップ推論に基づく蒸留検出手法を提案する。 制御された蒸留実験と実世界のモデルの両方にまたがるハイブリッド評価を開発した。 この手法を現代モデルに適用すると、QwQ、DeepSeek-R1、GPT-OSSを含む蒸留関係に関する新たな証拠が得られる。
  論文  参考訳（メタデータ） (2026-06-19T06:59:19Z)
• Fast and Effective On-policy Distillation from Reasoning Prefixes [5.0200371345178]
  オンライン蒸留(OPD)は学生モデルの軌跡を抽出し、トークンレベルで教師と監督する。 そこで本研究では, 学生生成出力のプレフィックスのみに蒸留目標を適用し, 蒸留の早期に各サンプリングを終了する, 簡易かつ効果的なPDの修正を提案する。 AI-for-Mathベンチマークとアウト・オブ・ベンチマークの実験では、オンラインプレフィックス蒸留はフルPDのパフォーマンスと一致し、FLOPのトレーニングを2倍-47倍削減した。
  論文  参考訳（メタデータ） (2026-02-16T23:28:54Z)
• Distill Not Only Data but Also Rewards: Can Smaller Language Models Surpass Larger Ones? [58.80794196076336]
  大型言語モデル(LLM)の蒸留は、教師による微調整(SFT)を通して教師モデルの応答を伝達するのが一般的である。 本稿では, 応答と報酬の両方を伝達する新しい蒸留パイプラインを提案する。 本手法は,教師と生徒の両方の反応の固有構造を利用した自己教師機構によって擬似回帰を生成する。
  論文  参考訳（メタデータ） (2025-02-26T20:50:11Z)
• Inference-Time Diffusion Model Distillation [59.350789627086456]
  本稿では,新しい推論時間蒸留フレームワークであるDistillation++を紹介する。 条件付きサンプリングの最近の進歩に触発されて,本手法は学生モデルサンプリングを近位最適化問題として再放送する。 逆サンプリング中の蒸留最適化を統合し,教師指導とみなすことができる。
  論文  参考訳（メタデータ） (2024-12-12T02:07:17Z)
• BoostAdapter: Improving Vision-Language Test-Time Adaptation via Regional Bootstrapping [64.8477128397529]
  本稿では,テスト時間適応フレームワークを提案する。 我々は、インスタンスに依存しない履歴サンプルとインスタンスを意識したブースティングサンプルから特徴を検索するための軽量なキー値メモリを維持している。 理論的には,本手法の背後にある合理性を正当化し,アウト・オブ・ディストリビューションとクロスドメイン・データセットの両方において,その有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2024-10-20T15:58:43Z)
• Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
  LLM蒸留における多粒性セマンティックリビジョン法を提案する。 シーケンスレベルでは、シーケンス修正と再生戦略を提案する。 トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。 スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
  論文  参考訳（メタデータ） (2024-07-14T03:51:49Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。