論文の概要: 1% of Tokens Can Be Enough: On Gradient Estimation in On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2609.24432v1
• Date: Mon, 21 Sep 2026 11:28:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.267312
• Title: 1% of Tokens Can Be Enough: On Gradient Estimation in On-Policy Distillation
• Title（参考訳）: 1%が十分である: 常用蒸留におけるグラディエント推定について
• Abstract要約: 役に立つ教師指導は、次のトークンのサンプルから勾配が推定されたときにノイズを発生させる。 本稿では,信号対雑音分解に基づく情報効率比(IER)を提案する。 候補セット近似は、IERと既存の有用性スコアの組み合わせに基づいてトークンの選択を可能にする。
• 参考スコア（独自算出の注目度）: 30.723155979280083
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse on-policy distillation (OPD) allocates teacher supervision to a small subset of tokens in student-generated trajectories. However, useful teacher guidance can yield a noisy update when its gradient is estimated from a sampled next token. We study this estimation problem at a fixed prefix in information geometry and propose an information-efficiency ratio (IER) based on a signal-to-noise decomposition. IER characterizes relative gradient estimation error under an optimal scalar baseline. A candidate-set approximation enables token selection based on IER and its combination with existing usefulness scores, while retaining the sampled reverse-KL training objective. On mathematical and medical reasoning tasks, adding IER improves existing selectors in multiple settings, with sparse configurations matching or exceeding full OPD without token selection at small token budgets of 0.1\%--1\%. These results support accounting for both usefulness and gradient-estimation reliability when allocating sparse supervision. Our code is available at https://github.com/BruceSheng1202/IER-OPD.
• Abstract（参考訳）: Sparse on-policy distillation (OPD)は、学生が生成した軌跡のトークンの小さなサブセットに教師の監督を割り当てる。 しかし、有用な教師指導は、その勾配がサンプル化された次のトークンから推定されたときにノイズの多い更新を与えることができる。 情報幾何学において,この推定問題を固定プレフィックスで検討し,信号対雑音分解に基づく情報効率比(IER)を提案する。 IERは最適スカラーベースラインの下で相対勾配推定誤差を特徴付ける。 候補セット近似により、IERと既存の有用性スコアとの組み合わせに基づくトークン選択が可能となり、サンプルの逆KLトレーニング目標が維持される。 数学的および医学的な推論タスクでは、IERを追加することで既存のセレクタを複数の設定で改善できる。 これらの結果は、スパース・インスペクションの割り当てにおける有用性と勾配推定の信頼性の両立を支援する。 私たちのコードはhttps://github.com/BruceSheng1202/IER-OPD.comで公開されています。

関連論文リスト

• A Token-Level Analysis of Sampled-Token Reverse-KL On-Policy Distillation [59.43605629311855]
  学生ログに対する逆KLのトーケンK2推定器の勾配を解析した。 そこで我々は,SuReを1つの経験的インスタンス化として,K2推定器で訓練した逆KL OPDの勾配レベル評価を行った。
  論文  参考訳（メタデータ） (2026-08-26T11:14:42Z)
• Learning Probabilistic Embeddings for Unsupervised Action Segmentation [28.558361258499527]
  本研究では,長期的・未編集映像に対する非教師的時間的動作分割の問題について検討する。 フレーム表現の確率的埋め込みを学習する。 決定論的埋め込みと比較して、我々の手法はMoFを20.7%、F1スコアを19.0%に改善する。
  論文  参考訳（メタデータ） (2026-07-06T16:10:25Z)
• Winning the Pruning Gamble: A Unified Approach to Joint Sample and Token Pruning for Efficient Supervised Fine-Tuning [71.30276778807068]
  サンプルプルーニングとトークンプルーニングを戦略的に協調する統合フレームワークを提案する。 Q-Tuningは、トレーニングデータの12.5%しか使用せず、全データSFTベースラインに対する平均38%の改善を実現している。
  論文  参考訳（メタデータ） (2025-09-28T13:27:38Z)
• Task-oriented Embedding Counts: Heuristic Clustering-driven Feature Fine-tuning for Whole Slide Image Classification [1.292108130501585]
  本稿では,クラスタリング駆動型機能微調整法(HC-FT)を提案する。 提案手法はCAMELYON16とBRACSの両方で評価され,それぞれ97.13%,85.85%のAUCが得られた。
  論文  参考訳（メタデータ） (2024-06-02T08:53:45Z)
• Structured Reinforcement Learning for Incentivized Stochastic Covert Optimization [13.440621354486906]
  勾配アルゴリズム(SG)を制御して、盗聴者から局所定常点の推定を隠蔽することができる。 本稿では,局所定常点の推定を盗聴者から隠蔽するために,勾配アルゴリズム(SG)をいかに制御するかを検討する。
  論文  参考訳（メタデータ） (2024-05-13T01:29:48Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• SIMPLE: A Gradient Estimator for $k$-Subset Sampling [42.38652558807518]
  この作業では、フォワードパスの離散$k$-subsetサンプリングに戻ります。 勾配推定器 SIMPLE は, 最先端推定器と比較して, バイアスやばらつきが低いことを示す。 実験結果から,線形回帰を説明・スパースする学習性能が向上した。
  論文  参考訳（メタデータ） (2022-10-04T22:33:16Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)
• Carath\'eodory Sampling for Stochastic Gradient Descent [79.55586575988292]
  本稿では,Tchakaloff と Carath'eodory の古典的な結果から着想を得た手法を提案する。 我々は、測定値の低減を行う降下ステップを適応的に選択する。 これをBlock Coordinate Descentと組み合わせることで、測定の削減を極めて安価に行えるようにします。
  論文  参考訳（メタデータ） (2020-06-02T17:52:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。