論文の概要: A Unified Per-Token Gating Family for On-Policy Distillation: FKL/RKL Mixing with Multi-Channel and Bias Coefficients

• arxiv url: http://arxiv.org/abs/2609.11768v1
• Date: Thu, 10 Sep 2026 16:22:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.444701
• Title: A Unified Per-Token Gating Family for On-Policy Distillation: FKL/RKL Mixing with Multi-Channel and Bias Coefficients
• Title（参考訳）: オンライン蒸留のための統一型単座ゲーティングファミリー:FKL/RKLとマルチチャネルおよびバイアス係数の混合
• Abstract要約: オンライン知識蒸留(OPD)の標準技術として、前方/逆KL損失の一括ゲーティングが採用されている。 EOPDとToDiはそれぞれ1つのゲーティング信号と1つのゲーティング方向を固定し、両者を直接比較したことはない。 EOPDとToDiの方向整列プロキシが1次元(1次元)制約として現れる4係数パラメタライゼーション_t = sigma(a * h_t + b * u(x) + c + d * gap_t)を導入する。
• 参考スコア（独自算出の注目度）: 6.033644084569457
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Per-token gating of forward/reverse KL losses has become a standard technique for on-policy knowledge distillation (OPD), but existing methods such as EOPD (Jin et al., 2026) and ToDi (Jung et al., 2025) each fix a single gating signal and a single gating direction, and the two have never been compared directly. We introduce a four-coefficient parameterization lambda_t = sigma(a * h_t + b * u(x) + c + d * gap_t) in which direction-aligned proxies of EOPD and ToDi appear as one-dimensional (1D) restrictions, and which adds multi-channel composition and an explicit bias as further degrees of freedom. On TweetEval (Barbieri et al., 2020) emotion and hate, with a Qwen3-32B teacher and a Qwen3-4B student, configurations in the full family reach higher accuracy than the matched-magnitude single-channel (entropy-only / gap-only) 1D restrictions in 33 of 36 comparable cells, and a 26-cell mean-match isolation experiment places dynamic gating ahead of effective-KL-matched static baselines in 19 of 26 cells. Because cells share training data, models, and parameter substructure, we report both counts as exploratory aggregate directional evidence rather than as independent hypothesis tests. Targeted three-seed paired replications of the nine headline comparisons singled out by that sweep -- including a third task, offensive -- are directionally consistent, but individually smaller than the single-seed estimates and not significant at n=3. We therefore present the parameterization primarily as a shared coordinate system for comparing per-token gating designs in short-output classification OPD.
• Abstract（参考訳）: EOPD (Jin et al , 2026) やToDi (Jung et al , 2025) といった既存の手法では, 1つのゲーティング信号と1つのゲーティング方向をそれぞれ固定しており, 両者を直接比較することはなかった。 EOPDとToDiの方向整列プロキシが1次元(1次元)制約として現れる4係数パラメータ化 lambda_t = sigma(a * h_t + b * u(x) + c + d * gap_t) を導入する。 TweetEval(Barbieri et al , 2020)では、Qwen3-32Bの教師とQwen3-4Bの学生の感情と憎悪について、36の細胞のうち33の細胞において、一致したマグニチュードのシングルチャネル(エントロピーのみ/ギャップのみ)の1D制限よりも、フルファミリーの構成が精度が高く、26の細胞のうち26の細胞の平均マッチ分離実験では、有効KLマッチングされた静的ベースラインよりも、動的に進行している。 細胞は、トレーニングデータ、モデル、パラメータのサブ構造を共有しているため、それぞれが独立した仮説テストではなく、探索的な集合的な方向性の証拠であると報告する。 第3のタスクを含む第3のタスクを含む9つのヘッドライン比較を対象とする3シードペアレプリケーションは、方向整合性があるが、n=3で有意ではない1シードの見積よりも個別に小さい。 したがって、パラメータ化は主に、短出力分類OPDにおける一点ごとのゲーティング設計を比較するための共有座標系として提案する。

関連論文リスト

• Scaling-Score Conformal Prediction for Multi-Target Regression [0.42970700836450476]
  マルチターゲット回帰は、複数の関連する出力を同時に予測するモデルを必要とする。 モデルに依存しないスケーリングスコアコンフォメーション法(コンポーネント単位の絶対残差のみを要求する)を提案する。
  論文  参考訳（メタデータ） (2026-09-15T12:23:57Z)
• SCOPE-OPSD: Fisher-Conditioned Privileged Subspaces for On-Policy Self-Distillation [22.56867206175605]
  SCOPE-OPSDは、特権教師の残余を冷凍ランク64因子に投影する。 OPSDがすでに必要としているフォワードを再利用し、ロールアウトも推論時モジュールも追加しない。 Qwen3-1.7B、4B、8Bの完全な25/50/75/100ステップの軌道は、Structuredは純粋なOPSD以下ではない。
  論文  参考訳（メタデータ） (2026-09-11T08:33:52Z)
• Exact Degeneracy Under Balanced k-Shot Sampling:Consequences for Small-Sample Discriminant Analysis on LLM Embeddings [0.0]
  そこで本研究では,k-shotサンプリングのバランスが,小さめの判別式推定器群において,正確かつ証明可能な縮退を誘導することを示した。 次に,凍結埋込に関する少数ショットテキスト分類において,Kernelgression修復フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2026-09-09T08:13:54Z)
• Feature Priming in Online Linear Regression: Sparse-Regret Lower Bounds and a Tight Univariate Rate [47.36630149538994]
  高次元のオンライン予測では、最良の予測子はいくつかの機能にのみ依存する可能性があるため、後悔は周囲の次元ではなく、疎らさでスケールすべきである。 WarmuthとAmidはCOLT 2023で、これらの3つのルールのいずれかが競合するオンライン後悔の保証を認めているかどうかを尋ねた。 安価なニュアンスは、リフィットが真の予測座標を過度に重くする原因となる。
  論文  参考訳（メタデータ） (2026-08-18T09:32:03Z)
• Measuring the Symmetry--Data Exchange Rate [0.2538209532048867]
  同一の軌道サイズと一致した計算値を持つ間違った群制御は制約を伴わないよりも悪いことを示す。 相対交換率beta_diff = 1.28は、理論ブートストラップ1.0と符号と桁違いに一致している。 手法的貢献 -- 共有拡散の欠点をキャンセルする相対レート推定器、間違ったグループ制御、および予め特定された失敗分類 - は、強度をパラメータ化できる帰納バイアスに転送される。
  論文  参考訳（メタデータ） (2026-05-31T08:17:40Z)
• The Matching Principle: A Geometric Theory of Loss Functions for Nuisance-Robust Representation Learning [0.5854803320592717]
  線形ガウスモデル (Thm.A) における最適性を証明し, 展開のドリフトをゼロにする2次ペナルティに対する範囲被覆の必要性 (Thm.G) を示す。 13ブロック(MLからQwen2.5-7Bまで)のテストは、幾何と展開のドリフトに対する等方性対間違った方向の罰則と一致した。 Sigma_taskを推定し、Sigmaにマッチし、コントロールを実行し、タスクとジオメトリを別々にレポートする。
  論文  参考訳（メタデータ） (2026-05-21T17:53:28Z)
• Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
  テキスト検出器は、事前訓練された典型軸を増幅する。 タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。 RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
  論文  参考訳（メタデータ） (2026-05-20T19:08:38Z)
• Entropy Across the Bridge: Conditional-Marginal Discretization for Flow and Schrödinger Samplers [68.9946633641494]
  フローマッチングとシュルディンガーブリッジは確率を定義するが、その推論格子は通常一点拡散から受け継がれる。 終端条件付き橋梁形状を境界流の進化から分離し, 橋梁を識別する条件付きエントロピーレートを導出する。 EDM/CIFAR-10では、エントロピックな時間分散は5段階のFID(186.3 pm 4.0対200.5 pm 2.9対cosineの238.0 pm 5.3)が最適である。
  論文  参考訳（メタデータ） (2026-05-15T16:11:10Z)
• The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs [52.709361620508595]
  ListOPDは、パラメータの5分の1で8B-SFTベースラインで、学生をドメイン内に持ち込む。 Amazon Fashionでは、3つの事前登録テスト — 細粒度崖間隔テスト、小さなクリップのクロス予測 — がロックされた予測ウィンドウ内に落下し、グリッド解像度以下のクローズドフォーム予測に一致する小さなクリップ値が設定されている。
  論文  参考訳（メタデータ） (2026-05-09T06:48:00Z)
• Departures: Distributional Transport for Single-Cell Perturbation Prediction with Neural Schrödinger Bridges [51.83259180910313]
  遺伝子機能解析における大きなボトルネックは、単細胞データの未成熟の性質である。 我々は、SB(Schrdinger Bridge)を近似して、単セル摂動データに対処する。 本モデルは,異種単一セル応答を効果的に捉え,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2025-11-17T08:27:13Z)
• Ensemble Threshold Calibration for Stable Sensitivity Control [0.0]
  本稿では,数千万組の幾何対もの幾何に対して,過度に分散した正確なリコールを実現するエンド・ツー・エンドのフレームワークを提案する。 我々のアプローチは、小さなエラーで常にリコールターゲットにヒットし、他のキャリブレーションと比較して冗長な検証を減らし、単一のTPU v3コア上でエンドツーエンドで実行します。
  論文  参考訳（メタデータ） (2025-10-02T15:22:28Z)
• Optimal Multi-Distribution Learning [88.3008613028333]
  マルチディストリビューション学習は、$k$の異なるデータ分散における最悪のリスクを最小限に抑える共有モデルを学ぶことを目指している。 本稿では, (d+k)/varepsilon2の順に, サンプルの複雑さを伴って, ヴァレプシロン最適ランダム化仮説を導出するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-08T16:06:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。