論文の概要: Beam Search as Test-Time Self-Distillation via Counterfactual Contexts

• arxiv url: http://arxiv.org/abs/2609.37041v1
• Date: Tue, 29 Sep 2026 08:50:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.342296
• Title: Beam Search as Test-Time Self-Distillation via Counterfactual Contexts
• Title（参考訳）: 実測的文脈による試験時間自己蒸留としてのビームサーチ
• Abstract要約: SDFT (Self-Distillation Fine-Tuning) は、言語モデルを独自の教師として機能させる。 本稿では,自己蒸留フレームワークからステアリング信号を抽出するデコード時自己蒸留法を提案する。
• 参考スコア（独自算出の注目度）: 13.653054459848347
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-Distillation Fine-Tuning (SDFT) enables a language model to act as its own teacher: by conditioning on a demonstration, the model produces an implicit reward via pointwise mutual information, which guides on-policy learning without external supervision. However, SDFT operates at training time: it requires gradient updates and access to expert demonstrations, making it inapplicable at inference. We propose test-time self-distillation, a decoding-time method that extracts a steering signal from the self-distillation framework without any parameter updates, reward models, or training data. Our key insight is that counterfactual contexts, i.e. fixed textual templates that hypothetically prime the model for excellent versus poor reasoning, can substitute for the demonstration. The log-odds ratio of a candidate answer under these two counterfactual conditions defines a new reward signal. We derive the optimal KL-regularized policy under this reward, which takes the form of a Gibbs reweighting of the base distribution. Crucially, this reweighting is global: it cannot be decomposed into independent per-token operations without ignoring future trajectory quality. We therefore approximate the target distribution via beam search. Experiments on mathematical reasoning (MATH500), code generation (HumanEval), and graduate-level science QA (GPQA) across multiple model scales show that test-time self-distillation improves over standard sampling, low temperature, beam search and power sampling baselines on average, demonstrating that the self-distillation principle can be operationalized at inference time.
• Abstract（参考訳）: SDFT(Self-Distillation Fine-Tuning)は、言語モデルを自身の教師として機能させることを可能にしている。 しかし、SDFTはトレーニング時に動作し、勾配の更新と専門家によるデモンストレーションへのアクセスを必要とするため、推論では適用できない。 パラメータ更新,報酬モデル,トレーニングデータなしで自己蒸留フレームワークからステアリング信号を抽出するデコード時自己蒸留法を提案する。 我々の重要な洞察は、反事実的文脈、すなわち、優れた推論と劣悪な推論のためにモデルを仮説的に素付ける固定されたテキストテンプレートは、デモに代用できるということである。 これら2つの反ファクト条件下での候補回答の対数比は、新しい報酬信号を定義する。 この報酬の下で最適なKL正規化ポリシを導出し、ベース分布のギブス再重み付けの形を取る。 重要なことに、この再重み付けはグローバルであり、将来の軌道品質を無視することなく、独立した個別の操作に分解することはできない。 したがって、ビームサーチによりターゲット分布を近似する。 複数のモデルスケールにわたる数学的推論(MATH500)、コード生成(HumanEval)、大学院レベルの科学QA(GPQA)の実験は、標準サンプリング、低温、ビームサーチ、パワーサンプリングベースラインを平均してテスト時間自己蒸留が改善し、自己蒸留原理が推論時に動作可能であることを示した。

関連論文リスト

• Retrospective Distillation Attribution via Normalized Response Similarity [23.265137857743156]
  SCOUTは、*syntactic pattern*を候補プロファイルに繰り返し集約し、低コントラストパターンをフィルタし、学生候補距離をカリブレートする。 SCOUTは、モデルウェイト、トークンの確率、過去のチェックポイントなしで、現在のテキストのみを使用して属性と棄権をサポートする。
  論文  参考訳（メタデータ） (2026-09-26T16:14:41Z)
• Test-Time Weak-to-Strong Alignment: Transferring Implicit Rewards from Weak to Strong Flow Models [19.4335297564654]
  テストタイムアライメントはサンプリング中に凍結したモデルを操縦し、タスク固有のガイダンスとサンプル固有のガイダンスを可能にする。 我々は,2組の弱いモデルに報酬関数を持たせるのではなく,監督源を変更することを提案する。 ソースアライメントモデルは、ソースアライメントペアとしてベースと共に保持され、トレーニング報酬を暗黙的でステップワイドなKLアンコール信号として格納する。
  論文  参考訳（メタデータ） (2026-09-05T08:12:49Z)
• On-Policy Self-Distillation with Sampled Demonstrations Reduces Output Diversity [5.35852583397955]
  On-policy self-distillationは,教師と学生の両方に単一モデルを使用することで,強力なパス@1精度を実現する。 ロールアウトの多様性が低下し、pass@k曲線がフラットになるのです。
  論文  参考訳（メタデータ） (2026-06-24T17:59:02Z)
• PriFT: Prior-Support Guided Supervised Fine-Tuning [74.65198014829393]
  Supervised Fine-tuning (SFT) は、下流タスク適応のための効率的なアプローチである。 SFTはトークン単位で固定されたデモトークンに適合する。 凍結した事前訓練参照からトークン重みを導出し、微調整の影響を受けない安定した再重み付け信号を得るPriFTを提案する。
  論文  参考訳（メタデータ） (2026-06-08T12:14:06Z)
• Incentivizing LLMs to Self-Verify Their Answers [22.387551134333084]
  本稿では,大規模言語モデルにインセンティブを与え,自己検証を行うフレームワークを提案する。 我々はQwen2.5-Math-7BとDeepSeek-R1-Distill-Qwen-1.5Bに基づいて自己検証モデルを訓練する。 複数の数学的推論ベンチマークの実験は、我々のモデルがトレーニング後の性能を改善するだけでなく、効果的なテスト時間スケーリングを可能にすることを示している。
  論文  参考訳（メタデータ） (2025-06-02T06:54:29Z)
• Continuous Visual Autoregressive Generation via Score Maximization [69.67438563485887]
  本稿では,ベクトル量子化なしで直接視覚的自己回帰生成を可能にする連続VARフレームワークを提案する。 このフレームワークの中で必要なのは、厳密な適切なスコアを選択し、最適化のトレーニング目標として設定することだけです。
  論文  参考訳（メタデータ） (2025-05-12T17:58:14Z)
• Distill Not Only Data but Also Rewards: Can Smaller Language Models Surpass Larger Ones? [58.80794196076336]
  大型言語モデル(LLM)の蒸留は、教師による微調整(SFT)を通して教師モデルの応答を伝達するのが一般的である。 本稿では, 応答と報酬の両方を伝達する新しい蒸留パイプラインを提案する。 本手法は,教師と生徒の両方の反応の固有構造を利用した自己教師機構によって擬似回帰を生成する。
  論文  参考訳（メタデータ） (2025-02-26T20:50:11Z)
• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。