論文の概要: TIPS: A Tiny Inference-time Policy for Scaling in Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2610.22099v1
• Date: Thu, 15 Oct 2026 15:46:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.168819
• Title: TIPS: A Tiny Inference-time Policy for Scaling in Diffusion Language Models
• Title（参考訳）: TIPS: 拡散言語モデルのスケーリングのための微妙な推論時間ポリシー
• Abstract要約: 仮面拡散言語モデルは推論時間の選択を公開し、各ノイズが通過した後にその位置が可視になる。 我々は、$textbfT$iny $textbfI$nference-time $textbfP$olicy for $textbfS$calingを示す。 TIPSは、基盤となる言語モデルを凍結させながら、アンマスキーとリマスキーの両方を学ぶ。
• 参考スコア（独自算出の注目度）: 16.021274040800673
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked diffusion language models expose an inference-time choice: which positions become visible after each denoising pass. Many existing decoding methods use hand-designed rules or require visibility to grow monotonically. We present a $\textbf{T}$iny $\textbf{I}$nference-time $\textbf{P}$olicy for $\textbf{S}$caling ($\textbf{TIPS}$), an approximately $600$K-parameter controller that learns both unmasking and remasking while keeping the underlying language model frozen. TIPS uses visibility-aware confidence features and a shallow transformer to select which tokens should be visible, while a fixed schedule controls the expected visible fraction. We train the controller through supervised warmup followed by reinforcement learning from terminal correctness rewards. On GSM8K and MATH-500 with LLaDA-8B-Instruct, the full-canvas and two-block TIPS variants achieve $58.46\%$ and $57.97\%$ micro-averaged accuracy at a budget of $32$ decoder evaluations, exceeding the strongest baseline in our main comparison by $12.1$ and $11.6$ percentage points, respectively. Both variants are trained at a budget of $32$ evaluations and remain competitive at higher budgets without retraining. These results demonstrate that learning when to reveal and reconsider tokens can improve the accuracy-compute trade-off without updating the decoder backbone.
• Abstract（参考訳）: 仮面拡散言語モデルは推論時間の選択を公開し、各ノイズが通過した後にその位置が可視になる。 多くの既存の復号法は手書きのルールを使うか、単調に成長するために可視性を必要とする。 以下に示すのは$\textbf{T}$iny $\textbf{I}$nference-time $\textbf{P}$olicy for $\textbf{S}$caling ($\textbf{TIPS}$, 約600ドルのパラメータコントローラである。 TIPSは、可視性を考慮した信頼性機能と浅いトランスフォーマーを使用して、どのトークンを見えるかを選択し、固定スケジュールは期待される可視率を制御する。 教師付きウォームアップを通して制御器を訓練し、その後端末の正当性報酬から強化学習を行う。 LLaDA-8B-InstructによるGSM8KとMATH-500では、フルキャンバスと2ブロックのTIPSは、それぞれ$58.46\%と$57.97\%のマイクロ平均精度を32ドルのデコーダ評価で達成し、主な比較では$12.1と$1.6のパーセンテージで最強のベースラインを超えた。 どちらのモデルも32ドルの予算で訓練され、再訓練せずにより高い予算で競争力を維持する。 これらの結果から,デコーダのバックボーンを更新することなくトークンの公開と再検討のタイミングを学習することで,精度の高いトレードオフを実現できることが示された。

関連論文リスト

• Length-Adaptive Decoding for Masked Diffusion Machine Translation [2.797813058568041]
  本稿では,平均的な予測エントロピーにより候補対象キャンバスをスコアするトレーニング不要長セレクタであるEntropy-Valley(EV)を紹介する。 EVは64.9%、65.3%、COMET-22の33.0%をEn$to$Zh、Zh$to$En、En$to$Deで回収する。
  論文  参考訳（メタデータ） (2026-08-23T08:04:56Z)
• Pattern-Derived Visual Swarm Games: Multi-Scale Drone-Vision States for Interception and Sustainability Audits [0.2864713389096699]
  ドローンビジョンのアノテーションストリームを,物理的なドローンを制御することなく,仮想球技状態に変換する。 決定論的プローブは、有界能力ベクトル、画像空間形成、有限ゼロサムペイオフ、人間の可読性オーバーレイを生成する。 監査は6時間6warm$から32時間32ドル32ドルまでスケールし、ストック、疲労、適応、露出、ストレス、予算、データ成長、モデル改善、エントロピー予算状態変数を繰り返すマルコフ層を追加する。
  論文  参考訳（メタデータ） (2026-07-08T02:30:15Z)
• Latent Phase-Shift Rollback: Inference-Time Error Correction via Residual Stream Monitoring and KV-Cache Steering [4.032680910442999]
  大規模な言語モデルは、世代中頃の保存不可能な推論エラーを犯す。 我々は、$textbfLatent Phase-Shift Rollback$ (LPSR)を紹介する。 各生成段階において、臨界層リクリットで残留流をモニタリングし、コサイン相似性$+$エントロピー二重ゲートを介して急激な方向逆転(位相シフト)を検出する。 微調整、勾配計算、追加のフォワードパスは不要である。
  論文  参考訳（メタデータ） (2026-04-20T17:53:33Z)
• Self-Calibrating Language Models via Test-Time Discriminative Distillation [18.46710400838861]
  大規模言語モデル(LLM)は、しばしば間違って答える質問に対して体系的に過度に信頼されている。 我々は、テスト時間トレーニング(TTT)パイプラインである$textbfSECL$ ($textbfSE$lf-$textbfC$alibrating $textbfL$anguage Modelsを紹介します。
  論文  参考訳（メタデータ） (2026-03-18T13:28:50Z)
• CarBoN: Calibrated Best-of-N Sampling Improves Test-time Reasoning [62.56541355300587]
  本稿では,高逆推論経路に向けてモデルを適応的に修正する一般的なテスト時間校正フレームワークを提案する。 本フレームワークでは,まず解空間を探索し,次にロジットの校正を学習する二相法であるCarBoNを提案する。 MATH-500とAIME-2024の実験では、CarBoNは効率を向上し、同じ精度に達するために最大4倍のロールアウトが可能である。
  論文  参考訳（メタデータ） (2025-10-17T14:04:37Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• Training Superior Sparse Autoencoders for Instruct Models [16.3663776969074]
  そこで本研究では,インストラクションモデルに適した新しいトレーニング手法を提案する。 $textitFAST$は、トレーニングプロセスとインストラクションモデルの特徴的なデータ分散とアクティベーションパターンを調整します。 機能解釈可能性において、$textitFAST$は、Llama3.2-3B-Instructでは、$textitBT(P)$と$textitBT(F)$に対して$7.0%$と$10.2%$に対して、最高値で21.1%$である。
  論文  参考訳（メタデータ） (2025-06-09T12:23:34Z)
• FLARE: Robot Learning with Implicit World Modeling [87.81846091038676]
  $textbfFLARE$は、予測潜在世界モデリングをロボットポリシー学習に統合する。 $textbfFLARE$は最先端のパフォーマンスを実現し、これまでのポリシー学習のベースラインを最大26%上回っている。 この結果は、暗黙の世界モデリングと高周波ロボット制御を組み合わせた汎用的でスケーラブルなアプローチとして$textbfFLARE$を確立した。
  論文  参考訳（メタデータ） (2025-05-21T15:33:27Z)
• Scaling Embedding Layers in Language Models [61.939921364422936]
  $SCONE$は入力埋め込み層を拡張して言語モデルのパフォーマンスを向上させる新しいメソッドである。 SCONE$は、n-gramの頻繁なセットに埋め込みを導入しながら、元の語彙を保持します。 これらの埋め込みは、各入力トークンに対してコンテキスト化された表現を提供し、トレーニング中に別のモデルで学習する。 $SCONE$は、n-gram埋め込みの数を増やし、それらを学ぶために使用するモデルをスケーリングする、という2つの新しいスケーリング戦略を可能にします。
  論文  参考訳（メタデータ） (2025-02-03T18:59:32Z)
• Improving Robustness and Generality of NLP Models Using Disentangled Representations [62.08794500431367]
  スーパービジョンニューラルネットワークはまず入力$x$を単一の表現$z$にマップし、次に出力ラベル$y$にマッピングする。 本研究では,非交叉表現学習の観点から,NLPモデルの堅牢性と汎用性を改善する手法を提案する。 提案した基準でトレーニングしたモデルは、広範囲の教師付き学習タスクにおいて、より堅牢性とドメイン適応性を向上することを示す。
  論文  参考訳（メタデータ） (2020-09-21T02:48:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。