論文の概要: A Heckler in the Hidden State: Correctness Signals in Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2609.36783v2
• Date: Wed, 30 Sep 2026 11:15:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.191387
• Title: A Heckler in the Hidden State: Correctness Signals in Diffusion Language Models
• Title（参考訳）: 隠れ状態のヘックラー:拡散言語モデルにおける正確性信号
• Abstract要約: 拡散モデルは、部分的にマスキングされたシーケンスを繰り返し更新することでコードを生成する。 我々は、それらの内部アクティベーションがコード正しさを符号化し、その情報が生成を改善するかどうかを問う。
• 参考スコア（独自算出の注目度）: 4.165512410177194
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion language models generate code by repeatedly updating a partially masked sequence. We ask whether their internal activations encode code correctness and whether that information can improve generation. Across six diffusion models, linear probes distinguish passing from failing attempts, with the strongest reads generally appearing beyond the early layers. Controls using small semantic mutations support a connection to correctness rather than surface style alone. In comparisons with model confidence, probe point estimates offer no consistent advantage. Adding a probe-derived direction to the residual stream does not yield a dependable improvement in the tested steering settings, while the opposite direction degrades performance. We distinguish these observations from claims about statistical significance or a general inability to steer. Supplementary methods, archived results, and code document the tested interventions and the limits of their statistical calibration and reproducibility.
• Abstract（参考訳）: 拡散言語モデルは、部分的にマスキングされたシーケンスを繰り返し更新することでコードを生成する。 我々は、それらの内部アクティベーションがコード正しさを符号化し、その情報が生成を改善するかどうかを問う。 6つの拡散モデルにおいて、線形プローブは失敗した試みの通過を区別し、最も強い読み出しは一般に初期の層を越えて現れる。 小さな意味突然変異を用いた制御は、表面スタイルのみでなく、正確性への接続をサポートする。 モデル信頼度と比較すると、プローブ点推定は一貫した優位性を与えない。 残留ストリームにプローブ由来の方向を付加しても、試験されたステアリング設定の信頼性は向上せず、反対方向は性能が低下する。 我々はこれらの観測を、統計的重要性に関する主張や、ステアリングが不可能な一般的な主張と区別する。 補助的な方法、アーカイブされた結果、およびテストされた介入とそれらの統計的キャリブレーションと再現性の限界を文書化するコード。

関連論文リスト

• Sample-Adaptive Latent Rewards for Uncertainty-Guided Diffusion Post-Training [51.18425726646089]
  我々は、画像とビデオの拡散モデルのための統合潜在空間フレームワークであるtextscSUREを提案する。 報酬分布を学習し、信頼性を直接利用して、密集したポストトレーニングをガイドする。 textscSURE-REFLは評価手法の中で最も高いVBench品質、セマンティック、総得点を達成する。
  論文  参考訳（メタデータ） (2026-08-06T14:55:42Z)
• The Knowing-Saying Gap: When Probes See Errors that Confidence Misses [20.46211358172975]
  線形プローブは、ほぼ完全精度で言語モデルの劣化コンテキストを検知するが、信頼性の高い故障予測にはならない。 マルチホップ算術連鎖全体において、汚職を検出するプローブは最終解の正しさについて非形式的であることが判明した。 リアルタイムモニタとして、プローブベースの介入は、シャープにモデル化され、エラータイプに依存します。
  論文  参考訳（メタデータ） (2026-07-21T12:13:10Z)
• Learning Uncertainty from Sequential Internal Dispersion in Large Language Models [52.29267172760918]
  不確実性推定は、大規模言語モデルにおける幻覚を検出するための有望なアプローチである。 最近の手法は一般に不確実性を推定するために内部状態のモデルに依存する。 本稿では,教師付き幻覚検出フレームワークであるシークエンシャル内部変数表現(SIVR)を提案する。
  論文  参考訳（メタデータ） (2026-04-17T06:31:29Z)
• Validating Interpretability in siRNA Efficacy Prediction: A Perturbation-Based, Dataset-Aware Protocol [2.167633131083169]
  衛生地図は、設計上の有効性予測としてますます使われている。 構成整合制御よりも高信頼度位置の変異がモデル出力を変化させるかどうかを検査する,直感的信頼度のためのプロトコルを提案する。 以上の結果から,サリエンシ検証は,説明誘導治療設計に不可欠な事前デプロイの実践として確立された。
  論文  参考訳（メタデータ） (2026-02-09T19:27:42Z)
• Autoregressive, Yet Revisable: In Decoding Revision for Secure Code Generation [17.125957722393327]
  Stream of Revision(ストリーム・オブ・リビジョン)は、モノトニックストリームから動的で自己修正的な軌道へのコード生成を高めるパラダイムシフトである。 モデルがシームレスにバックトラックし、単一のフォワードパス内で自身の履歴を編集できるように、特定のアクショントークンを導入します。
  論文  参考訳（メタデータ） (2026-02-01T12:22:46Z)
• Corrective Diffusion Language Models [12.724100711773593]
  拡散言語モデルにおいて,不正確なトークンに低い信頼度を割り当て,正しいコンテンツを保持しながら反復的にそれらを洗練する能力として定義される補正行動について検討する。 本稿では,目に見える不正確なトークンを明示的に監視し,誤り認識の信頼性と目的の洗練を可能にする,修正指向のポストトレーニング原理を提案する。
  論文  参考訳（メタデータ） (2025-12-17T17:04:38Z)
• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)
• Probing Pre-trained Language Models on Code Changes: Insights from ReDef, a High-Confidence Just-in-Time Defect Prediction Dataset [0.0]
  本稿では,22の大規模C/C++プロジェクトから得られた関数レベル修正の信頼性の高いベンチマークであるReDefを紹介する。 欠陥ケースはコミットの反転によって固定され、クリーンケースはポストホック履歴チェックによって検証される。 このパイプラインは3,164の欠陥と10,268のクリーンな修正をもたらし、既存のリソースよりも信頼性の高いラベルを提供する。
  論文  参考訳（メタデータ） (2025-09-11T07:07:11Z)
• Self-Conditioned Generative Adversarial Networks for Image Editing [61.50205580051405]
  Generative Adversarial Networks (GAN) はバイアスの影響を受けやすい。 我々は、このバイアスが公平性だけでなく、分布のコアから逸脱する際の潜在トラバース編集手法の崩壊に重要な役割を果たしていると論じる。
  論文  参考訳（メタデータ） (2022-02-08T18:08:24Z)
• Tracking the risk of a deployed model and detecting harmful distribution shifts [105.27463615756733]
  実際には、デプロイされたモデルのパフォーマンスが大幅に低下しないという、良心的なシフトを無視することは理にかなっている。 我々は,警告を発射する有効な方法は,(a)良性な警告を無視しながら有害なシフトを検知し,(b)誤報率を増大させることなく,モデル性能の連続的なモニタリングを可能にすることを論じる。
  論文  参考訳（メタデータ） (2021-10-12T17:21:41Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。