論文の概要: Diffusion LLMs can think EoS-by-EoS

• arxiv url: http://arxiv.org/abs/2603.05197v1
• Date: Thu, 05 Mar 2026 14:06:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-06 22:06:11.260773
• Title: Diffusion LLMs can think EoS-by-EoS
• Title（参考訳）: 拡散LDMはEoSをEoSで考えることができる
• Authors: Sarah Breckner, Sebastian Schuster,
• Abstract要約: 拡散モデルはEoS-by-EoS,すなわち,EoSトークンの表現を隠れスクラッチパッドとして利用することを示す。 本研究では,LLaDA1.5,LLaDA2.0-mini,Dream-v0の拡散モデルについて実験を行った。 我々は、EoSトークンの隠れ状態と反ファクト生成の状態をパッチし、生成した出力を反ファクトに頻繁に変更する。
• 参考スコア（独自算出の注目度）: 4.301199871195023
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Diffusion LLMs have been proposed as an alternative to autoregressive LLMs, excelling especially at complex reasoning tasks with interdependent sub-goals. Curiously, this is particularly true if the generation length, i.e., the number of tokens the model has to output, is set to a much higher value than is required for providing the correct answer to the task, and the model pads its answer with end-of-sequence (EoS) tokens. We hypothesize that diffusion models think EoS-by-EoS, that is, they use the representations of EoS tokens as a hidden scratchpad, which allows them to solve harder reasoning problems. We experiment with the diffusion models LLaDA1.5, LLaDA2.0-mini, and Dream-v0 on the tasks Addition, Entity Tracking, and Sudoku. In a controlled prompting experiment, we confirm that adding EoS tokens improves the LLMs' reasoning capabilities. To further verify whether they serve as space for hidden computations, we patch the hidden states of the EoS tokens with those of a counterfactual generation, which frequently changes the generated output to the counterfactual. The success of the causal intervention underscores that the EoS tokens, which one may expect to be devoid of meaning, carry information on the problem to solve. The behavioral experiments and the causal interventions indicate that diffusion LLMs can indeed think EoS-by-EoS.
• Abstract（参考訳）: 拡散LDMは自己回帰LDMの代替として提案されており、特に相互依存的なサブゴールを持つ複雑な推論タスクにおいて優れている。 皮肉なことに、モデルが出力するトークンの数という生成長が、タスクに対する正しい回答を提供するのに必要なものよりもはるかに高い値に設定され、モデルがその応答に終末トークン(EoS)をパットすると、これは特に真実である。 我々は、拡散モデルがEoS-by-EoS,すなわち、EoSトークンの表現を隠れスクラッチパッドとして使用することにより、より難しい推論問題を解くことができると仮定する。 本研究では,LLaDA1.5,LLaDA2.0-mini,Dream-v0の拡散モデルについて実験を行った。 制御されたプロンプト実験では、EoSトークンを追加することでLLMの推論能力が向上することを確認した。 隠れた計算の空間として機能するかどうかをさらに検証するため、EoSトークンの隠れ状態と反ファクト生成の状態とをパッチし、生成した出力を反ファクト生成に頻繁に変更する。 因果的介入の成功は、EoSトークンは意味を欠いていると思われるが、解決すべき問題に関する情報を持っていることを裏付けている。 行動実験と因果介入は、拡散LDMがEoS-by-EoSと考えることができることを示している。

関連論文リスト

• Reasoning with Confidence: Efficient Verification of LLM Reasoning Steps via Uncertainty Heads [104.9566359759396]
  データ駆動の不確実性スコアに基づくステップレベルの推論検証の軽量な代替案を提案する。 本研究は, LLMの内部状態が不確実性を符号化し, 信頼性の高い検証信号として機能することが示唆された。
  論文  参考訳（メタデータ） (2025-11-09T03:38:29Z)
• LingoLoop Attack: Trapping MLLMs via Linguistic Context and State Entrapment into Endless Loops [22.036024483035465]
  我々はLingoLoopを提案する。これはMLLMに過剰に冗長なシーケンスを生成するよう誘導する攻撃である。 トークンのPOSタグがEOSトークンを生成する可能性に強く影響していることが判明した。 隠れ状態の規模を制限し、永続的なループを生成するようモデルに促すジェネレーティブ・パス・プルーニング機構を導入する。
  論文  参考訳（メタデータ） (2025-06-17T13:14:55Z)
• Do Large Language Models Exhibit Spontaneous Rational Deception? [0.913127392774573]
  大規模言語モデル (LLM) は、そのように促されるときの判断に有効である。 しかし、どんな条件で自然に騙されるのか? 本研究は, LLMが生み出す自発誤を, 予め登録した実験プロトコルで評価する。
  論文  参考訳（メタデータ） (2025-03-31T23:10:56Z)
• Beyond Next Token Probabilities: Learnable, Fast Detection of Hallucinations and Data Contamination on LLM Output Distributions [60.43398881149664]
  LLM出力シグナチャの効率的な符号化を訓練した軽量アテンションベースアーキテクチャであるLOS-Netを紹介する。 非常に低い検出レイテンシを維持しながら、さまざまなベンチマークやLLMで優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-03-18T09:04:37Z)
• GAMEBoT: Transparent Assessment of LLM Reasoning in Games [54.49589494014147]
  GAMEBoTは、大規模言語モデルの厳格な評価のために設計されたゲームアリーナである。 我々は,8つのゲームにまたがる17の卓越したLSMをベンチマークし,様々な戦略能力とゲーム特性について検討した。 以上の結果から,LDMに詳細なCoTプロンプトが付与されている場合でも,GAMEBoTは大きな課題となることが示唆された。
  論文  参考訳（メタデータ） (2024-12-18T08:32:53Z)
• Critical Tokens Matter: Token-Level Contrastive Estimation Enhances LLM's Reasoning Capability [53.51560766150442]
  臨界トークンは推論軌道内の要素であり、誤った結果に大きな影響を及ぼす。 本稿では,これらのトークンをロールアウトサンプリングによって識別する新しいフレームワークを提案する。 クリティカルトークンの識別と置換がモデル精度を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-11-29T18:58:22Z)
• Denial-of-Service Poisoning Attacks against Large Language Models [64.77355353440691]
  LLMはDenial-of-Service(DoS)攻撃に対して脆弱で、スペルエラーや非意味的なプロンプトが[EOS]トークンを生成することなく、無限のアウトプットをトリガーする。 本研究では, LLM に対する毒素を用いた DoS 攻撃について提案し, 1 つの毒素を注入することで, 出力長の限界を破ることができることを示した。
  論文  参考訳（メタデータ） (2024-10-14T17:39:31Z)
• Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)
• SH2: Self-Highlighted Hesitation Helps You Decode More Truthfully [9.796854466591942]
  本稿では,大規模言語モデルのより真に復号化を支援するための推論時間法,Self-Highlighted Hesitation (SH2)を提案する。 実験の結果,我々のSH2は,LLMが事実知識を抽出し,幻覚的文脈を識別するのに役立つことが示された。
  論文  参考訳（メタデータ） (2024-01-11T14:09:09Z)
• Large Language Models are Better Reasoners with Self-Verification [48.534270563880845]
  大規模言語モデル(LLM)は、いくつかの自然言語処理タスクにおいて強力な推論能力を示している。 思考の連鎖(CoT)を促進させるLLMは、個別のミスに非常に敏感な、多段階のプロンプトと多段階の予測を必要とする。 また,LLMにも同様な自己検証能力があることを示す。
  論文  参考訳（メタデータ） (2022-12-19T15:51:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。