論文の概要: LoopCD: Loop-wise Contrastive Decoding for Improving Reasoning in Looped Language Models

• arxiv url: http://arxiv.org/abs/2609.24196v1
• Date: Mon, 21 Sep 2026 07:10:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.112853
• Title: LoopCD: Loop-wise Contrastive Decoding for Improving Reasoning in Looped Language Models
• Title（参考訳）: LoopCD:ループ言語モデルの推論改善のためのループワイドコントラストデコーディング
• Abstract要約: Looped Language Models (LoopLMs) は "latent reasoning" を実行する イテレーション間の不安定な洗練は、推論エラーに関連する局所的な不確実な"ハード"トークンを生成する可能性がある。 提案するLoopCDは,これらのトークンを推論時に介入することにより,LoopLMの推論性能を向上させる。
• 参考スコア（独自算出の注目度）: 15.892420496333068
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Looped Language Models (LoopLMs) perform "latent reasoning" by recursively refining internal latent representations with shared weights, offering a more effective alternative to explicit verbal reasoning. Despite their effectiveness, we find that LoopLMs remain prone to loop instability: unstable refinement across iterations can produce localized uncertain "hard" tokens associated with reasoning errors. To address this, we propose LoopCD, loop-wise contrastive decoding that enhances the reasoning performance of LoopLMs by intervening on these tokens at inference time. Specifically, we exploit the internal dynamics of LoopLMs and contrast the logits from earlier iterations with logits from the last refined iteration to form the final sampling distribution. We find that this strategy is highly efficient, introducing only negligible inference overhead and requiring no additional training, while effectively improving reasoning performance by naturally refining reasoning-critical hard tokens. Extensive experiments show that our method improves the performance of recent representative LoopLMs across various reasoning tasks.
• Abstract（参考訳）: Looped Language Models (LoopLMs) は、内部の潜在表現を共有重みで再帰的に洗練し、明示的な言語推論に代わるより効果的な代替手段を提供する。 繰り返しの不安定な洗練は、推論エラーに関連する局所的な不確実な"ハード"トークンを生み出す可能性がある。 そこで本研究では,LoopLMの推論性能を向上させるために,これらのトークンを推論時に介入することにより,ループワイドコントラストデコーディングを提案する。 具体的には、LoopLMの内部ダイナミクスを活用し、前回の改良イテレーションのロジットと初期イテレーションのロジットを対比し、最終サンプリング分布を形成する。 この戦略は極めて効率的であり、推論のオーバーヘッドを無視し、追加のトレーニングを必要とせず、推論クリティカルなハードトークンを自然に精錬することで推論性能を効果的に向上する。 実験結果から, 提案手法は, 様々な推論タスクにおける最近の代表的なLoopLMの性能向上を図っている。

関連論文リスト

• Think Deep, Speak Once: Relit, A Recursive Latent Implicit Transformer Framework [2.007262412327553]
  本稿では,暗黙的推論を深く,意味的に基礎づけたハイブリッドフレームワークReLITを紹介する。 ReLITはパラメータ幅ではなく、繰り返しの深さで効率的にスケール可能であることを示す。 これらの結果から,パラメータ幅ではなく再帰的な深さで推論能力を効率的に拡張できることが示唆された。
  論文  参考訳（メタデータ） (2026-08-08T12:50:51Z)
• Efficient Test-Time Inference via Deterministic Exploration of Truncated Decoding Trees [68.04613115686509]
  自己整合性は、複数の推論トレースを並列にサンプリングし、投票することで、推論時間のパフォーマンスを向上させる。 そこで本研究では,切り落された標本を伐採木として扱う決定論的復号法であるDLE(Distinct Leafion)を提案する。 DLEは高品質な推論トレースを調査し、数学、コーディング、一般的な推論タスクのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2026-04-22T12:42:03Z)
• LoopRPT: Reinforcement Pre-Training for Looped Language Models [40.95348011001987]
  LoopRPTはLoopLM用に設計された強化事前トレーニングフレームワークである。 複数のモデルスケールでOuroアーキテクチャ上でLoopRPTをインスタンス化する。 その結果、LoopRPTはステップごとの表現品質を一貫して改善することを示した。
  論文  参考訳（メタデータ） (2026-03-20T07:35:38Z)
• Balancing Faithfulness and Performance in Reasoning via Multi-Listener Soft Execution [79.98699884805636]
  Reasoning Execution by Multiple Listeners (REMUL) は多人数の強化学習手法である。 REMULは、推論が他の当事者に従えるかがより忠実になるという仮説に基づいている。 スピーカーは、リスナーにとって明らかな推論を生み出すことで報われます。
  論文  参考訳（メタデータ） (2026-02-18T02:55:55Z)
• Reinforced Efficient Reasoning via Semantically Diverse Exploration [73.41112984160992]
  検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)の推論の強化に有効であることが証明された。 本研究では,LLMのための意味的多様性探索,すなわちROSEによる効率的な推論手法を提案する。 本手法は,意味エントロピーに基づく分岐戦略と$varepsilon$-exploration機構を組み込んだものである。
  論文  参考訳（メタデータ） (2026-01-08T15:56:44Z)
• MRO: Enhancing Reasoning in Diffusion Language Models via Multi-Reward Optimization [66.82303841930752]
  拡散言語モデル (DLMs) は従来の自己回帰型大規模言語モデル (LLMs) に代わる有望な選択肢を提供する。 DLMは、特にデノナイジングステップの数が減少するにつれて、LLMよりも遅れている。 本稿では,マルチリワード最適化 (MRO) 手法を提案する。
  論文  参考訳（メタデータ） (2025-10-24T13:57:59Z)
• A Formal Comparison Between Chain-of-Thought and Latent Thought [32.84174396586435]
  Chain-of-Thought (CoT) は、自然言語の中間ステップを明示的に生成することで、大きな言語モデルで推論を行う。 ループモデルにおける潜在思想は、連続潜在空間で直接動作し、離散言語表現を超えた計算を可能にする。
  論文  参考訳（メタデータ） (2025-09-25T11:27:52Z)
• To CoT or To Loop? A Formal Comparison Between Chain-of-Thought and Looped Transformers [32.84174396586435]
  CoT(Chain-of-Thought)とLooped Transformerは、推論タスクのパフォーマンスを実証的に改善することが示されている。 それぞれの強みと限界を形式的に分析する。
  論文  参考訳（メタデータ） (2025-05-25T17:49:37Z)
• Enhancing Chain-of-Thoughts Prompting with Iterative Bootstrapping in Large Language Models [81.01397924280612]
  大規模言語モデル (LLM) は、ステップ・バイ・ステップ・チェーン・オブ・シークレット (CoT) をデモンストレーションとして組み込むことで、様々な推論タスクにおいて高い効果的な性能を達成することができる。 本稿では,イターCoT (Iterative bootstrapping in Chain-of-Thoughts Prompting) を導入する。
  論文  参考訳（メタデータ） (2023-04-23T13:54:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。