論文の概要: Monitoring latent reasoning in looped language models

• arxiv url: http://arxiv.org/abs/2610.18127v1
• Date: Tue, 13 Oct 2026 10:39:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.593774
• Title: Monitoring latent reasoning in looped language models
• Title（参考訳）: ループ型言語モデルにおける潜時推論のモニタリング
• Abstract要約: ループ言語モデル(LM)はトークン生成毎に1ブロックのレイヤを数回再利用する。 メカニスティック・インタプリタビリティに根ざした検査プロトコルを構築し、4つのファミリーから8つのループのLMを検査する。 本研究は,ループ型言語モデルの安全性と効率的な利用に関する貴重な知見を提供する。
• 参考スコア（独自算出の注目度）: 5.522955605490885
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Looped language models (LMs) reuse one block of layers several times per token generation, promising more latent computation at no additional storage cost. Despite their rising popularity, the analysis of looped LMs is still in its infancy: little is known about whether the iterative transformations actually improve their capabilities, or whether these models remain stable under prompt perturbation. We construct an inspection protocol rooted in Mechanistic Interpretability comprising five diverse lenses. We apply it to examine eight looped LMs from four families. Models differ in many aspects but the key one is whether the prompt is transmitted only within the looped state (carry loops: Ouro, LoopUS) or re-supplied at every iteration (re-read loops: Parcae, and Rec-OLMo & Huginn from the Raven family). The results of our study provide valuable insights concerning safety and efficient use of looped language models.
• Abstract（参考訳）: ループ言語モデル(LM)はトークン生成毎に1ブロックのレイヤを数回再利用する。 繰り返し変換が実際に能力を改善するのか、あるいはこれらのモデルが急激な摂動の下で安定しているのかは、ほとんど分かっていない。 5種類の多彩なレンズからなる機械的解釈可能性に基づく検査プロトコルを構築した。 本研究は,4家系の8つのループ型LMについて検討する。 モデルは多くの点で異なるが、重要な点は、プロンプトがループ状態(キャリアループ:Ouro、LoopUS)内でのみ送信されるか、イテレーション毎に再供給されるか(再読み取りループ:Parcae、RavenファミリーのRec-OLMo & Huginn)である。 本研究は,ループ型言語モデルの安全性と効率的な利用に関する貴重な知見を提供する。

関連論文リスト

• LoopCD: Loop-wise Contrastive Decoding for Improving Reasoning in Looped Language Models [15.892420496333068]
  Looped Language Models (LoopLMs) は "latent reasoning" を実行する イテレーション間の不安定な洗練は、推論エラーに関連する局所的な不確実な"ハード"トークンを生成する可能性がある。 提案するLoopCDは,これらのトークンを推論時に介入することにより,LoopLMの推論性能を向上させる。
  論文  参考訳（メタデータ） (2026-09-21T07:10:28Z)
• DiscoLoop: Looping Discrete Embeddings and Continuous Hidden States for Multi-hop Reasoning [91.94042219655866]
  大規模言語モデルは、Chain-of-Thought(CoT)として中間ステップの外部化を可能にすると、多くの推論タスクにおいて強力なパフォーマンスを達成する 我々は,この課題を,モデルが1つの前方パス内で複数の知識を構成しなければならない代表的タスクである2-ホップ推論を通じて研究する。 本稿では,個別の埋め込みチャネルと連続的な隠れ状態チャネルの両方を連続的に持つループアーキテクチャであるDiscoLoopを提案する。
  論文  参考訳（メタデータ） (2026-07-01T02:32:02Z)
• Scaling Latent Reasoning via Looped Language Models [109.64154923739842]
  事前学習されたループ言語モデル(LoopLM)のファミリーであるOuroを提示し、オープンソース化する。 Ouro は (i) 潜時空間における反復計算, (ii) 学習深度割り当てのためのエントロピー規則化された目的, (iii) 7.7T トークンへのスケーリングによる事前学習段階への推論を構築する。
  論文  参考訳（メタデータ） (2025-10-29T17:45:42Z)
• Are Large Language Models Robust in Understanding Code Against Semantics-Preserving Mutations? [18.52519530244078]
  最大8Bのパラメータを持つ最先端の大規模言語モデルがPythonプログラムを推論できるのか、それとも単純に推測できるのかを評価する。 変数のリネーム、比較式のミラー化、if-elseブランチのスワップ、ループの while への変換、ループアンロールの5つのコード変異を適用します。 以上の結果から,LLMは10%から50%の症例において,欠陥推論に基づいて正しい予測を導出できることがわかった。
  論文  参考訳（メタデータ） (2025-05-15T16:04:25Z)
• Reasoning with Latent Thoughts: On the Power of Looped Transformers [52.84192961524481]
  多くの合成推論問題に対して、$k$層変換器が$L$倍ループしたことが、$kL$層非ループモデルの性能にほぼ一致することを示す。 ループ型および非ループ型モデルは、その有効深さに依存するスケーリングの挙動を示す。
  論文  参考訳（メタデータ） (2025-02-24T18:49:05Z)
• LatentQA: Teaching LLMs to Decode Activations Into Natural Language [72.87064562349742]
  自然言語におけるモデルアクティベーションに関するオープンな疑問に答えるタスクであるLatentQAを紹介する。 本稿では,アクティベーションと関連する質問応答ペアのデータセット上で,デコーダLLMを微調整するLatent Interpretation Tuning (LIT)を提案する。 我々のデコーダはまた、ステレオタイプ付き文のモデルのデバイアス化や世代ごとの感情制御など、モデルを制御するために使用する差別化可能な損失も規定している。
  論文  参考訳（メタデータ） (2024-12-11T18:59:33Z)
• Quark: Controllable Text Generation with Reinforced Unlearning [68.07749519374089]
  大規模言語モデルは、しばしばユーザの期待に合わない振る舞いを学ぶ。 本稿では,(不必要な)特性を定量化する報酬関数を最適化するアルゴリズムQuarkを紹介する。 未学習の毒性、ネガティブな感情、反復について、我々の実験はQuarkが強いベースラインと最先端の強化学習法の両方より優れていることを示している。
  論文  参考訳（メタデータ） (2022-05-26T21:11:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。