論文の概要: LEV: Thinking Fast and Deep with Looped Decision Models

• arxiv url: http://arxiv.org/abs/2610.20951v1
• Date: Wed, 14 Oct 2026 21:20:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.07629
• Title: LEV: Thinking Fast and Deep with Looped Decision Models
• Title（参考訳）: LEV:ループ決定モデルで素早く深く考える
• Abstract要約: トークンを生成する代わりに、そのレイヤをループで再実行することで、より深く考える決定モデルであるLEVを紹介します。 3つのループのバックボーンでは、精度は重みの深さとともに上昇する。 ロックされたテストセットでは、1.4Bと3Bのモデルは密度の高い(ループなし)モデルよりも5.4から8.8ポイント正確である。
• 参考スコア（独自算出の注目度）: 20.23752970123748
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decision models answer typed questions about an input with one probability per option, computed in a single forward pass without generating text. Like the fast System 1 of dual-process theory, they answer at once, but their depth is fixed at training time, so they spend the same computation on easy and hard questions. Models that reason in generated text can think longer, but they pay for every extra step in decoded tokens. We present LEV, a decision model that thinks deeper by rerunning its layers in a loop instead of generating tokens. LEV builds on a language model pretrained as a loop, reads the options after every loop step and trains all steps jointly, so one checkpoint can answer at any depth. On three looped backbones, accuracy rises with depth on the same weights, mostly on hard questions, and a 2.6B LEV goes from 63.2% at depth one to 76.2% at depth four on JevBench. On-demand depth, set per question by a small stopper with a threshold fitted on unlabelled requests, saves 15% to 24% of the computation at a cost of under one accuracy point, level with or slightly above a fixed mix of depths. On a locked test set, the 1.4B and 3B models are 5.4 to 8.8 points more accurate than dense (non-looped) models and cascades of the same latency below 50 ms.
• Abstract（参考訳）: 決定モデルは、テキストを生成することなく単一のフォワードパスで計算される、オプション毎に1つの確率で入力に関する型付き質問に答える。 デュアルプロセス理論の高速システム1と同様に、彼らは一度に答えるが、その深さはトレーニング時に固定されるため、簡単で難しい問題に同じ計算を費やす。 生成されたテキストの理由となるモデルは、より長く考えることができるが、デコードされたトークンの余分なステップごとに支払う。 トークンを生成する代わりに、そのレイヤをループで再実行することで、より深く考える決定モデルであるLEVを紹介します。 LEVはループとして事前訓練された言語モデルの上に構築され、ループの各ステップの後にオプションを読み、すべてのステップを共同でトレーニングする。 3つのループのバックボーンでは、大半が難しい問題で同じ重さで精度が上昇し、2.6BのEVは深さ1で63.2%から深さ4で76.2%に上昇する。 オンデマンドの深さは、1つの精度ポイント以下で計算の15%から24%を節約する。 ロックされたテストセットでは、1.4Bと3Bのモデルは密度の高い(ループなし)モデルや50ms以下で同じレイテンシのカスケードよりも5.4から8.8ポイント正確である。

関連論文リスト

• SanSi: A Looped Typed Decision Model for System 1.5 Thinking [25.412761430847365]
  我々は、1つのパスと生成された推論の間に何が存在するかを研究する。 本研究では,事前学習したループ言語モデルを型決定モデルに変換するSanSiを提案する。 59のソースから10,027のテスト判断で、SanSiは72.0%の精度に達した。
  論文  参考訳（メタデータ） (2026-10-06T04:28:22Z)
• AdaLoop: Adaptive-Depth Latent Reasoning for Audio Language Models [0.0]
  我々はAdaLoopを紹介した。AdaLoopは軽量のリカレントモジュールで、与えられたオーディオ-クエクションペアが要求する遅延改善ステップの数を学習する。 AdaLoopは平均精度を2.9から3.8ポイント上げ、知覚量の多いサブタスクでは最大となる。
  論文  参考訳（メタデータ） (2026-10-03T11:27:41Z)
• Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses [6.778374627376906]
  System-1決定モデルは、クラス確率で単一のフォワードパスでそのような質問に答える。 オープンウェイト (Laya) モデルとホスト (Jev) System-1 モデルとのペア評価を行った。
  論文  参考訳（メタデータ） (2026-10-01T05:57:14Z)
• Knowing When Thinking Is Not Enough: Teaching Small Reasoning Models to Reason Beyond Their Parametric Knowledge [63.752287291668786]
  テスト時間計算のスケールは、言語モデル推論を改善する強力な方法である。 自己閉じ込めは、既に現在の状態から到達可能な解に確率質量を大半を凝縮することを示す。 選択的なクエリフレームワークであるFlyByを導入し、まず4Bと8Bの変種をトレーニングする。
  論文  参考訳（メタデータ） (2026-09-28T05:07:24Z)
• Trading Depth for Time in Recurrent Transformers [61.2977190038771]
  リカレント・トランスフォーマーは時間的繰り返しによって計算深度を増大させる。 追加の計算は、より時間的なステップやより深い物理深度に費やされているか? 本稿では,復号化時に語彙単位のバックボーンフォワードパスを保持するLRT(Latent Recurrent Transformer)を用いて,この問題を考察する。
  論文  参考訳（メタデータ） (2026-09-18T10:34:51Z)
• Think-at-Hard: Selective Latent Iterations to Improve Reasoning Language Models [22.525318796588568]
  シンク・アット・ハード(Think-at-Hard, TaH)は、ハードトークンでのみ深く反復する動的潜在思考法である。 TaHは5つの挑戦的なベンチマークで推論のパフォーマンスを向上する。
  論文  参考訳（メタデータ） (2025-11-11T18:57:02Z)
• Catch Your Breath: Adaptive Computation for Self-Paced Sequence Production [55.76222360698305]
  我々は,言語モデルが入力トークン毎に使用する計算ステップの数を動的かつ自律的に拡張できるような,教師付きトレーニング目標のクラスを探索する。 任意のトークンに対して、モデルは don't know> 出力を出力することで、追加の計算ステップを要求できる。 CYBモデルでは精度が向上し,トークンレベルの複雑性とコンテキストに処理時間を適用することができる。
  論文  参考訳（メタデータ） (2025-10-13T21:07:05Z)
• The Price of a Second Thought: On the Evaluation of Reasoning Efficiency in Large Language Models [54.88805865447848]
  モデルが全体の効率を向上し,問題の難しさが効率に影響を及ぼすことを示す。 インストラクションモデルが簡単なアウトラインをドラフトし,思考モデルがそれを拡張する,シンプルな2段階パイプラインであるCOTHINKを提案する。 GSM8K、MATH500、AIME24では、COTHINKはトークンの使用量を21.1%削減し、4つの思考モデルの精度を維持し、強力な効率のベースラインと競争し続ける。
  論文  参考訳（メタデータ） (2025-05-28T06:24:45Z)
• Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach [70.44265766483633]
  本稿では,潜在空間における暗黙的推論によるテスト時間計算のスケールアップが可能な,新しい言語モデルアーキテクチャについて検討する。 我々のモデルは繰り返しブロックを繰り返すことで動作し、テスト時に任意の深さに展開する。 結果のモデルが推論ベンチマークの性能を劇的に改善できることが示される。
  論文  参考訳（メタデータ） (2025-02-07T18:55:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。