論文の概要: Extending Reasoning in Typed Decision Models via Looping

• arxiv url: http://arxiv.org/abs/2611.07736v1
• Date: Thu, 05 Nov 2026 09:46:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.643394
• Title: Extending Reasoning in Typed Decision Models via Looping
• Title（参考訳）: ループ化による型決定モデルの推論の拡張
• Abstract要約: レイヤのブロックをループすることは、パラメータを追加することなく、遅延空間でこの計算を提供する。 このようなループは、意思決定モデルと一緒にトレーニングすることで役立ちます。 提案手法であるRELOADでは,プリトレーニング済みのエンコーダやデコーダを中間ブロック上に減衰ループで微調整し,ライトウェイトコントローラが各入力に対して適応的にパス数を選択する。
• 参考スコア（独自算出の注目度）: 41.889815875045684
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Typed decision models choose among a fixed set of answer options in a single forward pass, so unlike generative language models they cannot spend more test-time compute on hard inputs by generating more tokens. Looping a block of layers offers this compute in latent space without adding parameters, but prior work found no gain from loops retrofitted into conventionally pretrained models. We show that such loops help when trained together with the decision model. Our method, RELOAD (retrofitted loops for adaptive decisions), fine-tunes a pretrained encoder or decoder with a damped loop over its middle block and a lightweight controller picks the number of passes adaptively for each input. Across six models from 0.4B to 4B parameters, looping improves both accuracy and calibration, mostly on problems that need longer chains of reasoning than any seen in training, where encoders gain up to 23 points. Neither matched training compute nor more data closes this gap, and separate layers for each pass come close only with nearly twice the parameters. The controller keeps most of the gain at about three quarters of the compute.
• Abstract（参考訳）: 型付き決定モデルは、1つのフォワードパスで固定された解のセットを選択するため、生成言語モデルとは異なり、より多くのトークンを生成することでハードインプットにより多くのテストタイム計算を費やすことはできない。 レイヤのブロックをループすることは、パラメータを追加することなく遅延空間でこの計算を提供するが、以前の作業では、従来の事前訓練されたモデルに適合したループから得られる利益は見つからなかった。 このようなループは、意思決定モデルと一緒にトレーニングすることで役立ちます。 提案手法は,RELOAD (Retrofited loops for adapt decisions), プリトレーニング済みエンコーダまたはデコーダを中間ブロック上に減衰ループで微調整し, 軽量コントローラが各入力に対して適応的にパス数を選択する。 0.4Bから4Bまでの6つのモデルにおいて、ループは精度とキャリブレーションの両方を改善し、主にトレーニングで見られるものよりも長い推論の連鎖を必要とする問題で、エンコーダは最大23ポイントまで上昇する。 一致したトレーニング計算も、それ以上のデータも、このギャップを閉じたりしない。 コントローラは、ほとんどの利得を計算の約4分の3に保ちます。

関連論文リスト

• Truncate or Not? A Scaling Study of Looped Transformers with Truncated Backpropagation [75.19648865320364]
  ループ型変圧器訓練におけるトランケーションの価値を系統的に検討する。 BPTTのループを減らした完全BPTTは、同じ計算の切り詰められた設定を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2026-10-19T08:52:29Z)
• LEV: Thinking Fast and Deep with Looped Decision Models [20.23752970123748]
  トークンを生成する代わりに、そのレイヤをループで再実行することで、より深く考える決定モデルであるLEVを紹介します。 3つのループのバックボーンでは、精度は重みの深さとともに上昇する。 ロックされたテストセットでは、1.4Bと3Bのモデルは密度の高い(ループなし)モデルよりも5.4から8.8ポイント正確である。
  論文  参考訳（メタデータ） (2026-10-14T21:20:03Z)
• One Model to Loop Them All: Elastic Latent Recurrence for Language Models [42.54052939692861]
  Elastic Latent Recurrence (ELR)は、1ループ税なしでループ言語モデルをトレーニングするためのレシピである。 ステップサイズを学習したゲート状態更新、更新毎にループカウントが混在し、各パスをループインデックスと予算で条件付けする、という3つの選択肢がある。
  論文  参考訳（メタデータ） (2026-10-08T18:05:42Z)
• SanSi: A Looped Typed Decision Model for System 1.5 Thinking [25.412761430847365]
  我々は、1つのパスと生成された推論の間に何が存在するかを研究する。 本研究では,事前学習したループ言語モデルを型決定モデルに変換するSanSiを提案する。 59のソースから10,027のテスト判断で、SanSiは72.0%の精度に達した。
  論文  参考訳（メタデータ） (2026-10-06T04:28:22Z)
• Looped Diffusion Transformer [126.10100109922593]
  分割ステップ毎に共有トランスフォーマーブロックを繰り返し実行することで、計算をスケールする別の方法を模索する。 ナイーブループは 画像の質を 常に向上させません ループ型拡散変換器(Looped Diffusion Transformer, Looped-DiT)を提案する。
  論文  参考訳（メタデータ） (2026-09-30T17:52:08Z)
• LoopCoder-v2: Only Loop Once for Efficient Test-Time Computation Scaling [72.71005779366162]
  本研究では,ゲインコストの観点から,ループ数選択について検討する。 この研究は18Tトークンのスクラッチからループ数が異なるループ数でLoopCoder-v2をトレーニングし、それにマッチした命令チューニングと評価を行う。 実証的には、この2ループ版はコード生成、コード推論、エージェントソフトウェアエンジニアリング、ツールスベンチマークなど、非ループベースラインよりも幅広い利益をもたらしている。
  論文  参考訳（メタデータ） (2026-06-16T15:03:05Z)
• Ouroboros-Spatial: Closing the Data-Model Loop for Spatial Reasoning [13.767813688729161]
  既存のアプローチは、大規模で静的にキュレートされたデータセットに大きく依存している。 Ouroboros-Spatialは自己進化型トレーニングフレームワークであり、モデルがプロジェクタとソルバとして二重の役割を演じる。 Ouroboros-SpatialはQwen3-VL-4BとQwen3-VL-8Bを大幅に改善し、最近の大規模データセットよりも少ないトレーニング例を使用した。
  論文  参考訳（メタデータ） (2026-06-10T06:49:21Z)
• Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
  本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。 ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。 トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
  論文  参考訳（メタデータ） (2026-02-26T11:08:39Z)
• The Right Tool for the Job: Matching Model and Instance Complexities [62.95183777679024]
  NLPモデルが大きくなればなるほど、訓練されたモデルを実行するには、金銭的・環境的なコストを発生させる重要な計算資源が必要である。 我々は、推論中、早期(かつ高速)の"exit"を可能にする文脈表現微調整の修正を提案する。 3つのテキスト分類データセットと2つの自然言語推論ベンチマークの2つのタスクで、5つの異なるデータセットに対して提案した修正を検証した。
  論文  参考訳（メタデータ） (2020-04-16T04:28:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。