論文の概要: Classical Energies Learn to Reason 1,000x Faster than Looped Models
- arxiv url: http://arxiv.org/abs/2611.17309v1
- Date: Thu, 12 Nov 2026 18:56:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.59818
- Title: Classical Energies Learn to Reason 1,000x Faster than Looped Models
- Title(参考訳): 古典的エネルギーはループモデルよりも1000倍速く反応する
- Abstract要約: ループモデルは不安定で訓練が遅く、単純なパズルを解くために多くのパラメータやFLOPを使用する。
Descent on a energyは、早期停止、問題の難易度に適応する計算、解答器を介さずに高速な訓練、パズルの制約を学習する解釈可能なウェイトなど、利点があることを示す。
- 参考スコア(独自算出の注目度): 9.806000319996553
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Looped models have emerged as a prominent paradigm for reasoning, with successes on simple reasoning puzzles such as Sudoku-Extreme and Maze-Unique. However, these models can be unstable, slow to train, and use many parameters and FLOPs to solve simple puzzles. Descent on an energy not only mitigates these issues but also offers advantages: built-in early stopping, compute that adapts to problem difficulty, fast training without differentiating through a solver, and interpretable weights that learn the constraints of the puzzle. Here we demonstrate this with a learned version of Hopfield & Tank's energy from the 80s, which we term CRAM, solves 99.996% of Sudoku-Extreme and 100% of Maze-Unique test puzzles after 42 ms and 132 ms of training on one GPU, at least 1,000x faster than looped models on these tasks. CRAM also matches baseline looped models at their highest accuracy on Sudoku-Extreme using at least 282x fewer inference FLOPs. Our work suggests two things. First, that energies are an extremely promising direction for training reasoning from data. Second, a caution against using trivially solvable benchmarks like Sudoku and Maze to test the scalability of looped reasoning techniques.
- Abstract(参考訳): ループモデルは、スドク・エクストリームやマゼ・ユニクのような単純な推論パズルに成功し、推論の顕著なパラダイムとして登場した。
しかし、これらのモデルは不安定で訓練が遅く、単純なパズルを解くために多くのパラメータやFLOPを使用する。
これらの問題を緩和するだけでなく、ビルトインの早期停止、問題に適応する計算、解答器を介さずに高速な訓練、パズルの制約を学習する解釈可能なウェイトなどの利点も備えている。
ここでは、80年代のホップフィールド・アンド・タンクのエネルギーの学習版でこれを実証し、我々はCRAMと呼び、これらのタスクのループモデルよりも少なくとも1000倍高速な42ミリ秒と132ミリ秒のトレーニングの後、スドク・エクストリームの99.996%とマゼ・ユニキのテストパズルの100%を解いた。
CRAMは、少なくとも282倍少ないFLOPを用いて、Sudoku-Extremeのベースラインループモデルと高い精度で一致している。
私たちの仕事は2つのことを示唆している。
第一に、そのエネルギーはデータから推論を訓練するための非常に有望な方向である。
次に、ループ推論手法のスケーラビリティをテストするために、SudokuやMazeのような自明に解決可能なベンチマークを使用することに注意する。
関連論文リスト
- Flow Reasoning Models: Scaling Reasoning Through Iterative Self-Refinement [13.205772367296353]
フローモデルを用いた構造化推論のためのトレーニングおよびテスト時間スケーリングフレームワークであるReasoning Flow Modelsを紹介する。
正しい答えは、解法力学の安定な固定点であり、再帰的かつ再解法されたときに自分自身に戻る。
セルフコンディショニングチャネルでフローモデルをトレーニングし、推論でそれをクローズすることで、自分たちで過去の予測を洗練できます。
論文 参考訳(メタデータ) (2026-06-28T02:10:36Z) - Recurrent Reasoning on Symbolic Puzzles with Sequence Models [3.900695166480356]
本稿では、4つのリカレント論理パズルの難易度制御ベンチマークであるRecurrReasonを紹介する。
我々は、2つのトランスフォーマーファミリ、エンコーダ-デコーダモデル(T5スタイル)とデコーダ-オンリーモデル(GPT-2スタイル)をベンチマークする。
微調整済みのT5は97.27%の検証と81.00%のOOD精度をブロックワールドで達成している。
論文 参考訳(メタデータ) (2026-04-19T15:48:32Z) - Frontier LLMs Still Struggle with Simple Reasoning Tasks [53.497499123166804]
この研究は、フロンティア言語モデルの性能を、幅広い「容易」推論問題に対して研究する。
計算,一階述語論理,証明木,旅行計画など,手続き的に生成された単純な推論タスクのスイートを作成します。
最先端の思考モデルでさえ、このような問題や同様の理由で一貫して失敗することを示します。
論文 参考訳(メタデータ) (2025-07-09T22:22:49Z) - PuzzleWorld: A Benchmark for Multimodal, Open-Ended Reasoning in Puzzlehunts [47.92619068073141]
我々は、ステップバイステップ、オープンエンド、クリエイティブマルチモーダル推論を評価するために設計された667のパズルハントスタイルの大規模ベンチマークであるPuzzleWorldを紹介した。
ほとんどの最先端モデルでは最終解の精度は1-2%に過ぎず、最高のモデルではパズルの14%しか解けず、ステップワイズ精度は40%に達する。
誤り解析により,現在のモデルは筋力的推論を示し,言語に基づく推論の限界に悩まされ,視覚的および空間的推論に不可欠なスケッチ能力が欠如していることが判明した。
論文 参考訳(メタデータ) (2025-06-06T16:17:09Z) - SPaRC: A Spatial Pathfinding Reasoning Challenge [11.967259729189388]
SPaRCは空間的および記号的推論を評価するために1,000個の2次元グリッドパスフィンディングパズルのデータセットである。
人間がほぼ完全な精度(ハードパズルでは98.0%、94.5%)を達成するのに対して、o4-miniのような最良の推論モデルは15.8%、ハードパズルでは1.1%)。
論文 参考訳(メタデータ) (2025-05-22T13:53:50Z) - On Memorization of Large Language Models in Logical Reasoning [70.94164038947078]
大きな言語モデル(LLM)は、挑戦的な推論ベンチマークで優れたパフォーマンスを達成するが、基本的な推論ミスを発生させることもできる。
1つの仮説は、より高度でほぼ飽和した性能は、類似した問題の記憶が原因ではないかというものである。
微調整は暗記を重くするが,常に一般化性能を向上することを示す。
論文 参考訳(メタデータ) (2024-10-30T15:31:54Z) - Learning Iterative Reasoning through Energy Diffusion [90.24765095498392]
我々は,エネルギー拡散による反復的推論(IRED)を紹介した。
IREDは入力条件と所望の出力の間の制約を表現するためにエネルギー関数を学ぶ。
IREDは、連続空間推論、離散空間推論、計画タスクにおいて既存の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2024-06-17T03:36:47Z) - PuzzLing Machines: A Challenge on Learning From Small Data [64.513459448362]
我々は,高校生を対象としたLinguistic OlympiadsのRosetta StoneパズルからなるPuzzLing Machinesという,小さなデータから学ぶための課題を紹介した。
私たちのチャレンジには、81言語から幅広い言語現象をカバーする約100のパズルが含まれています。
単純な統計アルゴリズムと最先端のディープニューラルモデルの両方が、予想通り、この課題に対して不十分に実行可能であることを示す。
論文 参考訳(メタデータ) (2020-04-27T20:34:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。