論文の概要: Beyond Memorization: Extending Reasoning Depth with Recurrence, Memory and Test-Time Compute Scaling
- arxiv url: http://arxiv.org/abs/2508.16745v1
- Date: Fri, 22 Aug 2025 18:57:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-26 18:43:45.158442
- Title: Beyond Memorization: Extending Reasoning Depth with Recurrence, Memory and Test-Time Compute Scaling
- Title（参考訳）: メモリ化を超えて - 再帰性、メモリ、テスト時間コンピューティングスケーリングによる推論深度の拡張
- Authors: Ivan Rodkin, Daniil Orel, Konstantin Smirnov, Arman Bolatov, Bilal Elbouardi, Besher Hassan, Yuri Kuratov, Aydar Bulatov, Preslav Nakov, Timothy Baldwin, Artem Shelmanov, Mikhail Burtsev,
- Abstract要約: 異なるアーキテクチャとトレーニング手法がモデル多段階推論能力にどのように影響するかを示す。
我々は,逐次計算においてモデル深度の増加が重要な役割を担っていることを確認した。
- 参考スコア（独自算出の注目度）: 60.63703438729223
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reasoning is a core capability of large language models, yet understanding how they learn and perform multi-step reasoning remains an open problem. In this study, we explore how different architectures and training methods affect model multi-step reasoning capabilities within a cellular automata framework. By training on state sequences generated with random Boolean functions for random initial conditions to exclude memorization, we demonstrate that most neural architectures learn to abstract the underlying rules. While models achieve high accuracy in next-state prediction, their performance declines sharply if multi-step reasoning is required. We confirm that increasing model depth plays a crucial role for sequential computations. We demonstrate that an extension of the effective model depth with recurrence, memory, and test-time compute scaling substantially enhances reasoning capabilities.
- Abstract（参考訳）: 推論は大きな言語モデルのコア機能であるが、どのように学習し、多段階推論を実行するかを理解することは、未解決の問題である。
本研究では,異なるアーキテクチャとトレーニング手法が,セルラーオートマトンフレームワーク内のモデル多段階推論機能にどのように影響するかを検討する。
ランダムなブール関数で生成された状態列をトレーニングして、暗記を除外するランダムな初期条件を学習することにより、ほとんどのニューラルネットワークが基礎となるルールを抽象化することを実証する。
モデルは次の状態予測において高い精度を達成するが、多段階推論が必要な場合、その性能は急激に低下する。
我々は,逐次計算においてモデル深度の増加が重要な役割を担っていることを確認した。
繰り返し, メモリ, テスト時間計算のスケーリングによる効果的なモデル深度の拡張は, 推論能力を大幅に向上させることを示した。
関連論文リスト
- Are More Tokens Rational? Inference-Time Scaling in Language Models as Adaptive Resource Rationality [1.5994376682356057]
本稿では,変数が与えられた候補変数,入出力試行,事前定義された論理関数をどの変数が決定するかを推定する可変属性タスクを提案する。
どちらのモデルも、複雑さが増加するにつれて、ブルートフォースから分析戦略への移行を示す。
これらの結果から,コストベースの報酬を伴わないモデルでも,タスクの複雑さに応じて推論動作を調整できることが示唆された。
論文 参考訳（メタデータ） (2026-02-10T22:07:05Z) - Encode, Think, Decode: Scaling test-time reasoning with recursive latent thoughts [19.518525241726916]
Encode-Think-Decode (ETD) は、トレーニング中の推論関連レイヤの小さなサブセットを反復するようにトレーニングすることで、ベースモデルの推論能力を向上する手法である。
ETDモデルは、GSM8Kで+28.4%、OLMo-2 1Bベースモデルで+36%の相対精度の改善を含む17の推論ベンチマークで大幅に向上した。
論文 参考訳（メタデータ） (2025-10-08T15:58:35Z) - RARE: Retrieval-Augmented Reasoning Modeling [41.24577920467858]
本稿では,推論最適化から知識記憶を分離する新しいパラダイムであるRetrieval-Augmented Reasoning Modeling (RARE)を提案する。
RAREはドメイン知識を検索可能なソースに外部化し、トレーニング中にドメイン固有の推論パターンを内部化する。
実験により、軽量トレーニングモデル(例えば、Llama-3.1-8B)は、検索強化GPT-4とDeepSeek-R1を約20%の精度で超える、最先端のパフォーマンスを実現することができた。
論文 参考訳（メタデータ） (2025-03-30T16:49:44Z) - In-Context Linear Regression Demystified: Training Dynamics and Mechanistic Interpretability of Multi-Head Softmax Attention [52.159541540613915]
本研究では,マルチヘッド型ソフトマックスアテンションモデルを用いて,線形データを用いたコンテキスト内学習を行う方法について検討する。
この結果から,学習内容の学習能力は,そのアーキテクチャと基礎となるデータ分布の集約的効果として,訓練されたトランスフォーマーから出現することが明らかとなった。
論文 参考訳（メタデータ） (2025-03-17T02:00:49Z) - Learning Elementary Cellular Automata with Transformers [3.7013865226473848]
本研究では,トランスフォーマーが基本セルオートマタを規定するルールを抽象化し,一般化することができることを示す。
我々の分析は、将来の状態や規則予測をトレーニング損失に含めることで、モデルがルールの内部表現を形成する能力を高めることを明らかにした。
論文 参考訳（メタデータ） (2024-12-02T11:57:49Z) - Causal Estimation of Memorisation Profiles [58.20086589761273]
言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。
覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。
本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
論文 参考訳（メタデータ） (2024-06-06T17:59:09Z) - Understanding the Language Model to Solve the Symbolic Multi-Step Reasoning Problem from the Perspective of Buffer Mechanism [68.05754701230039]
本研究では,トランスフォーマーモデルにおける情報伝達機構を解明するために,シンボル的多段階推論タスクを構築する。
モデルの推論能力を高めるために,ランダムな行列に基づくアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-05-24T07:41:26Z) - A Dynamical Model of Neural Scaling Laws [79.59705237659547]
ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。
我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
論文 参考訳（メタデータ） (2024-02-02T01:41:38Z) - A Brain-Inspired Sequence Learning Model based on a Logic [6.653734987585243]
本稿では,非公理論理で解釈可能なシーケンス学習モデルの設計と試験を行う。
その結果、モデルは異なるレベルの難易度でうまく機能することがわかった。
論文 参考訳（メタデータ） (2023-08-24T01:01:41Z) - Deep networks for system identification: a Survey [56.34005280792013]
システム識別は、入力出力データから動的システムの数学的記述を学習する。
同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。
我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
論文 参考訳（メタデータ） (2023-01-30T12:38:31Z) - TimeSHAP: Explaining Recurrent Models through Sequence Perturbations [3.1498833540989413]
リカレントニューラルネットワークは、多くの機械学習ドメインで標準的なビルディングブロックである。
これらのモデルにおける複雑な意思決定はブラックボックスと見なされ、正確性と解釈可能性の間の緊張を生み出す。
本研究では,モデルに依存しないリカレント説明器であるTimeSHAPを提示することにより,これらのギャップを埋めることに寄与する。
論文 参考訳（メタデータ） (2020-11-30T19:48:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。