論文の概要: Beyond Memorization: Extending Reasoning Depth with Recurrence, Memory and Test-Time Compute Scaling

• arxiv url: http://arxiv.org/abs/2508.16745v1
• Date: Fri, 22 Aug 2025 18:57:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.158442
• Title: Beyond Memorization: Extending Reasoning Depth with Recurrence, Memory and Test-Time Compute Scaling
• Title（参考訳）: メモリ化を超えて - 再帰性、メモリ、テスト時間コンピューティングスケーリングによる推論深度の拡張
• Authors: Ivan Rodkin, Daniil Orel, Konstantin Smirnov, Arman Bolatov, Bilal Elbouardi, Besher Hassan, Yuri Kuratov, Aydar Bulatov, Preslav Nakov, Timothy Baldwin, Artem Shelmanov, Mikhail Burtsev,
• Abstract要約: 異なるアーキテクチャとトレーニング手法がモデル多段階推論能力にどのように影響するかを示す。 我々は,逐次計算においてモデル深度の増加が重要な役割を担っていることを確認した。
• 参考スコア（独自算出の注目度）: 60.63703438729223
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reasoning is a core capability of large language models, yet understanding how they learn and perform multi-step reasoning remains an open problem. In this study, we explore how different architectures and training methods affect model multi-step reasoning capabilities within a cellular automata framework. By training on state sequences generated with random Boolean functions for random initial conditions to exclude memorization, we demonstrate that most neural architectures learn to abstract the underlying rules. While models achieve high accuracy in next-state prediction, their performance declines sharply if multi-step reasoning is required. We confirm that increasing model depth plays a crucial role for sequential computations. We demonstrate that an extension of the effective model depth with recurrence, memory, and test-time compute scaling substantially enhances reasoning capabilities.
• Abstract（参考訳）: 推論は大きな言語モデルのコア機能であるが、どのように学習し、多段階推論を実行するかを理解することは、未解決の問題である。 本研究では,異なるアーキテクチャとトレーニング手法が,セルラーオートマトンフレームワーク内のモデル多段階推論機能にどのように影響するかを検討する。 ランダムなブール関数で生成された状態列をトレーニングして、暗記を除外するランダムな初期条件を学習することにより、ほとんどのニューラルネットワークが基礎となるルールを抽象化することを実証する。 モデルは次の状態予測において高い精度を達成するが、多段階推論が必要な場合、その性能は急激に低下する。 我々は,逐次計算においてモデル深度の増加が重要な役割を担っていることを確認した。 繰り返し, メモリ, テスト時間計算のスケーリングによる効果的なモデル深度の拡張は, 推論能力を大幅に向上させることを示した。

関連論文リスト

• RARE: Retrieval-Augmented Reasoning Modeling [41.24577920467858]
  本稿では,推論最適化から知識記憶を分離する新しいパラダイムであるRetrieval-Augmented Reasoning Modeling (RARE)を提案する。 RAREはドメイン知識を検索可能なソースに外部化し、トレーニング中にドメイン固有の推論パターンを内部化する。 実験により、軽量トレーニングモデル(例えば、Llama-3.1-8B)は、検索強化GPT-4とDeepSeek-R1を約20%の精度で超える、最先端のパフォーマンスを実現することができた。
  論文  参考訳（メタデータ） (2025-03-30T16:49:44Z)
• Learning Elementary Cellular Automata with Transformers [3.7013865226473848]
  本研究では,トランスフォーマーが基本セルオートマタを規定するルールを抽象化し,一般化することができることを示す。 我々の分析は、将来の状態や規則予測をトレーニング損失に含めることで、モデルがルールの内部表現を形成する能力を高めることを明らかにした。
  論文  参考訳（メタデータ） (2024-12-02T11:57:49Z)
• Causal Estimation of Memorisation Profiles [58.20086589761273]
  言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。 覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。 本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:09Z)
• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)
• A Brain-Inspired Sequence Learning Model based on a Logic [6.653734987585243]
  本稿では,非公理論理で解釈可能なシーケンス学習モデルの設計と試験を行う。 その結果、モデルは異なるレベルの難易度でうまく機能することがわかった。
  論文  参考訳（メタデータ） (2023-08-24T01:01:41Z)
• TimeSHAP: Explaining Recurrent Models through Sequence Perturbations [3.1498833540989413]
  リカレントニューラルネットワークは、多くの機械学習ドメインで標準的なビルディングブロックである。 これらのモデルにおける複雑な意思決定はブラックボックスと見なされ、正確性と解釈可能性の間の緊張を生み出す。 本研究では,モデルに依存しないリカレント説明器であるTimeSHAPを提示することにより,これらのギャップを埋めることに寄与する。
  論文  参考訳（メタデータ） (2020-11-30T19:48:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。