論文の概要: ArcMemo: Abstract Reasoning Composition with Lifelong LLM Memory

• arxiv url: http://arxiv.org/abs/2509.04439v2
• Date: Fri, 05 Sep 2025 18:25:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 12:02:46.93373
• Title: ArcMemo: Abstract Reasoning Composition with Lifelong LLM Memory
• Title（参考訳）: ArcMemo: 生涯LLMメモリによる抽象推論合成
• Authors: Matthew Ho, Chen Si, Zhaoxiang Feng, Fangxu Yu, Yichi Yang, Zhijian Liu, Zhiting Hu, Lianhui Qin,
• Abstract要約: 概念レベルのメモリは再利用され、ソリューショントレースから抽出されたモジュラー抽象化が自然言語に格納される。 我々は、合成一般化と抽象的推論を強調するベンチマークARC-AGIを評価する。 抽象概念は最も一貫したメモリ設計であり、全てのテストされた推論計算スケールでベースラインを上回ります。
• 参考スコア（独自算出の注目度）: 21.4675019810992
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While inference-time scaling enables LLMs to carry out increasingly long and capable reasoning traces, the patterns and insights uncovered during these traces are immediately discarded once the context window is reset for a new query. External memory is a natural way to persist these discoveries, and recent work has shown clear benefits for reasoning-intensive tasks. We see an opportunity to make such memories more broadly reusable and scalable by moving beyond instance-based memory entries (e.g. exact query/response pairs, or summaries tightly coupled with the original problem context) toward concept-level memory: reusable, modular abstractions distilled from solution traces and stored in natural language. For future queries, relevant concepts are selectively retrieved and integrated into the prompt, enabling test-time continual learning without weight updates. Our design introduces new strategies for abstracting takeaways from rollouts and retrieving entries for new queries, promoting reuse and allowing memory to expand with additional experiences. We evaluate on ARC-AGI, a benchmark that stresses compositional generalization and abstract reasoning, making it a natural fit for concept memory. Our method yields a 7.5% relative gain over a strong no-memory baseline with performance continuing to scale with inference compute. We find abstract concepts to be the most consistent memory design, outscoring the baseline at all tested inference compute scales. Moreover, dynamically updating memory during test-time outperforms fixed settings, supporting the hypothesis that accumulating and abstracting patterns enables further solutions in a form of self-improvement. Code is available at https://github.com/matt-seb-ho/arc_memo.
• Abstract（参考訳）: 推論時間のスケーリングにより、LSMはますます長く、有能な推論トレースを実行できるようになるが、これらのトレース中に発見されたパターンと洞察は、コンテキストウィンドウが新しいクエリにリセットされるとすぐに破棄される。 外部記憶はこれらの発見を継続する自然な方法であり、最近の研究は推論集約的なタスクに対する明確な利点を示している。 インスタンスベースのメモリエントリ(例えば、正確なクエリ/レスポンスペア、あるいは元の問題コンテキストと密結合した要約)を概念レベルのメモリに移行することで、そのようなメモリをより広範囲に再利用し、スケーラブルにする機会が得られます。 将来のクエリでは、関連する概念を選択的に検索し、プロンプトに統合し、ウェイト更新なしでテスト時の連続学習を可能にする。 当社の設計では,新規クエリのロールアウトからテイクアウトを抽象化し,エントリを検索し,再利用を促進し,メモリを新たなエクスペリエンスで拡張するための新たな戦略を導入している。 我々は、合成一般化と抽象的推論を強調するベンチマークARC-AGIを評価し、概念記憶に自然に適合する。 提案手法では, 高速な非メモリベースラインに対して7.5%の相対的なゲインが得られ, 性能は推論計算で継続する。 抽象概念は最も一貫したメモリ設計であり、全てのテストされた推論計算スケールでベースラインを上回ります。 さらに、テスト時のメモリの動的更新は、固定された設定よりも優れており、パターンの蓄積と抽象化が、さらなるソリューションを自己改善の形で実現するという仮説をサポートする。 コードはhttps://github.com/matt-seb-ho/arc_memo.comで公開されている。

関連論文リスト

• Multiple Memory Systems for Enhancing the Long-term Memory of Agent [6.187602972706527]
  MemoryBankやA-MEMといった既存の手法は、記憶されているメモリの質が劣っている。 我々は認知心理学理論にインスパイアされた多重記憶システムを設計した。
  論文  参考訳（メタデータ） (2025-08-21T06:29:42Z)
• Towards Multi-Granularity Memory Association and Selection for Long-Term Conversational Agents [73.77930932005354]
  我々は,多粒度アソシエーション,適応選択,検索を構築することで,メモリ統合を向上するフレームワークであるMemGASを提案する。 MemGASは多粒度メモリユニットに基づいており、ガウス混合モデルを用いて新しい記憶と過去の記憶をクラスタリングし関連付けている。 4つの長期メモリベンチマークの実験により、MemGASは質問応答と検索タスクの両方において最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2025-05-26T06:13:07Z)
• Assessing Episodic Memory in LLMs with Sequence Order Recall Tasks [42.22616978679253]
  本稿では,認知心理学におけるエピソード記憶研究の課題から順応する逐次リコールタスク(SORT)を紹介する。 SORTはLLMにテキストセグメントの正しい順序を思い出させる必要があり、拡張が容易で追加のアノテーションを必要としない一般的なフレームワークを提供する。 155人の被験者による人間実験から,本書の長期記憶に基づくシーケンス順序を再現できることが示唆された。
  論文  参考訳（メタデータ） (2024-10-10T17:17:38Z)
• Needle in the Haystack for Memory Based Large Language Models [31.885539843977472]
  現在の大規模言語モデル(LLM)は、単純な事実検索タスクではよく機能しない。 動的に適応可能な外部メモリをLCMに結合することでこの問題を軽減することができるか検討する。 テキストサンプルのエピソードを高速に書き書きできるLarimarの外部メモリは、テスト時に、トレーニング中に見られるものよりもはるかに長いコンテキストを扱うために使用できることを示した。
  論文  参考訳（メタデータ） (2024-07-01T16:32:16Z)
• Recursively Summarizing Enables Long-Term Dialogue Memory in Large Language Models [30.48902594738911]
  長い会話をすると、大きな言語モデル(LLM)は過去の情報を思い出さず、一貫性のない応答を生成する傾向がある。 本稿では,長期記憶能力を高めるために,大規模言語モデル(LLM)を用いて要約/メモリを生成することを提案する。
  論文  参考訳（メタデータ） (2023-08-29T04:59:53Z)
• RET-LLM: Towards a General Read-Write Memory for Large Language Models [53.288356721954514]
  RET-LLMは、大規模な言語モデルに一般的な読み書きメモリユニットを装備する新しいフレームワークである。 デビッドソンのセマンティクス理論に触発され、三重項の形で知識を抽出し保存する。 本フレームワークは,時間に基づく質問応答タスクの処理において,堅牢な性能を示す。
  論文  参考訳（メタデータ） (2023-05-23T17:53:38Z)
• SCM: Enhancing Large Language Model with Self-Controlled Memory Framework [54.33686574304374]
  大きな言語モデル(LLM)は、長い入力を処理できないため、重要な歴史的情報が失われる。 本稿では,LLMが長期記憶を維持し,関連する情報をリコールする能力を高めるための自己制御メモリ(SCM)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-26T07:25:31Z)
• LaMemo: Language Modeling with Look-Ahead Memory [50.6248714811912]
  右側トークンへの漸進的参加により再帰記憶を向上させるLook-Ahead Memory(LaMemo)を提案する。 LaMemoは、メモリ長に比例した追加のオーバーヘッドで、双方向の注意とセグメントの再発を受け入れる。 広く使われている言語モデリングベンチマークの実験は、異なる種類のメモリを備えたベースラインよりも優れていることを示した。
  論文  参考訳（メタデータ） (2022-04-15T06:11:25Z)
• MEMO: A Deep Network for Flexible Combination of Episodic Memories [16.362284088767456]
  MEMOは長い距離で推論できる能力を備えたアーキテクチャである。 まず、外部メモリに格納されたメモリと、これらの事実を外部メモリに格納するアイテムを分離する。 第二に、適応的な検索機構を利用し、応答が生成される前に「メモリホップ」の変動数を許容する。
  論文  参考訳（メタデータ） (2020-01-29T15:56:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。