論文の概要: Panini: Continual Learning in Token Space via Structured Memory

• arxiv url: http://arxiv.org/abs/2602.15156v1
• Date: Mon, 16 Feb 2026 19:58:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-18 16:03:17.890924
• Title: Panini: Continual Learning in Token Space via Structured Memory
• Title（参考訳）: Panini: 構造化メモリによるトークン空間での継続的な学習
• Authors: Shreyas Rajesh, Pavan Holur, Mehmet Yigit Turali, Chenda Duan, Vwani Roychowdhury,
• Abstract要約: 言語モデルは、トレーニングされていないコンテンツを推論するために、ますます使われています。 一般的なアプローチは検索拡張生成(RAG)であり、これは動詞の文書を(チャンクとして)外部に保存し、推論時に関連するサブセットのみを取得する。 本稿では,基本モデルを固定したままで,新たな経験を外部セマンティックメモリ状態に統合することで学習を行う,人間のような非パラメトリック連続学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 4.979820180013486
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models are increasingly used to reason over content they were not trained on, such as new documents, evolving knowledge, and user-specific data. A common approach is retrieval-augmented generation (RAG), which stores verbatim documents externally (as chunks) and retrieves only a relevant subset at inference time for an LLM to reason over. However, this results in inefficient usage of test-time compute (LLM repeatedly reasons over the same documents); moreover, chunk retrieval can inject irrelevant context that increases unsupported generation. We propose a human-like non-parametric continual learning framework, where the base model remains fixed, and learning occurs by integrating each new experience into an external semantic memory state that accumulates and consolidates itself continually. We present Panini, which realizes this by representing documents as Generative Semantic Workspaces (GSW) -- an entity- and event-aware network of question-answer (QA) pairs, sufficient for an LLM to reconstruct the experienced situations and mine latent knowledge via reasoning-grounded inference chains on the network. Given a query, Panini only traverses the continually-updated GSW (not the verbatim documents or chunks), and retrieves the most likely inference chains. Across six QA benchmarks, Panini achieves the highest average performance, 5%-7% higher than other competitive baselines, while using 2-30x fewer answer-context tokens, supports fully open-source pipelines, and reduces unsupported answers on curated unanswerable queries. The results show that efficient and accurate structuring of experiences at write time -- as achieved by the GSW framework -- yields both efficiency and reliability gains at read time. Code is available at https://github.com/roychowdhuryresearch/gsw-memory.
• Abstract（参考訳）: 言語モデルは、新しいドキュメント、進化する知識、ユーザー固有のデータなど、トレーニングされていないコンテンツを推論するために、ますます使われています。 一般的なアプローチは検索拡張生成(RAG)であり、これは(チャンクとして)冗長文書を外部に保存し、LLMが推論する時間にのみ関連するサブセットを検索する。 しかし、この結果、テスト時間計算(LLMが同じ文書に対して繰り返し発生する理由)の非効率な使用が可能となり、さらにチャンク検索は、サポートされない生成を増大させる無関係なコンテキストを注入することができる。 基本モデルが固定されたままであり,新たな経験を外部のセマンティックメモリ状態に統合することで学習を連続的に蓄積・統合する,人間のような非パラメトリック連続学習フレームワークを提案する。 パニーニは、文書をジェネレーティブ・セマンティック・ワークスペース(GSW)として表現することでこれを実現し、質問応答(QA)ペアのエンティティとイベントを意識したネットワークであり、LCMが経験した状況を再構築し、ネットワーク上の推論連鎖を通じて潜伏知識をマイニングするのに十分なものである。 クエリが与えられた場合、パニーニは継続的に更新されたGSW(動詞の文書やチャンクではない)を横切り、最も起こりそうな推論チェーンを検索する。 6つのQAベンチマークで、パニーニは、他の競争ベースラインよりも5%-7%高い平均パフォーマンスを達成し、2-30倍少ない回答コンテキストトークンを使用し、完全なオープンソースパイプラインをサポートし、キュレートされた未解決クエリに対するサポート回答を削減した。 GSWフレームワークが達成したように、書き込み時のエクスペリエンスの効率的かつ正確な構造化は、読み取り時の効率性と信頼性の両方を向上させる。 コードはhttps://github.com/roychowdhuryresearch/gsw-Memoryで入手できる。

関連論文リスト

• Beyond RAG for Agent Memory: Retrieval by Decoupling and Aggregation [22.803751188961865]
  検索は類似性マッチングを超えて移動し、代わりに潜在コンポーネントを操作するべきだと我々は主張する。 我々は、無傷ユニットの階層を構築し、検索可能な高レベルノード組織を維持するxMemoryを提案する。
  論文  参考訳（メタデータ） (2026-02-02T12:04:58Z)
• Evo-Memory: Benchmarking LLM Agent Test-time Learning with Self-Evolving Memory [89.65731902036669]
  Evo-Memoryは、大規模言語モデル(LLM)エージェントで自己進化型メモリを評価するための、ストリーミングベンチマークとフレームワークである。 10以上の代表的なメモリモジュールを評価し、10種類の多ターンゴール指向およびシングルターン推論およびQAデータセットで評価した。
  論文  参考訳（メタデータ） (2025-11-25T21:08:07Z)
• Beyond Fact Retrieval: Episodic Memory for RAG with Generative Semantic Workspaces [5.110309385104824]
  大きな言語モデル(LLM)は、長いコンテキスト推論において根本的な課題に直面します。 現在のソリューションでは、エピソードイベントを通じてエンティティを追跡するのに必要な、時空間で記述された物語表現を構築することができない。 我々は,ニューロインスパイアされた生成記憶フレームワークである textbf Generative Semantic Workspace (GSW) を提案する。
  論文  参考訳（メタデータ） (2025-11-10T19:59:34Z)
• ELITE: Embedding-Less retrieval with Iterative Text Exploration [5.8851517822935335]
  大規模言語モデル(LLM)は自然言語処理において顕著な進歩を遂げた。 長期のコンテキスト制約を維持する能力は、ドキュメントレベルやマルチターンタスクのパフォーマンスを制限します。
  論文  参考訳（メタデータ） (2025-05-17T08:48:43Z)
• Emulating Retrieval Augmented Generation via Prompt Engineering for Enhanced Long Context Comprehension in LLMs [23.960451986662996]
  本稿では,レトリーバル拡張生成(RAG)を特殊エンジニアリングとチェーンオブ思考推論によりエミュレートする手法を提案する。 我々は,BABILong から選択したタスクに対するアプローチを評価し,大量の散逸テキストを用いた標準 bAbI QA 問題をインターリーブする。
  論文  参考訳（メタデータ） (2025-02-18T02:49:40Z)
• MemoRAG: Boosting Long Context Processing with Global Memory-Enhanced Retrieval Augmentation [60.04380907045708]
  Retrieval-Augmented Generation (RAG)は、この問題に対処するための有望な戦略と考えられている。 我々は,グローバルメモリ拡張検索による新しいRAGフレームワークであるMemoRAGを提案する。 MemoRAGは、様々な長期コンテキスト評価タスクにおいて優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-09-09T13:20:31Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• RET-LLM: Towards a General Read-Write Memory for Large Language Models [53.288356721954514]
  RET-LLMは、大規模な言語モデルに一般的な読み書きメモリユニットを装備する新しいフレームワークである。 デビッドソンのセマンティクス理論に触発され、三重項の形で知識を抽出し保存する。 本フレームワークは,時間に基づく質問応答タスクの処理において,堅牢な性能を示す。
  論文  参考訳（メタデータ） (2023-05-23T17:53:38Z)
• Generate rather than Retrieve: Large Language Models are Strong Context Generators [74.87021992611672]
  本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。 我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
  論文  参考訳（メタデータ） (2022-09-21T01:30:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。