論文の概要: Learning to Accumulate Knowledge with Mutual Information

• arxiv url: http://arxiv.org/abs/2610.10042v1
• Date: Wed, 07 Oct 2026 13:20:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.933054
• Title: Learning to Accumulate Knowledge with Mutual Information
• Title（参考訳）: 相互情報を用いた知識の蓄積学習
• Abstract要約: 大規模言語モデル(LLM)エージェントは、過去の相互作用から抽出された知識を再利用することで、その性能を向上させることができる。 エージェントの軌道から再利用可能な知識をキュレートするために言語モデルを訓練する強化学習フレームワークであるKnowledge Weaverを提案する。
• 参考スコア（独自算出の注目度）: 73.52779885710335
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model (LLM) agents can improve their performance by reusing knowledge distilled from past interactions. However, curating new experiences into a knowledge bank that becomes more useful as it grows remains challenging. Effective knowledge accumulation should limit redundant overlap among entries and ensure that new knowledge contributes beyond what the bank already provides. Yet training a curator with Group Relative Policy Optimization (GRPO) on standalone task success can reinforce general guidance even when it duplicates existing knowledge. Therefore, we propose Knowledge Weaver, a reinforcement learning framework that trains a language model to curate reusable knowledge from agent trajectories. We couple feedback inspired by token-wise mutual information (MI) with marginal success rewards to guide knowledge accumulation. Together, these signals encourage the curator to preserve distinct information from experience and produce entries that improve task success when added to existing knowledge. Standalone success rewards also favor entries that are useful on their own. On ALFWorld and WebShop, Knowledge Weaver achieves mean success rates of 54.0\% and 42.0\% with k=10 retrieved entries, exceeding GRPO by 16.9 and 18.7 percentage points, respectively. Its knowledge banks also outperform the evaluated prompt-based and established banks, including human-written banks, in overall ALFWorld success rate and WebShop score with the executor frozen. Our codebase is available at https://github.com/LaoKuiZe/Knowledge-Weaver.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、過去の相互作用から抽出された知識を再利用することで、その性能を向上させることができる。 しかし、新たな経験を知識銀行にキュレーションすることは、成長するにつれてより有用になる。 効果的な知識の蓄積は、エントリ間で重複する重複を制限し、新しい知識が銀行が提供するものを超えて貢献することを保証するべきです。 しかし,グループ相対的政策最適化(GRPO)による単体タスク成功の訓練は,既存の知識を重複させたとしても,一般的な指導を強化することができる。 そこで本稿では,エージェントの軌道から再利用可能な知識を学習するための言語モデルをトレーニングする強化学習フレームワークであるKnowledge Weaverを提案する。 トークンワイド相互情報(MI)にインスパイアされたフィードバックと,限界的な成功報酬を組み合わせ,知識蓄積を導出する。 これらの信号は、キュレーターが経験から異なる情報を保存することを奨励し、既存の知識に加えられた場合のタスク成功を改善するエントリを生成する。 スタンドアローンの成功報酬は、それ自体で有用なエントリも好む。 ALFWorld と WebShop では、nowledge Weaver が平均成功率 54.0\% と 42.0\% を k=10 で達成し、それぞれ GRPO を 16.9 と 18.7 で上回っている。 ナレッジバンクはまた、人手による銀行を含む評価されたプロンプトベースおよび確立された銀行よりも、ALFWorldの成功率、執行役が凍結したWebShopスコアを上回っている。 私たちのコードベースはhttps://github.com/LaoKuiZe/Knowledge-Weaver.orgで公開されています。

関連論文リスト

• InfuserKI: Enhancing Large Language Models with Knowledge Graphs via Infuser-Guided Knowledge Integration [58.61492157691623]
  知識を統合する手法が開発され、外部モジュールを通してLLMをドメイン固有の知識グラフに拡張した。 本研究は,未知の知識をLLMに効率的に統合することで,未知の知識を不要に重複させるという,新たな問題に焦点をあてる。 新しい知識を導入するリスクは、既存の知識を忘れることである。
  論文  参考訳（メタデータ） (2024-02-18T03:36:26Z)
• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)
• Towards a Universal Continuous Knowledge Base [49.95342223987143]
  複数のニューラルネットワークからインポートされた知識を格納できる継続的知識基盤を構築する方法を提案する。 テキスト分類実験は有望な結果を示す。 我々は複数のモデルから知識ベースに知識をインポートし、そこから融合した知識を単一のモデルにエクスポートする。
  論文  参考訳（メタデータ） (2020-12-25T12:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。