論文の概要: Goal-Directed Search Outperforms Goal-Agnostic Memory Compression in Long-Context Memory Tasks
- arxiv url: http://arxiv.org/abs/2511.21726v1
- Date: Thu, 20 Nov 2025 22:45:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-07 19:06:32.36905
- Title: Goal-Directed Search Outperforms Goal-Agnostic Memory Compression in Long-Context Memory Tasks
- Title（参考訳）: ゴール指向検索による長期記憶課題におけるゴール非依存記憶圧縮性能
- Authors: Yicong Zheng, Kevin L. McKee, Thomas Miconi, Zacharie Bugaud, Mick van Gelderen, Jed McCaleb,
- Abstract要約: 大規模言語モデル(LLM)において、ヒューマンライクな長期記憶を有効にする方法が重要な問題となっている。
検証可能な報酬(RLVR)を有するエンドツーエンド強化学習エージェントであるSUMERを提案する。
実データに適用した単純な探索手法は、現在の長文メモリタスクにおいて、ゴールに依存しない圧縮アルゴリズムやバイアスのある圧縮アルゴリズムよりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 2.7708222692419735
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: How to enable human-like long-term memory in large language models (LLMs) has been a central question for unlocking more general capabilities such as few-shot generalization. Existing memory frameworks and benchmarks focus on finding the optimal memory compression algorithm for higher performance in tasks that require recollection and sometimes further reasoning. However, such efforts have ended up building more human bias into the compression algorithm, through the search for the best prompts and memory architectures that suit specific benchmarks, rather than finding a general solution that would work on other data distributions. On the other hand, goal-directed search on uncompressed information could potentially exhibit superior performance because compression is lossy, and a predefined compression algorithm will not fit all raw data distributions. Here we present SUMER (Search in Uncompressed Memory via Experience Replay), an end-to-end reinforcement learning agent with verifiable reward (RLVR) that learns to use search tools to gather information and answer a target question. On the LoCoMo dataset for long-context conversation understanding, SUMER with Qwen2.5-7B-Instruct learned to use search tools and outperformed all other biased memory compression approaches and also the full-context baseline, reaching SOTA performance (43% gain over the prior best). We demonstrate that a simple search method applied to raw data outperforms goal-agnostic and biased compression algorithms in current long-context memory tasks, arguing for new paradigms and benchmarks that are more dynamic and autonomously scalable. Code for SUMER and all implemented baselines is publicly available at https://github.com/zycyc/SUMER.
- Abstract（参考訳）: 大規模な言語モデル(LLM)において、ヒューマンライクな長期メモリをどのように有効にするかは、ショットの一般化のようなより一般的な機能をアンロックする上で重要な問題である。
既存のメモリフレームワークとベンチマークは、再コンパイルや時にはさらなる推論を必要とするタスクにおいて、より高いパフォーマンスのために最適なメモリ圧縮アルゴリズムを見つけることに重点を置いている。
しかしながら、このような取り組みは、他のデータ分散で動作する一般的なソリューションを見つけるのではなく、特定のベンチマークに適合する最高のプロンプトとメモリアーキテクチャを探索することで、圧縮アルゴリズムにより人間的なバイアスを構築することになってしまった。
一方、圧縮が損なわれ、事前定義された圧縮アルゴリズムがすべての生データ分布に適合しないため、非圧縮情報に対するゴール指向検索は優れた性能を示す可能性がある。
本稿では,SUMER(Search in Uncompressed Memory via Experience Replay)について紹介する。
長期会話理解のためのLoCoMoデータセットでは、Qwen2.5-7B-InstructのSUMERが検索ツールの使用を学び、バイアスのあるメモリ圧縮アプローチと全コンテキストベースラインを上回り、SOTAパフォーマンス(前回の43%向上)に達した。
提案手法は,従来の長文メモリタスクにおいて,目標に依存しない,偏りのある圧縮アルゴリズムよりも高速な探索手法であり,よりダイナミックで自律的スケーラブルな新しいパラダイムやベンチマークを論じるものである。
SUMERとすべての実装されたベースラインのコードはhttps://github.com/zycyc/SUMERで公開されている。
関連論文リスト
- MemSearcher: Training LLMs to Reason, Search and Manage Memory via End-to-End Reinforcement Learning [73.27233666920618]
本稿では,メモリを反復的に保持し,現在のターンと組み合わせたエージェントワークフローであるMemSearcherを提案する。
それぞれのターンで、MemSearcherはユーザーの質問をメモリに融合させ、推論トレースを生成し、検索アクションを実行し、メモリを更新してタスクの解決に必要な情報のみを保持する。
我々は,MemSearcher Agents の推論,検索戦略,メモリ管理を協調的に最適化する,エンドツーエンドの RL フレームワークである Multi-context GRPO を紹介する。
論文 参考訳（メタデータ） (2025-11-04T18:27:39Z) - UniGist: Towards General and Hardware-aligned Sequence-level Long Context Compression [86.33995240043936]
UniGistは、大規模言語モデルのためのシーケンスレベルのロングコンテキスト圧縮フレームワークである。
生のトークンを特別な圧縮トークン(gist)に微粒な方法で置き換えることで、コンテキスト情報を効率的に保存する。
提案手法は,圧縮トークンの実際の除去を可能にすることで,フレキシブルな推論もサポートしている。
論文 参考訳（メタデータ） (2025-09-19T08:47:37Z) - CORE-RAG: Lossless Compression for Retrieval-Augmented LLMs via Reinforcement Learning [22.93037884068796]
Retrieval-Augmented Generation (RAG) は、知識更新のタイムラインと大規模言語モデルにおける応答の事実的正確性を高めるための有望なアプローチとして登場した。
RAG用に調整された文書圧縮への既存のアプローチは、しばしばタスクパフォーマンスを低下させる。
我々は、RAGにおけるロスレスコンテキスト圧縮の新しい手法であるCOREを提案する。
論文 参考訳（メタデータ） (2025-08-24T12:21:50Z) - A Universal Framework for Compressing Embeddings in CTR Prediction [68.27582084015044]
本稿では,事前学習した埋め込みを定量化することにより,埋め込みテーブルを圧縮するモデル非依存型埋め込み圧縮(MEC)フレームワークを提案する。
まず、高頻度特徴と低周波特徴のバランスをとるために、人気重み付け正規化を適用します。
3つのデータセットの実験により,提案手法はメモリ使用量を50倍以上削減し,レコメンデーション性能を維持・改善する。
論文 参考訳（メタデータ） (2025-02-21T10:12:34Z) - ChunkKV: Semantic-Preserving KV Cache Compression for Efficient Long-Context LLM Inference [61.412894960600205]
大きな言語モデル(LLM)は、長いテキストを処理する際に大きなGPUメモリを必要とする。
ChunkKVは、セマンティックチャンクを基本的な圧縮単位として扱うことで、KVキャッシュ圧縮を再定義する。
結果: ChunkKVは最先端の手法を最大8.7%精度で上回る。
論文 参考訳（メタデータ） (2025-02-01T03:49:47Z) - Generalized compression and compressive search of large datasets [0.0]
panCAKESは圧縮検索の新しいアプローチであり、圧縮されたデータに対して$k$-NNと$rho$-NN検索を実行する方法である。
PanCAKESは多様体仮説を仮定し、データの低次元構造を利用して効率よく圧縮・探索する。
ゲノミクス、プロテオミクス、データセットなど、さまざまなデータセットでpanCAKESをベンチマークします。
論文 参考訳（メタデータ） (2024-09-18T17:25:31Z) - FETCH: A Memory-Efficient Replay Approach for Continual Learning in Image Classification [7.29168794682254]
クラス増分連続学習は研究の重要な領域である。
以前の作品では、リプレイと圧縮されたリプレイ技術を用いて、有望な結果が得られた。
この作業は、GDumbのパイプラインで圧縮されたリプレイを評価することである。
論文 参考訳（メタデータ） (2024-07-17T07:54:03Z) - AiSAQ: All-in-Storage ANNS with Product Quantization for DRAM-free Information Retrieval [1.099532646524593]
本稿では、圧縮ベクトルをSSDインデックスにオフロードするAiSAQ(All-in-Storage ANNS with Product Quantization)を提案する。
本手法は,10 MB のメモリ使用率を数十億のデータセットによるクエリ検索で実現し,遅延の致命的な劣化を伴わない。
論文 参考訳（メタデータ） (2024-04-09T04:20:27Z) - Memory Replay with Data Compression for Continual Learning [80.95444077825852]
古いトレーニングサンプルの記憶コストを低減するため,データ圧縮によるメモリリプレイを提案する。
我々はこれを、クラスインクリメンタル学習のいくつかのベンチマークと、自律運転のためのオブジェクト検出の現実的なシナリオにおいて、広範囲に検証する。
論文 参考訳（メタデータ） (2022-02-14T10:26:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。