Fugu-MT 論文翻訳(概要): ConvMem: Convolutional Memory for Long-Context Reasoning

論文の概要: ConvMem: Convolutional Memory for Long-Context Reasoning

arxiv url: http://arxiv.org/abs/2609.10441v1
Date: Wed, 09 Sep 2026 16:53:02 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-10 19:44:09.117176
Title: ConvMem: Convolutional Memory for Long-Context Reasoning
Title（参考訳）: ConvMem: ロングコンテキスト推論のための畳み込みメモリ
Abstract要約: ConvMemは、長文推論を階層的な畳み込みとして再構成する、トレーニング不要で高度に並列化可能なフレームワークである。 ConvMemはトレーニング不要のベースラインよりも優れており、分散タスクにおけるパラメトリックな事前処理に過度に適合するリスクを回避している。
参考スコア（独自算出の注目度）: 18.597196274231553
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: While Large Language Models (LLMs) have demonstrated impressive capabilities, they often struggle with extremely long contexts due to fixed context limits. To address this, sequential approaches like MemAgent extend the effective context by reading text in segments and iteratively updating a fixed-size memory. However, this sequential paradigm suffers from high latency and requires costly reinforcement learning (RL) training, which can lead to overfitting on specific datasets. To overcome these limitations, we propose ConvMem, a training-free, highly parallelizable framework that reformulates long-context reasoning as a hierarchical convolution. Inspired by CNNs, ConvMem treats an LLM prompted with a specific query as a convolutional kernel. This kernel summarizes text segments hierarchically, shortening the reasoning path from a linear chain into a logarithmic tree. Specifically, ConvMem integrates \textit{Configurable Strides} and \textit{Skip Connections} to ensure robust evidence capture and propagation, while employing \textit{Multi-Kernel Convolution} to decompose complex queries into disentangled semantic channels. This design not only mitigates error accumulation but also enables massive parallelization across both text segments and reasoning threads. Experiments on RULER-HotpotQA and RULER-2WikiMultiHopQA demonstrate that ConvMem outperforms training-free baselines and avoids the risk of overfitting to parametric priors often observed in RL-trained models on out-of-distribution tasks.
Abstract（参考訳）: 大きな言語モデル(LLM)は印象的な機能を示しているが、固定されたコンテキスト制限のため、非常に長いコンテキストで苦労することが多い。これを解決するために、MemAgentのようなシーケンシャルなアプローチは、セグメント内のテキストを読み、固定サイズのメモリを反復的に更新することで、効果的なコンテキストを拡張する。しかし、このシーケンシャルパラダイムはレイテンシが高く、コストのかかる強化学習(RL)トレーニングを必要とするため、特定のデータセットに過度に適合する可能性がある。このような制限を克服するために,長文推論を階層的畳み込みとして再構成する,トレーニング不要で高度に並列化可能なフレームワークであるConvMemを提案する。 CNNにインスパイアされたConvMemは、畳み込みカーネルとして特定のクエリでトリガーされたLLMを扱う。このカーネルはテキストセグメントを階層的に要約し、線形鎖から対数木への推論経路を短縮する。具体的には、ConvMemは \textit{Configurable Strides} と \textit{Skip Connections} を統合して、堅牢なエビデンスキャプチャと伝搬を保証する一方で、複雑なクエリを非絡み合ったセマンティックチャネルに分解するために \textit{Multi-Kernel Convolution} を使用している。この設計は、エラーの蓄積を緩和するだけでなく、テキストセグメントと推論スレッドの両方で大規模な並列化を可能にする。 RULER-HotpotQA と RULER-2WikiMultiHopQA の実験では、ConvMem はトレーニングなしのベースラインよりも優れており、配布外タスク上でRL トレーニングされたモデルでしばしば見られるパラメトリック先行値に過度に適合するリスクを避けることが示されている。

関連論文リスト

EvoEmbedding: Evolvable Representations for Long-Context Retrieval and Agentic Memory [46.411965241105804]
EvoEmbeddingは、検索のための進化可能な表現を生成する新しい埋め込みモデルである。情報は動的でシーケンシャルで、継続的な状態追跡を必要とする、長期コンテキストシナリオ用に調整されている。 EvoEmbeddingは、パフォーマンスを高めるためにエージェントにシームレスに統合される。
論文参考訳（メタデータ） (2026-06-19T17:59:58Z)
BEAVER: A Training-Free Hierarchical Prompt Compression Method via Structure-Aware Page Selection [21.177715869071793]
既存の圧縮手法は、攻撃的なトークンプルーニングによる訓練コストや意味的な断片化に悩まされることが多い。線形トークン除去から構造対応階層選択へ圧縮を移行する新しいトレーニングフリーフレームワークBEAVERを提案する。 BEAVERがLongLLMLinguaのような最先端(SOTA)メソッドに匹敵するパフォーマンスを実現することを示す。
論文参考訳（メタデータ） (2026-03-20T04:35:04Z)
Dynamic Long Context Reasoning over Compressed Memory via End-to-End Reinforcement Learning [47.87361916374891]
本稿では,チャンクワイズ圧縮と選択的メモリリコールに基づく,効率的な長文推論のためのフレームワークを提案する。このフレームワークは、長い入力をチャンクに分割し、各チャンクを学習圧縮機を用いて圧縮されたメモリ表現に符号化する。ピークGPUメモリ使用量の最大2倍の削減と,MemAgent上での6倍の推論高速化を実現している。
論文参考訳（メタデータ） (2026-02-09T08:33:11Z)
Rethinking Thinking Tokens: LLMs as Improvement Operators [80.12087211785949]
推論トレーニングは、LLMに長い思考の連鎖(長いCoT)を生み出す動機を与え、自己チェックによるソリューション戦略を探索することを可能にする。これにより、精度が高くなりますが、コンテキストの長さ、トークン/計算コスト、応答レイテンシが膨らみます。現在のモデルはメタ認知を活用して、このParetoフロンティアで他の組み合わせを提供できるのでしょうか? i) 多様なドラフトを並列に生成し、(ii) それらを有界なテキストワークスペースに蒸留し、(iii) このワークスペース上に条件付き精製する。
論文参考訳（メタデータ） (2025-10-01T17:08:59Z)
SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。初期経路では、中間出力は反冗長動作によって統合される。遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
論文参考訳（メタデータ） (2024-07-10T10:22:35Z)
KV Cache Compression, But What Must We Give in Return? A Comprehensive Benchmark of Long Context Capable Approaches [52.02764371205856]
長期の文脈能力は、大規模言語モデル(LLM)にとって重要な能力であるこの研究は、現在の手法の分類を提供し、長いコンテキストタスクの7つのカテゴリにまたがる10以上の最先端のアプローチを評価する。
論文参考訳（メタデータ） (2024-07-01T17:59:47Z)
Hierarchical Context Merging: Better Long Context Understanding for Pre-trained LLMs [61.40047491337793]
本稿では,大規模言語モデルの制約を克服する新しいトレーニングフリースキームである階層型cOntext MERging(HOMER)を提案する。 HomeRは、長いインプットを管理可能なチャンクに分割する、分別/対数アルゴリズムを使用する。トークン削減技術がマージ毎に先行し、メモリ使用効率が保証される。
論文参考訳（メタデータ） (2024-04-16T06:34:08Z)
SSCFormer: Push the Limit of Chunk-wise Conformer for Streaming ASR Using Sequentially Sampled Chunks and Chunked Causal Convolution [10.896823447820232]
本研究では,ストリーミングASRにおけるチャンクワイド・コンバータの限界を押し上げるために,SCFormerを提案する。我々は、End-to-End (E2E) CER 5.33%が達成できることを示す。
論文参考訳（メタデータ） (2022-11-21T13:04:37Z)
Recognizing Long Grammatical Sequences Using Recurrent Networks Augmented With An External Differentiable Stack [73.48927855855219]
リカレントニューラルネットワーク(RNN)は、シーケンスモデリング、生成、予測に広く使われているディープアーキテクチャである。 RNNは、非常に長いシーケンスに対してあまり一般化せず、多くの重要な時間的処理や時系列予測問題に適用性を制限する。これらの欠点に対処する方法の1つは、スタックのような外部の異なるメモリ構造とRNNを結合することである。本稿では,重要なアーキテクチャと状態更新機構を備えたメモリ拡張RNNを改良する。
論文参考訳（メタデータ） (2020-04-04T14:19:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。