論文の概要: Task-Aware Structured Memory for Dynamic Multi-modal In-Context Learning

• arxiv url: http://arxiv.org/abs/2606.11853v1
• Date: Wed, 10 Jun 2026 09:30:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.391129
• Title: Task-Aware Structured Memory for Dynamic Multi-modal In-Context Learning
• Title（参考訳）: 動的マルチモーダルインコンテキスト学習のためのタスク認識型構造化メモリ
• Authors: Zhirui Chen, Ziwei Chen, Ling Shao,
• Abstract要約: MLLM(Multi-modal large language model)は、テキスト内学習(ICL)に依存して高速なタスク適応を行う。 既存のメモリ圧縮アプローチは、厳密なトークン除去やサンプル依存の重要度推定に依存している。 TASMは,タスク認識,構造保存,動的アクセス可能なメモリ構成を通じて,これらの制約に対処する,トレーニング不要のフレームワークである。
• 参考スコア（独自算出の注目度）: 40.577016426387694
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-modal large language models (MLLMs) depend on in-context learning (ICL) for rapid task adaptation, but their scalability is severely limited by finite context windows and the growing cost of key-value (KV) caches in long multi-modal sequences. Existing memory compression approaches typically rely on rigid token removal or sample-dependent importance estimation, which introduces bias, disrupts semantic structure, particularly for visual representations, and yields static memories that cannot adapt to new queries. We introduce TASM (Task-Aware Structured Memory), a training-free framework that addresses these limitations through task-aware, structure-preserving, and dynamically accessible memory construction. TASM employs task-vector guided compression to replace sample-specific signals with a task-level direction that captures shared relevance across demonstrations. To preserve the underlying manifold, it applies semantics-aware token merging via bipartite graph matching, aggregating tokens without destructive pruning. Finally, TASM structures memory into a hierarchy comprising a compact Core Memory and a Latent Bank, facilitating query-adaptive dynamic retrieval. Evaluations confirm TASM maintains high performance under heavy compression, effectively balancing efficiency with adaptability.
• Abstract（参考訳）: MLLM(Multi-modal large language model)は、タスク適応にICL(In-context Learning)に依存するが、そのスケーラビリティは、有限コンテキストウィンドウと長いマルチモーダルシーケンスにおけるキー値(KV)キャッシュの増大によって著しく制限されている。 既存のメモリ圧縮アプローチは一般に、バイアスを導入し、特に視覚的表現を乱し、新しいクエリに適応できない静的メモリを生成する、厳密なトークン除去やサンプル依存の重要度推定に頼っている。 TASM(Task-Aware Structured Memory)は,タスク認識,構造保存,動的アクセス可能なメモリ構成を通じて,これらの制約に対処する,トレーニング不要なフレームワークである。 TASMはタスクベクトル誘導圧縮を用いて、サンプル固有の信号をタスクレベルの方向で置き換え、デモ間での共有関連性をキャプチャする。 基礎となる多様体を保存するために、二部グラフマッチングによる意味認識トークンのマージを適用し、破壊的なプルーニングをせずにトークンを集約する。 最後に、TASMはメモリをコンパクトなコアメモリと遅延バンクからなる階層構造に構成し、クエリ適応動的検索を容易にする。 TASMは高い圧縮下で高い性能を維持し、効率と適応性を効果的にバランスしている。

関連論文リスト

• Auto-FlexSwitch: Efficient Dynamic Model Merging via Learnable Task Vector Compression [54.12624130407679]
  タスクベクトルを3つのコンパクトなコンポーネントに分解するT-Switchを提案する。 次に,タスクベクトルを自動生成するトレーニングフリーマージスキームであるAuto-Switchを紹介する。 本稿では,高効率なタスクベクトル圧縮をサポートする動的モデルマージ手法であるAuto-FlexSwitchを提案する。
  論文  参考訳（メタデータ） (2026-04-30T16:58:05Z)
• AMA: Adaptive Memory via Multi-Agent Collaboration [54.490349689939166]
  複数の粒度にまたがるメモリ管理に協調エージェントを活用する新しいフレームワークであるAMA(Adaptive Memory via Multi-Agent Collaboration)を提案する。 AMAは、ステート・オブ・ザ・アートのベースラインを著しく上回り、トークンの消費をフルコンテキストの手法と比べて約80%削減する。
  論文  参考訳（メタデータ） (2026-01-28T08:09:49Z)
• SimpleMem: Efficient Lifelong Memory for LLM Agents [73.74399447715052]
  セマンティックロスレス圧縮に基づく効率的なメモリフレームワークSimpleMemを紹介する。 本稿では,情報密度とトークン利用量の最大化を目的とした3段階パイプラインを提案する。 ベンチマークデータセットを用いた実験により,提案手法は精度,検索効率,推論コストにおいて,ベースラインアプローチを一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2026-01-05T21:02:49Z)
• CAM: A Constructivist View of Agentic Memory for LLM-Based Reading Comprehension [55.29309306566238]
  現在のLarge Language Models (LLM) は、長文文書を解釈する際に圧倒的な情報量に直面している。 この課題は、バニラLSMを自律的な読み出しエージェントに高めることができる凝集性メモリモジュールの必須性を高める。 我々はジャン・ピアジェの構成主義理論(Constructivist Theory)からインスピレーションを得て、エージェントメモリの3つの特性(構造化スキーマ、フレキシブルな同化、動的調節)を表現した。
  論文  参考訳（メタデータ） (2025-10-07T02:16:30Z)
• Task Memory Engine: Spatial Memory for Robust Multi-Step LLM Agents [0.0]
  大規模言語モデル (LLMs) は、線形で非構造的な文脈に依存するため、多段階の相互作用に影響を及ぼす。 本稿では,既存のLCMを堅牢でリビジョン対応のエージェントに変換するモジュール型メモリコントローラであるTask Memory Engine (TME)を紹介する。 TMEは、フラットなコンテキストをグラフベースの構造に置き換え、一貫性のあるマルチターン推論をサポートする空間記憶フレームワークを実装している。
  論文  参考訳（メタデータ） (2025-05-26T02:53:22Z)
• Task Memory Engine (TME): Enhancing State Awareness for Multi-Step LLM Agent Tasks [0.0]
  階層型タスクメモリツリー(TMT)を用いてタスク実行を追跡する軽量で構造化されたメモリモジュールを提案する。 TMEはグラフ対応に設計されており、再利用可能なサブステップ、タスクパスの収束、依存関係の共有をサポートする。
  論文  参考訳（メタデータ） (2025-04-11T13:38:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。