論文の概要: Parallelism-Aligned Pruning and Round-Aware Context Reuse for On-Device Multimodal Agents

• arxiv url: http://arxiv.org/abs/2611.02601v1
• Date: Mon, 02 Nov 2026 06:26:26 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:47:38.473493
• Title: Parallelism-Aligned Pruning and Round-Aware Context Reuse for On-Device Multimodal Agents
• Title（参考訳）: デバイス上でのマルチモーダルエージェントの並列処理とラウンドアウェアコンテキスト再利用
• Abstract要約: マルチモーダルエージェントは 2つの配置ミスマッチによって制限されます 並列性に整合した構造化プルーニングと終生認識型KV-cache再構成を組み合わせたPARCを提案する。
• 参考スコア（独自算出の注目度）: 5.736823800271467
• License:
• Abstract: On-device multimodal agents are limited by two deployment mismatches: pretrained attention structures may not divide evenly across the compute cores of an edge accelerator, causing irregular partitions; and standard prefix caching keeps historical visual tokens in the persistent KV cache, whose capacity grows with the number of rounds. We present PARC, which combines parallelism-aligned structured pruning with lifetime-aware KV-cache reorganization. At the model level, it uses first-order Taylor importance and grouped-query-attention-aware selection to make attention dimensions divisible by the target core count while preserving the query-to-key/value ratio and head dimension. At runtime, it separates the system prompt, persistent text history, and transient visual observations by lifetime, updating text history during tool execution so that historical images leave the persistent cache and more interaction rounds fit a fixed budget. On 2,062 GUI actions, the incremental interface shows no accuracy regression, and task-aware recovery training restores 98.7% of the action-type accuracy gap and the coordinate hit rate to the original level. Under seven-core deployment, hardware-aligned pruning reduces vision-encoder latency by 11.4%, improves decoding throughput by 23.8%, and lowers per-heap high-water memory by 12.7%; a parameter-matched control confirms that the speedup stems mainly from core alignment rather than parameter reduction.
• Abstract（参考訳）: 事前訓練されたアテンション構造はエッジアクセラレータの計算コアを均等に分割せず、不規則なパーティションを引き起こす可能性がある。 並列性に整合した構造化プルーニングと終生認識型KV-cache再構成を組み合わせたPARCを提案する。 モデルレベルでは、クエリー・ツー・キー/値比とヘッドディメンションを保ちながら、ターゲットコアカウントによって注目度を割り振られるように、一階のTaylorの重要性とグループ化されたクエリー・アテンション・アウェア選択を使用する。 実行時に、システムのプロンプト、永続的なテキスト履歴、過渡的な視覚的観察を生涯にわたって分離し、ツール実行中にテキスト履歴を更新することで、過去のイメージが永続的なキャッシュを離れ、より多くのインタラクションラウンドが固定予算に適合するようにします。 2,062のGUIアクションでは、インクリメンタルインターフェースは精度の低下を示さず、タスク認識リカバリトレーニングはアクションタイプの精度ギャップと座標ヒット率の98.7%を元のレベルに復元する。 7コア配置下では、ハードウェアアラインプルーニングはビジョンエンコーダのレイテンシを11.4%削減し、デコードスループットを23.8%改善し、ヒープ当たりのハイウォーターメモリを12.7%削減する。

関連論文リスト

• CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration [67.17709877327232]
  ケイトKVは、一貫したヘッドに対して重要なトークン情報のみを保持するハイブリッドKVキャッシュ方式である。 Cate KV はメモリ使用量を最大$2.72 times$に減らし、シングルサンプル入力で$2.18times$に減らした。
  論文  参考訳（メタデータ） (2026-08-31T06:02:37Z)
• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• DepthWeave-KV: Token-Adaptive Cross-Layer Residual Factorization for Long-Context KV Cache Compression [0.0]
  DepthWeave-KVはトークン適応型キャッシュ圧縮手法で、近隣のトランスフォーマー層にまたがるキーと値の状態を分解する。 DepthWeave-KVは、メモリ使用量を大幅に削減した、ほぼ完全なタスク品質を実現する。
  論文  参考訳（メタデータ） (2026-07-07T17:29:01Z)
• PersistentKV: Page-Aware Decode Scheduling for Long-Context LLM Serving on Commodity GPUs [0.8460698440162889]
  本稿では,ブロックテーブル型デコードアテンションエンジンPersistentKVとページ認識スケジューリング研究について述べる。 Per Per PersistentKVマップはKVヘッドグループによって動作し、ネイティブページテーブル上で直接実行される。 5つのホールドアウト種子は、バイモーダル、均一、Zipfライクなワークロードにおいて、平均壁の復号化スループットを1.04xから1.08x改善することを示した。
  論文  参考訳（メタデータ） (2026-06-25T06:56:43Z)
• Planning-aligned Token Compression for Long-Context Autonomous Driving [95.59023657139208]
  条件付きVQ-VA上に構築した計画整合型ワーキングメモリフレームワークを提案する。 圧縮は歴史的軌跡と学習した計画意図の両方で条件付けられている。 歴史的文脈が行動の正確性に最も重要となる高信号動的シナリオについて評価する。
  論文  参考訳（メタデータ） (2026-06-05T17:16:21Z)
• Training-free Context-adaptive Attention for Efficient Long Context Modeling [57.703159205740185]
  トレーニングフリーコンテキスト適応注意(TCA-Attention)は、学習不要なスパースアテンション機構であり、効率的な長文推論のための情報トークンのみに選択的に参画する。 TCA-Attentionは2.8$times$のスピードアップを実現し、128Kのコンテキスト長でKVキャッシュを61%削減し、フルアテンションに匹敵するパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2025-12-10T01:54:57Z)
• GUI-KV: Efficient GUI Agents via KV Cache with Spatio-Temporal Awareness [75.00019285120878]
  キーバリュー(KV)キャッシュは、これを緩和することができるが、フルキャッシュの保存は、画像重大なコンテキストでは禁じられている。 既存のキャッシュ圧縮手法はGUIの空間的および時間的冗長性を考慮しないため、最適化されていない。 再学習を必要としないGUIエージェントのKVキャッシュ圧縮方式であるGUI-KVを紹介する。
  論文  参考訳（メタデータ） (2025-10-01T05:37:54Z)
• Dialogue Without Limits: Constant-Sized KV Caches for Extended Responses in LLMs [6.222287867011644]
  精度を保ちながら一定サイズのKVキャッシュを維持する推論時間手法であるMorphKVを提案する。 保持や損失圧縮とは異なり、MorphKVは最近のトークンの注意パターンによってガイドされる軽量更新を通じてKVキャッシュを反復的に洗練する。 我々の研究では、52.9$%のメモリセーブと18.2$%の精度が、最先端の先行研究と比較して高いことを示している。
  論文  参考訳（メタデータ） (2025-03-02T18:12:50Z)
• Cross-Self KV Cache Pruning for Efficient Vision-Language Inference [19.062950348441426]
  KVキャッシュプルーニングは、長文自動回帰生成におけるメモリと計算コストを削減するための有望な手法として登場した。 我々は、注意スコアをモダリティ内注意(同じモダリティ)とモダリティ間注意(全体モダリティ)に分解することを提案する。 最終的なトレーニング不要手法である textbfCross-textbfSelf textbfPruning (CSP) は、完全なKVキャッシュを持つモデルと比較して、競争性能が向上する。
  論文  参考訳（メタデータ） (2024-12-05T22:47:17Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。