Fugu-MT 論文翻訳(概要): Accelerating Cross-Model LLM Inference via Attention Map Reuse

論文の概要: Accelerating Cross-Model LLM Inference via Attention Map Reuse

arxiv url: http://arxiv.org/abs/2610.14688v1
Date: Sat, 10 Oct 2026 08:02:52 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-20 12:17:17.869767
Title: Accelerating Cross-Model LLM Inference via Attention Map Reuse
Title（参考訳）: 注意マップ再使用によるモデル間LCM推論の高速化
Abstract要約: 本報告では,マルチモデルアテンションマップの再利用により,効率的なヘテロジニアスLLMを実現するシステムであるMapFlowについて述べる。効率的かつ正確な再利用を実現するため,部分再計算と,レイヤやヘッド間の線形変換を併用する。実験によると、MapFlowはプレフィルのレイテンシを低減し、エンドツーエンドのサービス効率を改善する。
参考スコア（独自算出の注目度）: 17.258889774352202
License: http://creativecommons.org/licenses/by/4.0/
Abstract: LLM-augmented data workflows often involve multiple heterogeneous models operating over substantial shared context, such as schemas, tool specifications, interaction history, and intermediate results. Although prefix caching can reduce prefilling overhead, existing approaches are largely limited to reuse within the same model because KV states are tightly coupled to model-specific architectures. We present MapFlow, a system for efficient heterogeneous LLM serving via cross-model attention map reuse. Instead of reusing KV states, MapFlow reuses attention maps, which capture token dependency patterns and are more transferable across models. To enable efficient and accurate reuse, we combine partial recomputation with lightweight linear translation across layers and heads. To make attention reuse practical for long contexts, we further introduce block-level sparse compression and a fused retrieval kernel. Experiments show that MapFlow reduces prefilling latency and improves end-to-end serving efficiency while preserving generation quality across heterogeneous model pairs and multi-turn routing workloads. These results suggest that attention maps provide an effective reusable state for heterogeneous LLM serving, especially in prefix-heavy data workflows. Our code is available: https://github.com/PKU-DAIR/MapFlow.
Abstract（参考訳）: LLMに拡張されたデータワークフローは、スキーマ、ツール仕様、インタラクション履歴、中間結果など、大きな共有コンテキスト上で動作する複数の異種モデルを含むことが多い。プレフィックスキャッシュはプレフィルのオーバーヘッドを減らすことができるが、既存のアプローチはKV状態がモデル固有のアーキテクチャと密結合しているため、同じモデル内での再利用に限られている。本報告では,マルチモデルアテンションマップの再利用により,効率的なヘテロジニアスLLMを実現するシステムであるMapFlowについて述べる。 KVステートを再利用する代わりに、MapFlowは、トークン依存パターンをキャプチャし、モデル間で転送可能なアテンションマップを再利用する。効率的かつ正確な再利用を実現するため,部分再計算と,レイヤやヘッド間の線形変換を併用する。長期のコンテキストにおいて注意の再利用を実践するために,ブロックレベルのスパース圧縮と融合検索カーネルを導入する。実験によると、MapFlowはプレフィルレイテンシを低減し、不均一なモデルペアとマルチターンルーティングワークロードで生成品質を保ちながら、エンドツーエンドのサービス効率を改善する。これらの結果は、特にプレフィックス重データワークフローにおいて、アテンションマップが不均一なLLMサービスに有効な再利用可能な状態をもたらすことを示唆している。私たちのコードは、https://github.com/PKU-DAIR/MapFlow.comで利用可能です。

関連論文リスト

Beckmann Transport Models: From Autonomous Flows to One-Step Maps [47.88178310873025]
本稿では,時間非依存な速度場に依存する流れマッチングのインスタンス化を提案し,二つの分布をマッピングする。また、この流れに付随する一段階生成写像が、単純な保存方程式のユニークな解であることも示している。
論文参考訳（メタデータ） (2026-08-03T04:45:52Z)
You Only Index Once: Cross-Layer Sparse Attention with Shared Routing [61.29627714699688]
層間スパースアテンション(A)はYOCOなどのKV共有アーキテクチャ上に構築されている。シングルインデクサはトークンレベルのトップk選択を一度計算し、その結果のインデックスをレイヤ間で再利用する。その結果、CLSAは正確かつ効率的であり、最大7.6倍のデコードスピードアップと17.1倍のスループット向上を実現している。
論文参考訳（メタデータ） (2026-06-04T17:54:04Z)
DiffuMatch: Category-Agnostic Spectral Diffusion Priors for Robust Non-rigid Shape Matching [53.39693288324375]
ネットワーク内正規化と関数型マップトレーニングの両方をデータ駆動方式に置き換えることができることを示す。まず、スコアベース生成モデルを用いてスペクトル領域における関数写像の生成モデルを訓練する。次に、得られたモデルを利用して、新しい形状コレクション上の基底真理汎関数写像の構造的特性を促進する。
論文参考訳（メタデータ） (2025-07-31T16:44:54Z)
GenMapping: Unleashing the Potential of Inverse Perspective Mapping for Robust Online HD Map Construction [20.1127163541618]
我々はGenMappingというユニバーサルマップ生成フレームワークを設計した。このフレームワークは、主および二重補助枝を含む三進的なシナジーアーキテクチャで構築されている。実験結果の網羅的な配列から,提案手法はセマンティックマッピングとベクトル化マッピングの両方において最先端の手法を超越し,高速な推論速度を維持した。
論文参考訳（メタデータ） (2024-09-13T10:15:28Z)
FedMap: Iterative Magnitude-Based Pruning for Communication-Efficient Federated Learning [45.190890170694615]
Federated Learning(FL)は、プライバシを保持しながら分散データトレーニングを可能にする分散機械学習アプローチである。本稿では,より疎いグローバルモデルを協調学習することにより,FLデプロイメントの通信効率を高めることを目的とした新しい手法であるFedMapを紹介する。 FedMapは、文献で報告されている他の方法とは異なり、ゼロからグローバルモデルをトレーニングする。
論文参考訳（メタデータ） (2024-06-27T09:58:43Z)
Diffusion-based Data Augmentation for Object Counting Problems [62.63346162144445]
拡散モデルを用いて広範なトレーニングデータを生成するパイプラインを開発する。拡散モデルを用いて位置ドットマップ上に条件付き画像を生成するのはこれが初めてである。提案した拡散モデルにおけるカウント損失は,位置ドットマップと生成した群集画像との差を効果的に最小化する。
論文参考訳（メタデータ） (2024-01-25T07:28:22Z)
Asynchronously Trained Distributed Topographic Maps [0.0]
分散トレーニングによって特徴マップを生成するために,N$の自律ユニットを用いたアルゴリズムを提案する。単位の自律性は、分散探索とカスケード駆動の重み更新スキームを組み合わせることで、時間と空間のスパース相互作用によって達成される。
論文参考訳（メタデータ） (2023-01-20T01:15:56Z)
TensAIR: Real-Time Training of Neural Networks from Data-streams [1.409180142531996]
本稿では,ANNをリアルタイムにトレーニングする最初のOLシステムであるTensAIRについて述べる。 TensAIRは、分散化および非同期アーキテクチャを使用してANNモデルをトレーニングすることで、優れたパフォーマンスとスケーラビリティを実現する。我々は、(1)ネットワークにデプロイされたワーカノードの数、(2)データバッチが到着するスループットの観点から、TensAIRがほぼ線形なスケールアウト性能を達成することを実証的に実証した。
論文参考訳（メタデータ） (2022-11-18T15:11:44Z)
Learning Optical Flow from a Few Matches [67.83633948984954]
密な相関体積表現は冗長であり、その中の要素のほんの一部で正確なフロー推定が達成できることを示した。実験により,高い精度を維持しつつ計算コストとメモリ使用量を大幅に削減できることを示した。
論文参考訳（メタデータ） (2021-04-05T21:44:00Z)
Graph Sampling Based Deep Metric Learning for Generalizable Person Re-Identification [114.56752624945142]
我々は、最も一般的なランダムサンプリング手法である有名なpkサンプリングは、深層メトリック学習にとって有益で効率的ではないと主張する。大規模計量学習のためのグラフサンプリング(GS)と呼ばれる効率的なミニバッチサンプリング手法を提案する。
論文参考訳（メタデータ） (2021-04-04T06:44:15Z)
FarSee-Net: Real-Time Semantic Segmentation by Efficient Multi-scale Context Aggregation and Feature Space Super-resolution [14.226301825772174]
Cascaded Factorized Atrous Space Pyramid Pooling (CF-ASPP) と呼ばれる新しい効率的なモジュールについて紹介する。これは畳み込みニューラルネットワーク(CNN)のための軽量なカスケード構造であり、コンテキスト情報を効率的に活用する。我々は1枚のNivida Titan X (Maxwell) GPUカードでCityscapesテストセットの84fpsで68.4% mIoUを達成した。
論文参考訳（メタデータ） (2020-03-09T03:53:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。