論文の概要: Consommé: Conditioned Token Merging for Split Inference

• arxiv url: http://arxiv.org/abs/2610.32794v2
• Date: Thu, 29 Oct 2026 10:09:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-30 22:39:27.485628
• Title: Consommé: Conditioned Token Merging for Split Inference
• Title（参考訳）: Consommé: 分割推論のための条件付きトークンマージ
• Abstract要約: スプリット推論は、リソース制約のあるエッジデバイスとサーバの間でビジョントランスフォーマーを分割する。 凍結したバックボーン下でのスプリット推論におけるトークン低減について検討した。 両特性を利用したConsomméを提案する。
• 参考スコア（独自算出の注目度）: 3.3478082378943697
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Split inference partitions a Vision Transformer between a resource-constrained edge device and a server. However, transmitting intermediate tokens across the communication channel is costly. Deploying fine-tuned backbones to every endpoint becomes expensive as well. We study token reduction for split inference under a frozen backbone, where only a small adapter is shipped. We observe that the CLS token plays a dual role: it acts as the global summary the receiver needs for classification, and it serves as a signal on which patches to keep. We propose Consommé, a method utilizing both characteristics. There, an information bottleneck compresses the CLS token into a compact latent which is transmitted in place of the full CLS token and conditions a learned patch gate merging patches into exactly $k$ tokens via soft assignment. It reaches any budget in a single step, thus escaping the per-layer cap of bipartite matching (BPM). On DeiT-S/T, it leads all methods at aggressive token budgets and remains operable at shallow splits where BPM cannot operate, while matching fine-tuned methods at gentle budgets at a fraction of their deployment cost.
• Abstract（参考訳）: スプリット推論は、リソース制約のあるエッジデバイスとサーバの間でビジョントランスフォーマーを分割する。 しかし、中間トークンを通信チャネルに送信することはコストがかかる。 微調整されたバックボーンを各エンドポイントにデプロイするのもコストがかかる。 本研究では,小型アダプタのみを出荷する冷凍バックボーン下でのスプリット推論のトークン削減について検討した。 CLSトークンは、受信側が分類に必要なグローバルサマリとして機能し、パッチを保持するための信号として機能する。 両特性を利用したConsomméを提案する。 そこで、情報ボトルネックがCLSトークンを圧縮し、完全なCRSトークンの代わりに送信され、学習されたパッチゲートがパッチをソフトアサインを介して正確に$k$トークンにマージする。 単一のステップで任意の予算に達するので、階層単位の2部マッチング(BPM)の上限を逃れることができます。 DeiT-S/Tでは、全てのメソッドを積極的なトークン予算でリードし、BPMが動作できない浅い分割で動作可能でありながら、微調整されたメソッドを配置コストのごく一部で穏やかな予算でマッチングします。

関連論文リスト

• LapMerge: Differentiable Exact-Budget Token Merging in Linear Time [45.497817967484536]
  順序付けられたシーケンスのトレードオフを解消する、微分可能なマージ演算子であるLapMergeを紹介します。 学習された質量分布は、その配列を正確に$N$の等質量セグメントにラプラス核密度で分割する。 ドロップインリダクションモジュールとしても、トレーニング可能なアーキテクチャコンポーネントとしても機能します。
  論文  参考訳（メタデータ） (2026-10-09T17:07:17Z)
• Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models [65.49950267695267]
  我々はコヒーレンス保存コンテクスト蒸留によるパラメトリックメモリの効率的な圧縮フレームワークであるOmni2LoRAを紹介する。 本手法は,マルチモーダルメモリを固定予算で再利用可能なパラメータ状態に変換することにより,応答時間のマルチモーダルトーケン負荷をゼロにする。
  論文  参考訳（メタデータ） (2026-08-10T07:49:10Z)
• TSFLora: Token-Compressed Split Fine-Tuning for Wireless Edge Networks [41.95924024036396]
  TSFLoraは、エッジでの通信効率の高いLAM適応のためのトークン圧縮スプリット微調整フレームワークである。 TSFLoraは、注意誘導型トークン選択、トークンマージ、低ビットアクティベーション量子化、LoRAベースの適応を、分割されたフェデレーショントレーニングパイプライン内で組み合わせる。
  論文  参考訳（メタデータ） (2026-05-17T08:50:01Z)
• Sub-Token Routing in LoRA for Adaptation and Query-Aware KV Compression [6.146072912338954]
  LoRA適応トランスにおけるトークン表現自体のルーティングについて検討する。 圧縮対応言語モデリングでは、ルーティングされたサブスペースLoRAとKVパス上の値群ルーティングを組み合わせたクエリ非依存の設計を導入する。 実験により,クエリ非依存の設計により,言語モデリングにおける品質圧縮トレードオフが改善されることが示された。
  論文  参考訳（メタデータ） (2026-04-23T06:47:33Z)
• Towards Joint Quantization and Token Pruning of Vision-Language Models [53.978753457744055]
  トークンプルーニングと低ビット量子化は、推論コストの削減を補完する。 我々は、低ビット推論と決定論的視覚トーケンプルーニングを統一する協調量子化&プルーニングフレームワークを提案する。 標準VLMベンチマークの実験では、同じ低ビット状態下でのステージワイドベースラインよりもロバスト性が改善された。
  論文  参考訳（メタデータ） (2026-04-19T08:18:29Z)
• Scaling Attention via Feature Sparsity [50.64995497733461]
  超長期のコンテキストにトランスフォーマーをスケールすることは、自己注意のコスト$O(n2 d)$コストによってボトルネックとなる。 本稿では,高次元表現性を維持するために,クエリとキーを$k$sparseコードとして表現するスパース特徴注意法を提案する。 GPT-2とQwen3の事前トレーニングで、SFAは密度の高いベースラインにマッチし、最高2.5タイムのスピードを向上し、FLOPとKVキャッシュを50%近く削減した。
  論文  参考訳（メタデータ） (2026-03-17T08:41:50Z)
• Token Fusion: Bridging the Gap between Token Pruning and Token Merging [71.84591084401458]
  ビジョントランスフォーマー(ViT)はコンピュータビジョンの強力なバックボーンとして登場し、多くの伝統的なCNNを上回っている。 計算オーバーヘッドは、主に自己アテンション機構によるもので、リソース制約のあるエッジデバイスへのデプロイが困難になる。 トークンプルーニングとトークンマージの両方のメリットを両立させる手法であるToken Fusion(ToFu)を紹介する。
  論文  参考訳（メタデータ） (2023-12-02T04:29:19Z)
• SWAT: Spatial Structure Within and Among Tokens [53.525469741515884]
  我々は,トークン化時に空間構造が保存される場合,モデルが顕著な利得が得られることを論じる。 本研究では,(1)構造認識のトークン化と(2)構造認識のミキシングという2つの重要なコントリビューションを提案する。
  論文  参考訳（メタデータ） (2021-11-26T18:59:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。