論文の概要: Adaptive Token Merging for Efficient Transformer Semantic Communication at the Edge
- arxiv url: http://arxiv.org/abs/2509.09955v1
- Date: Fri, 12 Sep 2025 04:11:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-15 16:03:07.973403
- Title: Adaptive Token Merging for Efficient Transformer Semantic Communication at the Edge
- Title（参考訳）: エッジにおける効率的な変圧器セマンティック通信のための適応的トケマージ
- Authors: Omar Erak, Omar Alhussein, Hatem Abou-Zeid, Mehdi Bennis, Sami Muhaidat,
- Abstract要約: 大規模トランスフォーマーは、現代のセマンティック通信の中心であるが、その高い計算と通信コストは、リソース制約されたエッジデバイスへの展開を妨げる。
本稿では,実行時にトランスフォーマー表現を圧縮する新しい機構である適応トークンマージのためのトレーニングフリーフレームワークを提案する。
我々のアプローチは、入力冗長性に直接マージすることで、データ依存の適応を可能にします。
- 参考スコア（独自算出の注目度）: 28.969380251735924
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large-scale transformers are central to modern semantic communication, yet their high computational and communication costs hinder deployment on resource-constrained edge devices. This paper introduces a training-free framework for adaptive token merging, a novel mechanism that compresses transformer representations at runtime by selectively merging semantically redundant tokens under per-layer similarity thresholds. Unlike prior fixed-ratio reduction, our approach couples merging directly to input redundancy, enabling data-dependent adaptation that balances efficiency and task relevance without retraining. We cast the discovery of merging strategies as a multi-objective optimization problem and leverage Bayesian optimization to obtain Pareto-optimal trade-offs between accuracy, inference cost, and communication cost. On ImageNet classification, we match the accuracy of the unmodified transformer with 30\% fewer floating-point operations per second and under 20\% of the original communication cost, while for visual question answering our method achieves performance competitive with the full LLaVA model at less than one-third of the compute and one-tenth of the bandwidth. Finally, we show that our adaptive merging is robust across varying channel conditions and provides inherent privacy benefits, substantially degrading the efficacy of model inversion attacks. Our framework provides a practical and versatile solution for deploying powerful transformer models in resource-limited edge intelligence scenarios.
- Abstract（参考訳）: 大規模トランスフォーマーは、現代のセマンティック通信の中心であるが、その高い計算コストと通信コストは、リソース制約されたエッジデバイスへの展開を妨げる。
本稿では,階層間類似度閾値の下で意味的に冗長なトークンを選択的にマージすることにより,実行時にトランスフォーマー表現を圧縮する新しいメカニズムである適応トークンマージのためのトレーニングフリーフレームワークを提案する。
従来の固定比の削減とは違って,我々のアプローチでは,入力冗長性に直接マージすることで,効率とタスク関連性のバランスをとるデータ依存適応を実現している。
我々はマージ戦略の発見を多目的最適化問題として論じ、ベイズ最適化を利用して精度、推論コスト、通信コストのパレート最適トレードオフを得る。
ImageNet分類では、修正されていない変圧器の精度を1秒あたり30倍の浮動小数点演算と20倍の通信コストで一致させ、一方、我々の手法に答える視覚的疑問は、計算の3分の1未満で、帯域幅の10分の1以下でフルLLaVAモデルと競合する性能を実現する。
最後に、適応的なマージは、様々なチャネル条件にまたがって堅牢であり、固有のプライバシー上の利点を提供し、モデル反転攻撃の有効性を著しく低下させることを示す。
我々のフレームワークは、リソース制限されたエッジインテリジェンスシナリオに強力なトランスフォーマーモデルをデプロイするための実用的で汎用的なソリューションを提供する。
関連論文リスト
- Adaptive Pareto-Optimal Token Merging for Edge Transformer Models in Semantic Communication [27.78647101651565]
大規模トランスモデルはセマンティック通信システムのための強力なツールとして登場してきた。
本稿では,事前学習型視覚変換器における適応トークンマージのためのトレーニングフリーフレームワークを提案する。
論文 参考訳（メタデータ） (2025-09-11T06:05:35Z) - CoFormer: Collaborating with Heterogeneous Edge Devices for Scalable Transformer Inference [34.693462786320545]
CoFormerは一般的なトランスモデルの協調推論システムである。
CoFormerはエッジデバイス上で16億のパラメータを持つGPT2-XLの効率的な推論を可能にし、メモリ要求を76.3%削減した。
論文 参考訳（メタデータ） (2025-08-28T02:50:12Z) - Pieceformer: Similarity-Driven Knowledge Transfer via Scalable Graph Transformer in VLSI [10.727382706747592]
Pieceformerはスケーラブルで自己管理型の類似性評価フレームワークである。
平均絶対誤差(MAE)を24.9%削減する。
すべての実世界のデザイングループを正しくクラスタ化する唯一の方法である。
論文 参考訳（メタデータ） (2025-06-18T22:47:09Z) - Optimal Transport Adapter Tuning for Bridging Modality Gaps in Few-Shot Remote Sensing Scene Classification [80.83325513157637]
Few-Shot Remote Sensing Scene Classification (FS-RSSC)は,限られたラベル付きサンプルを用いたリモートセンシング画像の分類の課題を示す。
理想的なプラトン表現空間を構築することを目的とした,OTAT(Optimal Transport Adapter Tuning)フレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-19T07:04:24Z) - CARE Transformer: Mobile-Friendly Linear Visual Transformer via Decoupled Dual Interaction [77.8576094863446]
本稿では,新しいdetextbfCoupled dutextbfAl-interactive lineatextbfR atttextbfEntion (CARE) 機構を提案する。
まず,非対称な特徴分離戦略を提案し,非対称的に学習プロセスを局所帰納バイアスと長距離依存に分解する。
分離学習方式を採用し,特徴間の相補性を完全に活用することにより,高い効率性と精度を両立させることができる。
論文 参考訳（メタデータ） (2024-11-25T07:56:13Z) - HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization [55.972018549438964]
LLM(Federated Fine-tuning of Pre-trained Large Language Models)は、さまざまなデータセットにまたがるタスク固有の適応を可能にすると同時に、プライバシの保護を可能にする。
本研究では, HAFLQ (Heterogeneous Adaptive Federated Low-Rank Adaptation Fine-tuned LLM with Quantization) を提案する。
テキスト分類タスクの実験結果から,HAFLQはメモリ使用量を31%削減し,通信コストを49%削減し,精度を50%向上し,ベースライン法よりも高速な収束を実現している。
論文 参考訳（メタデータ） (2024-11-10T19:59:54Z) - The Self-Optimal-Transport Feature Transform [2.804721532913997]
ダウンストリームマッチングや関連するタスクのグループ化を容易にするために、データインスタンスの機能セットをアップグレードする方法を示します。
エントロピー正規化バージョンを最適輸送 (OT) 最適化により近似できる, 特定の min-コスト-max-flow 分数マッチング問題により, トランスダクティブ・トランスフォーメーションが生じる。
経験的に、この変換は、その使用において非常に効果的で柔軟性があり、挿入されるネットワークを一貫して改善している。
論文 参考訳（メタデータ） (2022-04-06T20:00:39Z) - AdaViT: Adaptive Tokens for Efficient Vision Transformer [91.88404546243113]
本稿では,視覚変換器(ViT)の推論コストを,複雑さの異なる画像に対して適応的に調整する手法であるAdaViTを紹介する。
AdaViTは、推論が進むにつれてネットワーク内で処理されるビジョントランスフォーマーのトークン数を自動で削減することで、これを実現する。
論文 参考訳（メタデータ） (2021-12-14T18:56:07Z) - AdaViT: Adaptive Vision Transformers for Efficient Image Recognition [78.07924262215181]
AdaViTは、パッチ、セルフアテンションヘッド、およびトランスフォーマーブロックを使用するための利用ポリシーを導出する適応フレームワークである。
本手法は,0.8%の精度で,最先端のビジョントランスに比べて2倍以上の効率向上を実現している。
論文 参考訳（メタデータ） (2021-11-30T18:57:02Z) - Self-supervised Augmentation Consistency for Adapting Semantic
Segmentation [56.91850268635183]
本稿では,実用的かつ高精度な意味セグメンテーションのためのドメイン適応手法を提案する。
私たちは標準データ拡張技術である$-$フォトメトリックノイズ、フリップとスケーリング$-$を採用し、セマンティック予測の一貫性を保証する。
適応後の最先端セグメンテーション精度を大幅に改善し、バックボーンアーキテクチャと適応シナリオの異なる選択に整合性を持たせる。
論文 参考訳（メタデータ） (2021-04-30T21:32:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。