論文の概要: Adaptive Pareto-Optimal Token Merging for Edge Transformer Models in Semantic Communication

• arxiv url: http://arxiv.org/abs/2509.09168v1
• Date: Thu, 11 Sep 2025 06:05:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-12 16:52:24.244906
• Title: Adaptive Pareto-Optimal Token Merging for Edge Transformer Models in Semantic Communication
• Title（参考訳）: 意味コミュニケーションにおけるエッジ変圧器モデルに対する適応的パレート最適トケマージ
• Authors: Omar Erak, Omar Alhussein, Hatem Abou-Zeid, Mehdi Bennis,
• Abstract要約: 大規模トランスモデルはセマンティック通信システムのための強力なツールとして登場してきた。 本稿では,事前学習型視覚変換器における適応トークンマージのためのトレーニングフリーフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 27.78647101651565
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale transformer models have emerged as a powerful tool for semantic communication systems, enabling edge devices to extract rich representations for robust inference across noisy wireless channels. However, their substantial computational demands remain a major barrier to practical deployment in resource-constrained 6G networks. In this paper, we present a training-free framework for adaptive token merging in pretrained vision transformers to jointly reduce inference time and transmission resource usage. We formulate the selection of per-layer merging proportions as a multi-objective optimization problem to balance accuracy and computational cost. We employ Gaussian process-based Bayesian optimization to construct a Pareto frontier of optimal configurations, enabling flexible runtime adaptation to dynamic application requirements and channel conditions. Extensive experiments demonstrate that our method consistently outperforms other baselines and achieves significant reductions in floating-point operations while maintaining competitive accuracy across a wide range of signal-to-noise ratio (SNR) conditions. Additional results highlight the effectiveness of adaptive policies that adjust merging aggressiveness in response to channel quality, providing a practical mechanism to trade off latency and semantic fidelity on demand. These findings establish a scalable and efficient approach for deploying transformer-based semantic communication in future edge intelligence systems.
• Abstract（参考訳）: 大規模トランスフォーマーモデルはセマンティック通信システムのための強力なツールとして登場しており、エッジデバイスはノイズの多い無線チャネル間で堅牢な推論のためのリッチな表現を抽出することができる。 しかし、彼らの膨大な計算要求は、資源に制約された6Gネットワークの実践的な展開にとって大きな障壁であり続けている。 本稿では,事前学習された視覚変換器に適応トークンをマージする学習自由フレームワークを提案する。 計算コストと精度のバランスをとるために,多目的最適化問題として,層間マージ比の選択を定式化する。 ガウス過程に基づくベイズ最適化を用いて最適構成のParetoフロンティアを構築し、動的アプリケーション要件やチャネル条件への柔軟なランタイム適応を可能にする。 広範囲な信号-雑音比 (SNR) 条件の競合精度を維持しつつ, 浮動小数点演算の精度を向上し, 浮動小数点演算の精度を大幅に向上することを示す。 追加の結果は、チャネル品質に応じてアグレッシブなマージを調整し、要求に対する遅延とセマンティックな忠実さをトレードオフする実用的なメカニズムを提供する適応ポリシーの有効性を強調している。 これらの知見は,将来的なエッジインテリジェンスシステムにトランスフォーマーベースのセマンティックコミュニケーションを展開するための,スケーラブルで効率的なアプローチを確立している。

関連論文リスト

• Adaptive Semantic Token Communication for Transformer-based Edge Inference [15.405730528104113]
  本稿では,動的変換器を用いたディープジョイントソースチャネル符号化アーキテクチャに基づくエッジ推論のための適応的フレームワークを提案する。 我々は,情報的特徴を1サンプルあたりのユーザ指定トークン数に適応的に圧縮するセマンティックトークン選択機構を採用している。 動的ネットワーク条件下でのロバスト性を高めるために, Lyapunov 最適化に基づく資源配分アルゴリズムを組み込んだ。
  論文  参考訳（メタデータ） (2025-05-23T08:15:05Z)
• Tool-Aided Evolutionary LLM for Generative Policy Toward Efficient Resource Management in Wireless Federated Learning [20.07184763454309]
  Federated Learning (FL)は、エッジデバイス間の分散モデルトレーニングを、プライバシフレンドリな方法で実現している。 本稿では,無線FL環境におけるデバイス選択のための適切なポリシーを生成するためのツール支援進化大言語モデル(T-ELLM)を提案する。
  論文  参考訳（メタデータ） (2025-05-16T10:07:29Z)
• The Larger the Merrier? Efficient Large AI Model Inference in Wireless Edge Networks [56.37880529653111]
  大規模計算モデル(LAIM)サービスの需要は、従来のクラウドベースの推論から、低レイテンシでプライバシ保護のアプリケーションのためのエッジベースの推論へのパラダイムシフトを推進している。 本稿では,事前学習したLAIMをデバイス上のサブモデルとサーバ上のサブモデルに分割して配置するLAIM推論方式について検討する。
  論文  参考訳（メタデータ） (2025-05-14T08:18:55Z)
• Efficient Split Federated Learning for Large Language Models over Communication Networks [45.02252893286613]
  分散方式で訓練済みの大規模言語モデル(LLM)を微調整することで、リソース制約のあるエッジネットワークにおいて大きな課題が生じる。 本稿では,分割フェデレーション学習とパラメータ効率のよい微調整技術を統合する新しいフレームワークであるSflLLMを提案する。 モデル分割とローランク適応(LoRA)を活用することにより、SflLLMはエッジデバイスの計算負担を軽減する。
  論文  参考訳（メタデータ） (2025-04-20T16:16:54Z)
• Optimal Transport Adapter Tuning for Bridging Modality Gaps in Few-Shot Remote Sensing Scene Classification [80.83325513157637]
  Few-Shot Remote Sensing Scene Classification (FS-RSSC)は,限られたラベル付きサンプルを用いたリモートセンシング画像の分類の課題を示す。 理想的なプラトン表現空間を構築することを目的とした,OTAT(Optimal Transport Adapter Tuning)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-19T07:04:24Z)
• Take What You Need: Flexible Multi-Task Semantic Communications with Channel Adaptation [51.53221300103261]
  本稿では,マスク付きオートエンコーダアーキテクチャに基づく,チャネル適応型・マルチタスク対応のセマンティックコミュニケーションフレームワークについて紹介する。 チャネル認識抽出器を用いて、リアルタイムのチャネル条件に応じて、関連情報を動的に選択する。 画像再構成や物体検出などのタスクにおける従来の手法と比較して,本手法の優れた性能を示す実験結果が得られた。
  論文  参考訳（メタデータ） (2025-02-12T09:01:25Z)
• Compressed Regression over Adaptive Networks [58.79251288443156]
  分散エージェントのネットワークによって達成可能な性能を導出し,通信制約や回帰問題を解消し,適応的に解決する。 エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
  論文  参考訳（メタデータ） (2023-04-07T13:41:08Z)
• Cross-receptive Focused Inference Network for Lightweight Image Super-Resolution [64.25751738088015]
  トランスフォーマーに基づく手法は、単一画像超解像(SISR)タスクにおいて顕著な性能を示した。 動的に特徴を抽出するために文脈情報を組み込む必要がある変換器は無視される。 我々は,CNNとTransformerを混合したCTブロックのカスケードで構成される,軽量なクロスレセプティブ・フォーカスド・推論・ネットワーク(CFIN)を提案する。
  論文  参考訳（メタデータ） (2022-07-06T16:32:29Z)
• Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned Edge Learning Over Broadband Channels [69.18343801164741]
  パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。 本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
  論文  参考訳（メタデータ） (2020-10-08T15:27:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。