論文の概要: Adaptive Semantic Token Selection for AI-native Goal-oriented Communications

• arxiv url: http://arxiv.org/abs/2405.02330v1
• Date: Thu, 25 Apr 2024 13:49:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-12 15:50:33.705942
• Title: Adaptive Semantic Token Selection for AI-native Goal-oriented Communications
• Title（参考訳）: AIネイティブなゴール指向通信のための適応的意味的トークン選択
• Authors: Alessio Devoto, Simone Petruzzi, Jary Pomponi, Paolo Di Lorenzo, Simone Scardapane,
• Abstract要約: 本稿では,AIネイティブな目標指向通信のための新しい設計を提案する。 我々は、帯域幅と計算量に対する動的推論制約の下でトランスフォーマーニューラルネットワークを利用する。 提案手法は,最先端のトークン選択機構よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 11.92172357956248
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a novel design for AI-native goal-oriented communications, exploiting transformer neural networks under dynamic inference constraints on bandwidth and computation. Transformers have become the standard architecture for pretraining large-scale vision and text models, and preliminary results have shown promising performance also in deep joint source-channel coding (JSCC). Here, we consider a dynamic model where communication happens over a channel with variable latency and bandwidth constraints. Leveraging recent works on conditional computation, we exploit the structure of the transformer blocks and the multihead attention operator to design a trainable semantic token selection mechanism that learns to select relevant tokens (e.g., image patches) from the input signal. This is done dynamically, on a per-input basis, with a rate that can be chosen as an additional input by the user. We show that our model improves over state-of-the-art token selection mechanisms, exhibiting high accuracy for a wide range of latency and bandwidth constraints, without the need for deploying multiple architectures tailored to each constraint. Last, but not least, the proposed token selection mechanism helps extract powerful semantics that are easy to understand and explain, paving the way for interpretable-by-design models for the next generation of AI-native communication systems.
• Abstract（参考訳）: 本稿では,帯域幅と計算量に対する動的推論制約の下でトランスフォーマーニューラルネットワークを利用する,AIネイティブな目標指向通信のための新しい設計法を提案する。 トランスフォーマーは大規模ビジョンとテキストモデルを事前学習するための標準アーキテクチャとなり、予備的な結果は、ディープジョイントソースチャネル符号化(JSCC)においても有望な性能を示している。 本稿では、可変レイテンシと帯域幅制約のあるチャネル上で通信を行う動的モデルについて考察する。 入力信号から関連するトークン(例えば画像パッチ)を選択することを学習するトレーニング可能な意味トークン選択機構を設計するために,トランスフォーマブロックとマルチヘッドアテンション演算子の構造を利用する。 これは、ユーザによって追加入力として選択できるレートで、インプットごとに動的に実行される。 提案モデルでは,各制約に合わせて複数のアーキテクチャをデプロイすることなく,幅広いレイテンシと帯域幅の制約に対して高い精度を示すことにより,最先端のトークン選択機構よりも改良されていることを示す。 最後に、重要なこととして、提案されたトークン選択メカニズムは、理解しやすく説明しやすい強力なセマンティクスを抽出し、次世代のAIネイティブ通信システムのための解釈可能な設計モデルを構築するのに役立つ。

関連論文リスト

• AI Flow at the Network Edge [58.31090055138711]
  AI Flowは、デバイス、エッジノード、クラウドサーバ間で利用可能な異種リソースを共同で活用することで、推論プロセスを合理化するフレームワークである。 この記事では、AI Flowのモチベーション、課題、原則を特定するためのポジションペーパーとして機能する。
  論文  参考訳（メタデータ） (2024-11-19T12:51:17Z)
• Trustworthy Image Semantic Communication with GenAI: Explainablity, Controllability, and Efficiency [59.15544887307901]
  画像意味コミュニケーション(ISC)は,高効率な映像コンテンツ伝送を実現する可能性に注目されている。 既存のISCシステムは、解釈可能性、操作性、互換性の課題に直面している。 我々は、複数の下流推論タスクにGenerative Artificial Intelligence(GenAI)を利用する新しい信頼できるISCフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-07T14:32:36Z)
• Agent-driven Generative Semantic Communication with Cross-Modality and Prediction [57.335922373309074]
  本稿では,強化学習に基づくエージェント駆動型ジェネリックセマンティックコミュニケーションフレームワークを提案する。 本研究では, エージェント支援型セマンティックエンコーダを開発し, 適応的セマンティック抽出とサンプリングを行う。 設計モデルの有効性をUA-DETRACデータセットを用いて検証し、全体的なA-GSCフレームワークの性能向上を実証した。
  論文  参考訳（メタデータ） (2024-04-10T13:24:27Z)
• Integrating Pre-Trained Language Model with Physical Layer Communications [19.20941153929975]
  本稿では、物理層(PHY)通信機能と統合された実用的なオンデバイスAI通信フレームワークを提案する。 我々のフレームワークは、チャネルノイズによるエンドツーエンドトレーニングを取り入れ、レジリエンスを高め、ベクトル量子化変分オートエンコーダ(VQ-VAE)を効率よく堅牢な通信に組み込み、事前学習エンコーダ・デコーダ変換を用いて一般化能力を向上させる。
  論文  参考訳（メタデータ） (2024-02-18T17:27:51Z)
• Todyformer: Towards Holistic Dynamic Graph Transformers with Structure-Aware Tokenization [6.799413002613627]
  Todyformerは、動的グラフに適したトランスフォーマーベースのニューラルネットワークである。 メッセージパッシングニューラルネットワーク(MPNN)のローカルエンコーディング能力とトランスフォーマーのグローバルエンコーディング能力を統合する。 Todyformerは、ダウンストリームタスクの最先端メソッドよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-02T23:05:30Z)
• Rate-Adaptive Coding Mechanism for Semantic Communications With Multi-Modal Data [23.597759255020296]
  本稿では,従来のチャネルエンコーダ/デコーダを組み込んだ分散マルチモーダルセマンティック通信フレームワークを提案する。 様々な種類のマルチモーダルなセマンティックタスクに対して、一般的なレート適応型符号化機構を確立する。 シミュレーションの結果,提案手法は従来のコミュニケーションシステムと既存のセマンティック通信システムより優れていることがわかった。
  論文  参考訳（メタデータ） (2023-05-18T07:31:37Z)
• Task-Oriented Sensing, Computation, and Communication Integration for Multi-Device Edge AI [108.08079323459822]
  本稿では,AIモデルの分割推論と統合センシング通信(ISAC)を併用した,新しいマルチインテリジェントエッジ人工レイテンシ(AI)システムについて検討する。 推定精度は近似的だが抽出可能な計量、すなわち判別利得を用いて測定する。
  論文  参考訳（メタデータ） (2022-07-03T06:57:07Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)
• Learning Task-Oriented Communication for Edge Inference: An Information Bottleneck Approach [3.983055670167878]
  ローエンドエッジ装置は、ローカルデータサンプルの抽出された特徴ベクトルを強力なエッジサーバに送信して処理する。 帯域幅が限られているため、データを低遅延推論のための情報的かつコンパクトな表現に符号化することが重要である。 特徴抽出,ソース符号化,チャネル符号化を協調的に最適化する学習型通信方式を提案する。
  論文  参考訳（メタデータ） (2021-02-08T12:53:32Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。