論文の概要: Integrating Pre-Trained Language Model with Physical Layer Communications
- arxiv url: http://arxiv.org/abs/2402.11656v2
- Date: Fri, 28 Jun 2024 23:00:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-02 15:08:40.094439
- Title: Integrating Pre-Trained Language Model with Physical Layer Communications
- Title(参考訳): 物理層通信による事前学習言語モデルの統合
- Authors: Ju-Hyung Lee, Dong-Ho Lee, Joohan Lee, Jay Pujara,
- Abstract要約: 本稿では、物理層(PHY)通信機能と統合された実用的なオンデバイスAI通信フレームワークを提案する。
我々のフレームワークは、チャネルノイズによるエンドツーエンドトレーニングを取り入れ、レジリエンスを高め、ベクトル量子化変分オートエンコーダ(VQ-VAE)を効率よく堅牢な通信に組み込み、事前学習エンコーダ・デコーダ変換を用いて一般化能力を向上させる。
- 参考スコア(独自算出の注目度): 19.20941153929975
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The burgeoning field of on-device AI communication, where devices exchange information directly through embedded foundation models, such as language models (LMs), requires robust, efficient, and generalizable communication frameworks. However, integrating these frameworks with existing wireless systems and effectively managing noise and bit errors pose significant challenges. In this work, we introduce a practical ondevice AI communication framework, integrated with physical layer (PHY) communication functions, demonstrated through its performance on a link-level simulator. Our framework incorporates end-to-end training with channel noise to enhance resilience, incorporates vector quantized variational autoencoders (VQ-VAE) for efficient and robust communication, and utilizes pre-trained encoder-decoder transformers for improved generalization capabilities. Simulations, across various communication scenarios, reveal that our framework achieves a 50% reduction in transmission size while demonstrating substantial generalization ability and noise robustness under standardized 3GPP channel models.
- Abstract(参考訳): デバイスが言語モデル(LM)のような組み込み基盤モデルを通じて情報を直接交換するオンデバイスAIコミュニケーションの急成長する分野は、堅牢で効率的で一般化可能な通信フレームワークを必要とする。
しかし、これらのフレームワークを既存の無線システムに統合し、ノイズやビットエラーを効果的に管理することは大きな課題となる。
本研究では,物理層(PHY)通信機能を統合し,リンクレベルシミュレータの性能を実証する,実用的なオンデバイスAI通信フレームワークを提案する。
我々のフレームワークは、チャネルノイズによるエンドツーエンドトレーニングを取り入れ、レジリエンスを高め、ベクトル量子化変分オートエンコーダ(VQ-VAE)を効率よく堅牢な通信に組み込み、事前学習エンコーダ・デコーダ変換を用いて一般化能力を向上させる。
各種通信シナリオにまたがるシミュレーションにより,我々のフレームワークは,標準化された3GPPチャネルモデルにおいて,相当な一般化能力とノイズロバスト性を示しながら,送信サイズを50%削減できることが判明した。
関連論文リスト
- Adaptive Semantic Token Selection for AI-native Goal-oriented Communications [11.92172357956248]
本稿では,AIネイティブな目標指向通信のための新しい設計を提案する。
我々は、帯域幅と計算量に対する動的推論制約の下でトランスフォーマーニューラルネットワークを利用する。
提案手法は,最先端のトークン選択機構よりも優れていることを示す。
論文 参考訳(メタデータ) (2024-04-25T13:49:50Z) - Agent-driven Generative Semantic Communication with Cross-Modality and Prediction [57.335922373309074]
本稿では,強化学習に基づくエージェント駆動型ジェネリックセマンティックコミュニケーションフレームワークを提案する。
本研究では, エージェント支援型セマンティックエンコーダを開発し, 適応的セマンティック抽出とサンプリングを行う。
設計モデルの有効性をUA-DETRACデータセットを用いて検証し、全体的なA-GSCフレームワークの性能向上を実証した。
論文 参考訳(メタデータ) (2024-04-10T13:24:27Z) - Effective Communication with Dynamic Feature Compression [25.150266946722]
本研究では,タスクを制御するロボットに対して,観察者が知覚データを伝達しなければならないプロトタイパルシステムについて検討する。
本稿では, 量子化レベルを動的に適応させるために, アンサンブルベクトル量子化変分オートエンコーダ(VQ-VAE)を符号化し, 深層強化学習(DRL)エージェントを訓練する。
我々は、よく知られたCartPole参照制御問題に対して提案手法を検証し、大幅な性能向上を得た。
論文 参考訳(メタデータ) (2024-01-29T15:35:05Z) - Generative AI-aided Joint Training-free Secure Semantic Communications
via Multi-modal Prompts [89.04751776308656]
本稿では,多モデルプロンプトを用いたGAI支援型SemComシステムを提案する。
セキュリティ上の懸念に応えて、フレンドリーなジャマーによって支援される隠蔽通信の応用を紹介する。
論文 参考訳(メタデータ) (2023-09-05T23:24:56Z) - Design Principles for Model Generalization and Scalable AI Integration
in Radio Access Networks [2.846642778157227]
本稿では、性能向上と無線通信におけるスケーラブルなAI統合の実現において、モデル一般化を実現する上での重要な役割を強調する。
我々は,3つの主要な領域において,モデル一般化のための設計原則を概説する。堅牢性のための環境,システム目的への適応性のための意図,AI駆動制御ループの削減のための制御タスクである。
本稿では、分散データ生成と組み合わせて、トレーニングとデータ管理機能の集中化を活用する学習アーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-06-09T20:46:31Z) - Causal Semantic Communication for Digital Twins: A Generalizable
Imitation Learning Approach [74.25870052841226]
デジタルツイン(DT)は、物理世界の仮想表現と通信(例えば6G)、コンピュータ、人工知能(AI)技術を活用して、多くの接続されたインテリジェンスサービスを実現する。
無線システムは、厳密な通信制約下での情報意思決定を容易にするために意味コミュニケーション(SC)のパラダイムを利用することができる。
DTベースの無線システムでは,因果意味通信(CSC)と呼ばれる新しいフレームワークが提案されている。
論文 参考訳(メタデータ) (2023-04-25T00:15:00Z) - Semantic and Effective Communication for Remote Control Tasks with
Dynamic Feature Compression [23.36744348465991]
ロボットの群れの調整と産業システムのリモート無線制御は、5Gおよびそれ以上のシステムの主要なユースケースである。
本研究では,タスクを制御するアクターに知覚データを伝達しなければならないプロトタイパルシステムについて考察する。
本稿では,量子化レベルを動的に適応させるために,アンサンブルベクトル量子化変分オートエンコーダ(VQ-VAE)を符号化し,深層強化学習(DRL)エージェントを訓練する。
論文 参考訳(メタデータ) (2023-01-14T11:43:56Z) - Enabling the Wireless Metaverse via Semantic Multiverse Communication [82.47169682083806]
無線ネットワーク上のメタバースは、第6世代(6G)無線システムの新たなユースケースである。
メタバースを人間/機械エージェント固有のセマンティック・マルチバース(SM)に分解する新しいセマンティック・コミュニケーション・フレームワークを提案する。
各エージェントに格納されたSMは、セマンティックエンコーダとジェネレータから構成され、生成人工知能(AI)の最近の進歩を活用する。
論文 参考訳(メタデータ) (2022-12-13T21:21:07Z) - Pretraining Techniques for Sequence-to-Sequence Voice Conversion [57.65753150356411]
シークエンス・トゥ・シークエンス(seq2seq)音声変換(VC)モデルは、韻律を変換する能力によって魅力的である。
我々は,大規模コーパスが容易に利用できる他の音声処理タスク(通常,テキスト音声(TTS)と自動音声認識(ASR))から知識を伝達することを提案する。
このような事前訓練されたASRまたはTSモデルパラメータを持つVCモデルは、高忠実で高知能な変換可能な音声に対して効果的な隠れ表現を生成することができると論じる。
論文 参考訳(メタデータ) (2020-08-07T11:02:07Z) - Communication-Efficient and Distributed Learning Over Wireless Networks:
Principles and Applications [55.65768284748698]
機械学習(ML)は、第5世代(5G)通信システムなどのための有望なイネーブルである。
本稿では、関連するコミュニケーションとMLの原則を概観し、選択したユースケースでコミュニケーション効率と分散学習フレームワークを提示することを目的とする。
論文 参考訳(メタデータ) (2020-08-06T12:37:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。