論文の概要: Task-Oriented Semantic Communication in Large Multimodal Models-based Vehicle Networks

• arxiv url: http://arxiv.org/abs/2505.02413v1
• Date: Mon, 05 May 2025 07:18:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-06 18:49:35.584555
• Title: Task-Oriented Semantic Communication in Large Multimodal Models-based Vehicle Networks
• Title（参考訳）: 大規模マルチモーダルモデルに基づく自動車ネットワークにおけるタスク指向セマンティック通信
• Authors: Baoxia Du, Hongyang Du, Dusit Niyato, Ruidong Li,
• Abstract要約: LMMに基づく車両用AIアシスタントLarge Language and Vision Assistant(LLaVA)について検討する。 計算要求を減らし、応答時間を短縮するため、LLaVAの画像スライシングを最適化し、ユーザにとって最も関心のある領域に選択的にフォーカスする。 交通シナリオに対する視覚質問応答(VQA)データセットを構築し,有効性を評価する。
• 参考スコア（独自算出の注目度）: 55.32199894495722
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Task-oriented semantic communication has emerged as a fundamental approach for enhancing performance in various communication scenarios. While recent advances in Generative Artificial Intelligence (GenAI), such as Large Language Models (LLMs), have been applied to semantic communication designs, the potential of Large Multimodal Models (LMMs) remains largely unexplored. In this paper, we investigate an LMM-based vehicle AI assistant using a Large Language and Vision Assistant (LLaVA) and propose a task-oriented semantic communication framework to facilitate efficient interaction between users and cloud servers. To reduce computational demands and shorten response time, we optimize LLaVA's image slicing to selectively focus on areas of utmost interest to users. Additionally, we assess the importance of image patches by combining objective and subjective user attention, adjusting energy usage for transmitting semantic information. This strategy optimizes resource utilization, ensuring precise transmission of critical information. We construct a Visual Question Answering (VQA) dataset for traffic scenarios to evaluate effectiveness. Experimental results show that our semantic communication framework significantly increases accuracy in answering questions under the same channel conditions, performing particularly well in environments with poor Signal-to-Noise Ratios (SNR). Accuracy can be improved by 13.4% at an SNR of 12dB and 33.1% at 10dB, respectively.
• Abstract（参考訳）: タスク指向のセマンティックコミュニケーションは,様々なコミュニケーションシナリオにおけるパフォーマンス向上の基本的なアプローチとして登場した。 近年,Large Language Models (LLMs) などのジェネレーティブ・人工知能(GenAI)の進歩がセマンティック・コミュニケーション・デザインに応用されているが,Large Multimodal Models (LMMs) の可能性はほとんど未解明のままである。 本稿では,Large Language and Vision Assistant (LLaVA) を用いたLMMベースの車載AIアシスタントについて検討し,ユーザとクラウドサーバ間の効率的な対話を容易にするタスク指向のセマンティックコミュニケーションフレームワークを提案する。 計算要求を減らし、応答時間を短縮するため、LLaVAの画像スライシングを最適化し、ユーザにとって最も関心のある領域に選択的にフォーカスする。 さらに,主観的および主観的ユーザ注意を組み合わせることで画像パッチの重要性を評価し,セマンティック情報を伝達するためのエネルギー使用量を調整する。 この戦略は資源利用を最適化し、重要な情報の正確な伝達を保証する。 交通シナリオに対する視覚質問応答(VQA)データセットを構築し,有効性を評価する。 実験結果から,SNR(Signal-to-Noise Ratios)が低い環境では,同じチャネル条件下での質問に対する応答の精度が有意に向上することが示唆された。 精度は、それぞれ12dBのSNRで13.4%、10dBで33.1%向上できる。

関連論文リスト

• Joint Adaptive OFDM and Reinforcement Learning Design for Autonomous Vehicles: Leveraging Age of Updates [2.607046313483251]
  ミリ波を用いた周波数分割多重化(OFDM)は高分解能センシングと高速データ伝送に適した代替手段である。 本研究では,AVがキュー状態情報(QSI)とチャネル状態情報(CSI)を,通信とセンシングを管理するための強化学習技術とともに利用する自律走行車ネットワークについて考察する。
  論文  参考訳（メタデータ） (2024-12-24T15:32:58Z)
• Goal-Oriented Semantic Communication for Wireless Visual Question Answering [68.75814200517854]
  本稿では,視覚質問応答(VQA)の性能向上を目的とした目標指向セマンティックコミュニケーション(GSC)フレームワークを提案する。 本稿では,BBoxを用いた画像意味抽出とランク付け手法を提案し,質問の目的に基づいてセマンティック情報を優先順位付けする。 実験の結果,本フレームワークはAWGNチャネルで49%,Rayleighチャネルで59%の精度で解答精度を向上することがわかった。
  論文  参考訳（メタデータ） (2024-11-03T12:01:18Z)
• Semantic Communication for Cooperative Perception using HARQ [51.148203799109304]
  我々は重要セマンティック情報を抽出するために重要地図を活用し、協調的な知覚セマンティックコミュニケーションフレームワークを導入する。 周波数分割多重化(OFDM)とチャネル推定と等化戦略を併用して,時間変化によるマルチパスフェーディングによる課題に対処する。 我々は,ハイブリッド自動繰り返し要求(HARQ)の精神において,我々の意味コミュニケーションフレームワークと統合された新しい意味エラー検出手法を提案する。
  論文  参考訳（メタデータ） (2024-08-29T08:53:26Z)
• Adaptive Resource Allocation for Semantic Communication Networks [34.189531352110386]
  本稿では,意味的量子化効率(SQE)や伝送遅延などのセマンティック通信ネットワークにおけるサービス品質について検討する。 全体として有効なSC-QoSを最大化する問題は、基地局、ビット意味表現、サブチャネル割り当て、およびセマンティックリソース割り当てを共同で送信することで定式化される。 本設計では, セマンティックノイズに効果的に対処でき, 無線通信において, 複数のベンチマーク方式と比較して優れた性能が得られる。
  論文  参考訳（メタデータ） (2023-12-02T09:12:12Z)
• Semantic Communication Enabling Robust Edge Intelligence for Time-Critical IoT Applications [87.05763097471487]
  本稿では、時間クリティカルなIoTアプリケーションのためのセマンティック通信を用いて、堅牢なエッジインテリジェンスを設計することを目的とする。 本稿では,画像DCT係数が推定精度に与える影響を解析し,オフロードのためのチャネル非依存の有効性符号化を提案する。
  論文  参考訳（メタデータ） (2022-11-24T20:13:17Z)
• Performance Optimization for Semantic Communications: An Attention-based Reinforcement Learning Approach [187.4094332217186]
  テキストデータ伝送のためのセマンティック通信フレームワークを提案する。 回復したテキストの意味的精度と完全性を共同でキャプチャする意味的類似度尺度(MSS)を提案する。
  論文  参考訳（メタデータ） (2022-08-17T11:39:16Z)
• Towards Human-Agent Communication via the Information Bottleneck Principle [19.121541894577298]
  これら3つの要因(実用性、情報性、複雑さ)のトレーディングが、いかに創発的なコミュニケーションを形作るかを研究する。 本稿では,連続空間に埋め込まれた離散信号に入力を圧縮するニューラルネットワークを訓練するVector-Quantized Variational Information Bottleneck (VQ-VIB)を提案する。
  論文  参考訳（メタデータ） (2022-06-30T20:10:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。