論文の概要: Goal-Oriented Semantic Communication for Wireless Visual Question Answering with Scene Graphs

• arxiv url: http://arxiv.org/abs/2411.02452v1
• Date: Sun, 03 Nov 2024 12:01:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 14:59:07.821118
• Title: Goal-Oriented Semantic Communication for Wireless Visual Question Answering with Scene Graphs
• Title（参考訳）: シーングラフを用いた無線視覚質問応答のためのゴール指向セマンティックコミュニケーション
• Authors: Sige Liu, Nan Li, Yansha Deng,
• Abstract要約: VQA(Visual Question Answering)は、局所的な計算制約を緩和し、自然言語による視覚知覚を加速するためにエッジコンピューティングを採用している。 本稿では,セマンティック情報を効果的に抽出し,伝達することに焦点を当てた,ゴール指向のセマンティックコミュニケーションフレームワークを提案する。 我々は,従来のビット指向伝送と比較して,応答精度を最大59%向上すると同時に,全遅延を最大65%低減することを示す。
• 参考スコア（独自算出の注目度）: 25.955883756903386
• License:
• Abstract: As demands for communication and computational capabilities escalate, traditional bit-oriented communication falls short of these stringent requirements, especially for mission-critical and computation-intensive applications. Visual Question Answering (VQA), a representative application, has adopted edge computing to mitigate local computational constraints and accelerate visual perception with natural language. However, it encounters significant communication challenges such as limited bandwidth, reduced transmission power, and increased noise levels, leading to considerable latency and reduced efficiency in image and question transmission. we propose a goal-oriented semantic communication (GSC) framework that focuses on effectively extracting and transmitting semantic information most relevant to the VQA goals, improving the answering accuracy and enhancing the effectiveness and efficiency. The objective is to maximize the answering accuracy, and we propose a scene graphs (SG)-based image semantic extraction and ranking approach to prioritize the semantic information based on the goal of questions. Experimental results demonstrate that our GSC framework improves answering accuracy by up to 59% under Rayleigh channels while reducing total latency by up to 65% compared to traditional bit-oriented transmission.
• Abstract（参考訳）: 通信と計算能力の要求がエスカレートするにつれて、従来のビット指向通信は、特にミッションクリティカルで計算集約的なアプリケーションにおいて、これらの厳密な要求に満たない。 代表的なアプリケーションであるVQA(Visual Question Answering)は、局所的な計算制約を緩和し、自然言語による視覚知覚を加速するためにエッジコンピューティングを採用している。 しかし、帯域幅の制限、送信電力の削減、ノイズレベルの増加といった重要な通信課題に直面し、遅延が著しくなり、画像や質問の伝達効率が低下する。 本稿では,VQA目標に最も関係のある意味情報を効果的に抽出し,伝達し,回答精度を向上し,有効性と効率を向上させることを目的とした,目標指向意味コミュニケーション(GSC)フレームワークを提案する。 本研究の目的は,回答の精度を最大化することであり,質問の目的に基づいてセマンティック情報を優先順位付けするためのシーングラフに基づく画像意味抽出とランキング手法を提案する。 実験結果から,従来のビット指向トランスミッションに比べて解答精度を最大59%向上し,全遅延を最大65%低減できることがわかった。

関連論文リスト

• Semantic Communication based on Large Language Model for Underwater Image Transmission [36.56805696235768]
  従来の水中通信は、低帯域幅、高レイテンシ、ノイズに対する感受性といった制限に直面している。 大規模言語モデル(LLM)に基づく新しい意味コミュニケーションフレームワークを提案する。 私たちのフレームワークは、データ全体のサイズをオリジナルの0.8%に削減します。
  論文  参考訳（メタデータ） (2024-08-08T16:46:14Z)
• Trustworthy Image Semantic Communication with GenAI: Explainablity, Controllability, and Efficiency [59.15544887307901]
  画像意味コミュニケーション(ISC)は,高効率な映像コンテンツ伝送を実現する可能性に注目されている。 既存のISCシステムは、解釈可能性、操作性、互換性の課題に直面している。 我々は、複数の下流推論タスクにGenerative Artificial Intelligence(GenAI)を利用する新しい信頼できるISCフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-07T14:32:36Z)
• Tackling Distribution Shifts in Task-Oriented Communication with Information Bottleneck [28.661084093544684]
  本稿では,情報ボトルネック(IB)原理と不変リスク最小化(IRM)フレームワークに基づく新しいアプローチを提案する。 提案手法は,効率的な領域シフト一般化のための高機能を有するコンパクトかつ情報的特徴を抽出することを目的としている。 提案手法は最先端の手法より優れ、より優れたレート歪みトレードオフを実現することを示す。
  論文  参考訳（メタデータ） (2024-05-15T17:07:55Z)
• RIS-Based On-the-Air Semantic Communications -- a Diffractional Deep Neural Network Approach [10.626169088908867]
  現在のAIベースのセマンティックコミュニケーション手法は実装にデジタルハードウェアを必要とする。 RISベースのセマンティックコミュニケーションは、光速計算、計算能力の低さ、複数のタスクを同時に処理する能力など、魅力的な機能を提供する。
  論文  参考訳（メタデータ） (2023-12-01T12:15:49Z)
• Generative AI-aided Joint Training-free Secure Semantic Communications via Multi-modal Prompts [89.04751776308656]
  本稿では,多モデルプロンプトを用いたGAI支援型SemComシステムを提案する。 セキュリティ上の懸念に応えて、フレンドリーなジャマーによって支援される隠蔽通信の応用を紹介する。
  論文  参考訳（メタデータ） (2023-09-05T23:24:56Z)
• Communication-Efficient Framework for Distributed Image Semantic Wireless Transmission [68.69108124451263]
  IoTデバイスを用いたマルチタスク分散画像伝送のためのFederated Learning-based semantic communication (FLSC)フレームワーク。 各リンクは階層型視覚変換器(HVT)ベースの抽出器とタスク適応トランスレータで構成される。 チャネル状態情報に基づく多重出力多重出力伝送モジュール。
  論文  参考訳（メタデータ） (2023-08-07T16:32:14Z)
• Reasoning over the Air: A Reasoning-based Implicit Semantic-Aware Communication Framework [124.6509194665514]
  ソースユーザと宛先ユーザの間で暗黙的な意味を表現し,伝達し,解釈するために,新しい暗黙的意味コミュニケーション(iSAC)アーキテクチャを提案する。 プロジェクションベースセマンティックエンコーダは, 明示的セマンティックスの高次元グラフィカル表現を低次元セマンティックコンステレーション空間に変換し, 効率的な物理チャネル伝送を実現する。 ソースユーザの暗黙的意味推論過程を学習し、模倣できるようにするため、G-RMLと呼ばれる生成逆模倣学習ベースのソリューションが提案されている。
  論文  参考訳（メタデータ） (2023-06-20T01:32:27Z)
• Semantic Communication Enabling Robust Edge Intelligence for Time-Critical IoT Applications [87.05763097471487]
  本稿では、時間クリティカルなIoTアプリケーションのためのセマンティック通信を用いて、堅牢なエッジインテリジェンスを設計することを目的とする。 本稿では,画像DCT係数が推定精度に与える影響を解析し,オフロードのためのチャネル非依存の有効性符号化を提案する。
  論文  参考訳（メタデータ） (2022-11-24T20:13:17Z)
• Common Language for Goal-Oriented Semantic Communications: A Curriculum Learning Framework [66.81698651016444]
  目標指向タスク実行を実現するための包括的セマンティックコミュニケーションフレームワークを提案する。 カリキュラム学習(CL)と強化学習(RL)を組み合わせた新しいトップダウンフレームワークを提案する。 シミュレーションの結果,提案手法は,学習中の収束時間,タスク実行時間,送信コストにおいて従来のRLよりも優れていた。
  論文  参考訳（メタデータ） (2021-11-15T19:13:55Z)
• Learning Task-Oriented Communication for Edge Inference: An Information Bottleneck Approach [3.983055670167878]
  ローエンドエッジ装置は、ローカルデータサンプルの抽出された特徴ベクトルを強力なエッジサーバに送信して処理する。 帯域幅が限られているため、データを低遅延推論のための情報的かつコンパクトな表現に符号化することが重要である。 特徴抽出,ソース符号化,チャネル符号化を協調的に最適化する学習型通信方式を提案する。
  論文  参考訳（メタデータ） (2021-02-08T12:53:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。