論文の概要: Multi-Modal Self-Supervised Semantic Communication

• arxiv url: http://arxiv.org/abs/2503.13940v1
• Date: Tue, 18 Mar 2025 06:13:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 14:14:47.334837
• Title: Multi-Modal Self-Supervised Semantic Communication
• Title（参考訳）: マルチモーダル自己監督型セマンティックコミュニケーション
• Authors: Hang Zhao, Hongru Li, Dongfang Xu, Shenghui Song, Khaled B. Letaief,
• Abstract要約: 本稿では,マルチモーダルな自己教師型学習を活用し,タスク非依存の特徴抽出を強化するマルチモーダルセマンティックコミュニケーションシステムを提案する。 提案手法は,訓練関連通信オーバーヘッドを最小限に抑えつつ,モダリティの不変性とモダリティ特有の特徴の両方を効果的に捉えている。 この結果は、セマンティックコミュニケーションにおけるマルチモーダルな自己教師型学習の利点を浮き彫りにし、より効率的でスケーラブルなエッジ推論システムへの道を開いた。
• 参考スコア（独自算出の注目度）: 52.76990720898666
• License:
• Abstract: Semantic communication is emerging as a promising paradigm that focuses on the extraction and transmission of semantic meanings using deep learning techniques. While current research primarily addresses the reduction of semantic communication overhead, it often overlooks the training phase, which can incur significant communication costs in dynamic wireless environments. To address this challenge, we propose a multi-modal semantic communication system that leverages multi-modal self-supervised learning to enhance task-agnostic feature extraction. The proposed approach employs self-supervised learning during the pre-training phase to extract task-agnostic semantic features, followed by supervised fine-tuning for downstream tasks. This dual-phase strategy effectively captures both modality-invariant and modality-specific features while minimizing training-related communication overhead. Experimental results on the NYU Depth V2 dataset demonstrate that the proposed method significantly reduces training-related communication overhead while maintaining or exceeding the performance of existing supervised learning approaches. The findings underscore the advantages of multi-modal self-supervised learning in semantic communication, paving the way for more efficient and scalable edge inference systems.
• Abstract（参考訳）: 意味的コミュニケーションは、深層学習技術を用いた意味的意味の抽出と伝達に焦点を当てた、有望なパラダイムとして浮上している。 現在の研究は、主にセマンティック通信のオーバーヘッドの低減に対処しているが、動的無線環境においてかなりの通信コストを発生させる訓練段階を見落としていることが多い。 この課題に対処するために,マルチモーダルな自己教師付き学習を活用し,タスクに依存しない特徴抽出を強化するマルチモーダル意味コミュニケーションシステムを提案する。 提案手法では、事前学習期間中に自己教師付き学習を用いてタスクに依存しない意味的特徴を抽出し、次いで下流タスクの教師付き微調整を行う。 このデュアルフェーズ戦略は、トレーニング関連の通信オーバーヘッドを最小限に抑えつつ、モダリティ不変性とモダリティ固有の特徴の両方を効果的にキャプチャする。 The NYU Depth V2 dataset on the experimental results on the NYU Depth V2 dataset showed that the proposed method is significantly reduce to training-related communication overhead while maintaining the performance of existing supervised learning approach。 この結果は、セマンティックコミュニケーションにおけるマルチモーダルな自己教師型学習の利点を浮き彫りにし、より効率的でスケーラブルなエッジ推論システムへの道を開いた。

関連論文リスト

• BMIP: Bi-directional Modality Interaction Prompt Learning for VLM [18.196058385987506]
  本稿では,$underlinetextbfBi-directional underlinetextbfModality underlinetextbfInteraction underlinetextbfPrompt (BMIP)$という新しいプロンプト学習手法を提案する。 BMIPは、注目層の情報を学習し、単純な情報集約法と比較して、訓練性およびモーダル間整合性を高めることにより、バイモーダル情報を重み付けする。
  論文  参考訳（メタデータ） (2025-01-14T00:59:55Z)
• Semantic Communication for Cooperative Perception using HARQ [51.148203799109304]
  我々は重要セマンティック情報を抽出するために重要地図を活用し、協調的な知覚セマンティックコミュニケーションフレームワークを導入する。 周波数分割多重化(OFDM)とチャネル推定と等化戦略を併用して,時間変化によるマルチパスフェーディングによる課題に対処する。 我々は,ハイブリッド自動繰り返し要求(HARQ)の精神において,我々の意味コミュニケーションフレームワークと統合された新しい意味エラー検出手法を提案する。
  論文  参考訳（メタデータ） (2024-08-29T08:53:26Z)
• Semantic Communication for Cooperative Multi-Task Processing over Wireless Networks [8.766411351797885]
  一つの観察から複数の意味論的解釈を可能にする「意味源」の概念を導入する。 通信チャネルを考慮したエンドツーエンド最適化問題を定式化した。 この結果から,協調型マルチタスキングが必ずしも有用であるとは限らないことが示唆された。
  論文  参考訳（メタデータ） (2024-04-12T14:03:41Z)
• Incomplete Multimodal Learning for Remote Sensing Data Fusion [12.822457129596824]
  遠隔センシングデータ融合タスクにおけるマルチモーダルトランスフォーマーネットワークの成功には,自己注意操作によるマルチモーダル信号の接続機構が鍵となる。 従来のアプローチでは、トレーニングと推論の両方の間、すべてのモダリティへのアクセスを前提としており、下流アプリケーションでモーダル不完全入力を扱う場合、深刻な劣化を引き起こす可能性がある。 提案手法は,リモートセンシングデータ融合の文脈において,不完全なマルチモーダル学習のための新しいモデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T12:16:52Z)
• Cognitive Semantic Communication Systems Driven by Knowledge Graph: Principle, Implementation, and Performance Evaluation [74.38561925376996]
  単一ユーザと複数ユーザのコミュニケーションシナリオに対して,認知意味コミュニケーションフレームワークが2つ提案されている。 知識グラフから推論規則をマイニングすることにより,効果的な意味補正アルゴリズムを提案する。 マルチユーザ認知型セマンティックコミュニケーションシステムにおいて,異なるユーザのメッセージを識別するために,メッセージ復元アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-15T12:01:43Z)
• Emergent Quantized Communication [34.31732248872158]
  本稿では,メッセージの量子化という,離散的なコミュニケーションを実現するための代替手法を提案する。 メッセージの量子化により、モデルのエンドツーエンドのトレーニングが可能になり、複数のセットアップで優れたパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2022-11-04T12:39:45Z)
• Effective Adaptation in Multi-Task Co-Training for Unified Autonomous Driving [103.745551954983]
  本稿では,3つの下流タスクにおけるMoCoやSimCLRなど,多種多様な自己監督手法の転送性能について検討する。 彼らのパフォーマンスは、サブ最適か、あるいはシングルタスクベースラインよりもはるかに遅れていることに気付きました。 汎用マルチタスクトレーニングのための,単純かつ効果的な事前訓練-適応-ファインチューンパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-09-19T12:15:31Z)
• Semantics-Depth-Symbiosis: Deeply Coupled Semi-Supervised Learning of Semantics and Depth [83.94528876742096]
  我々は,意味的セグメンテーションと深さ推定という2つの密なタスクのMTL問題に取り組み,クロスチャネル注意モジュール(CCAM)と呼ばれる新しいアテンションモジュールを提案する。 次に,AffineMixと呼ばれる予測深度を用いた意味分節タスクのための新しいデータ拡張と,ColorAugと呼ばれる予測セマンティクスを用いた単純な深度増分を定式化する。 最後に,提案手法の性能向上をCityscapesデータセットで検証し,深度と意味に基づく半教師付きジョイントモデルにおける最先端結果の実現を支援する。
  論文  参考訳（メタデータ） (2022-06-21T17:40:55Z)
• Common Language for Goal-Oriented Semantic Communications: A Curriculum Learning Framework [66.81698651016444]
  目標指向タスク実行を実現するための包括的セマンティックコミュニケーションフレームワークを提案する。 カリキュラム学習(CL)と強化学習(RL)を組み合わせた新しいトップダウンフレームワークを提案する。 シミュレーションの結果,提案手法は,学習中の収束時間,タスク実行時間,送信コストにおいて従来のRLよりも優れていた。
  論文  参考訳（メタデータ） (2021-11-15T19:13:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。