論文の概要: Editable-DeepSC: Reliable Cross-Modal Semantic Communications for Facial Editing

• arxiv url: http://arxiv.org/abs/2411.15702v1
• Date: Sun, 24 Nov 2024 04:07:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:18:24.654794
• Title: Editable-DeepSC: Reliable Cross-Modal Semantic Communications for Facial Editing
• Title（参考訳）: Editable-DeepSC: 顔編集のための信頼性の高いクロスプラットフォームセマンティックコミュニケーション
• Authors: Bin Chen, Wenbo Yu, Qinshan Zhang, Shu-Tao Xia,
• Abstract要約: 顔編集のための新しい意味コミュニケーション手法であるEditable-DeepSCを提案する。 実験により、Editable-DeepSCは、伝送帯域を大幅に節約しつつ、優れた編集を実現できることが示された。
• 参考スコア（独自算出の注目度）: 45.66741599550691
• License:
• Abstract: Real-time computer vision (CV) plays a crucial role in various real-world applications, whose performance is highly dependent on communication networks. Nonetheless, the data-oriented characteristics of conventional communications often do not align with the special needs of real-time CV tasks. To alleviate this issue, the recently emerged semantic communications only transmit task-related semantic information and exhibit a promising landscape to address this problem. However, the communication challenges associated with Semantic Facial Editing, one of the most important real-time CV applications on social media, still remain largely unexplored. In this paper, we fill this gap by proposing Editable-DeepSC, a novel cross-modal semantic communication approach for facial editing. Firstly, we theoretically discuss different transmission schemes that separately handle communications and editings, and emphasize the necessity of Joint Editing-Channel Coding (JECC) via iterative attributes matching, which integrates editings into the communication chain to preserve more semantic mutual information. To compactly represent the high-dimensional data, we leverage inversion methods via pre-trained StyleGAN priors for semantic coding. To tackle the dynamic channel noise conditions, we propose SNR-aware channel coding via model fine-tuning. Extensive experiments indicate that Editable-DeepSC can achieve superior editings while significantly saving the transmission bandwidth, even under high-resolution and out-of-distribution (OOD) settings.
• Abstract（参考訳）: リアルタイムコンピュータビジョン(CV)は、様々な実世界のアプリケーションにおいて重要な役割を担い、その性能は通信ネットワークに大きく依存している。 それにもかかわらず、従来の通信におけるデータ指向特性は、リアルタイムCVタスクの特別なニーズと一致しないことが多い。 この問題を緩和するために、最近登場したセマンティックコミュニケーションは、タスク関連のセマンティック情報のみを送信し、この問題に対処するための有望な展望を示す。 しかし、ソーシャルメディア上で最も重要なリアルタイムCVアプリケーションの一つであるSemantic Facial Editingに関連するコミュニケーション上の課題は、いまだほとんど解明されていない。 本稿では,顔編集のための新しい意味コミュニケーション手法であるEditable-DeepSCを提案することで,このギャップを埋める。 まず,コミュニケーションと編集を別々に扱う異なる送信方式について理論的に議論し,より意味的な相互情報を保持するために,編集をコミュニケーションチェーンに統合する反復的属性マッチングによる共同編集・チャネル符号化(JECC)の必要性を強調した。 高次元データをコンパクトに表現するために,事前学習したStyleGANプリエンプティブを用いたインバージョン手法を利用する。 動的チャネルノイズ条件に対処するために,モデル微調整によるSNR対応チャネル符号化を提案する。 大規模な実験により、Editable-DeepSCは高い解像度とアウト・オブ・ディストリビューション(OOD)設定下であっても、伝送帯域を大幅に節約しながら、優れた編集が可能であることが示されている。

関連論文リスト

• Take What You Need: Flexible Multi-Task Semantic Communications with Channel Adaptation [51.53221300103261]
  本稿では,マスク付きオートエンコーダアーキテクチャに基づく,チャネル適応型・マルチタスク対応のセマンティックコミュニケーションフレームワークについて紹介する。 チャネル認識抽出器を用いて、リアルタイムのチャネル条件に応じて、関連情報を動的に選択する。 画像再構成や物体検出などのタスクにおける従来の手法と比較して,本手法の優れた性能を示す実験結果が得られた。
  論文  参考訳（メタデータ） (2025-02-12T09:01:25Z)
• Scene Understanding Enabled Semantic Communication with Open Channel Coding [3.255136948268739]
  従来のセマンティックコミュニケーションは、静的コーディング戦略、一般化の貧弱、適応性を阻害するタスク固有の知識ベースへの依存など、制限に直面している。 シーン理解,Large Language Models (LLM) とオープンチャネル符号化を組み合わせた新しいシステム textbfOpenSC を提案する。 実験の結果,セマンティック理解と効率の両面で有意な改善がみられ,6Gネットワークにおける適応的,一般化可能なセマンティックコミュニケーションの可能性が高まった。
  論文  参考訳（メタデータ） (2025-01-24T14:23:31Z)
• Cross-Layer Encrypted Semantic Communication Framework for Panoramic Video Transmission [11.438045765196332]
  パノラマビデオ伝送のための層間暗号化セマンティック通信(CLESC)フレームワークを提案する。 セマンティック情報の重要性に基づいて,CRC,チャネル符号化,再送方式を動的に調整する適応型クロス層伝送機構を提案する。 従来のクロス層伝送方式と比較して、CLESCフレームワークは帯域幅を85%削減できる。
  論文  参考訳（メタデータ） (2024-11-19T07:18:38Z)
• Semantic Communication for Cooperative Perception using HARQ [51.148203799109304]
  我々は重要セマンティック情報を抽出するために重要地図を活用し、協調的な知覚セマンティックコミュニケーションフレームワークを導入する。 周波数分割多重化(OFDM)とチャネル推定と等化戦略を併用して,時間変化によるマルチパスフェーディングによる課題に対処する。 我々は,ハイブリッド自動繰り返し要求(HARQ)の精神において,我々の意味コミュニケーションフレームワークと統合された新しい意味エラー検出手法を提案する。
  論文  参考訳（メタデータ） (2024-08-29T08:53:26Z)
• Trustworthy Image Semantic Communication with GenAI: Explainablity, Controllability, and Efficiency [59.15544887307901]
  画像意味コミュニケーション(ISC)は,高効率な映像コンテンツ伝送を実現する可能性に注目されている。 既存のISCシステムは、解釈可能性、操作性、互換性の課題に直面している。 我々は、複数の下流推論タスクにGenerative Artificial Intelligence(GenAI)を利用する新しい信頼できるISCフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-07T14:32:36Z)
• Multi-level Reliability Interface for Semantic Communications over Wireless Networks [5.9056146376982]
  ジョイントソースチャネル符号化(JSCC)は、ソースメッセージをチャネル入力シンボルに直接マッピングする。 本稿では,新しいマルチレベル信頼性インタフェースを用いて,ソースマッピングとチャネルマッピングを個別に,順次に設計することを提案する。 この研究は、無線ネットワークにおける意味コミュニケーションの実現に向けた重要なステップである。
  論文  参考訳（メタデータ） (2024-07-07T20:15:10Z)
• Generative AI-aided Joint Training-free Secure Semantic Communications via Multi-modal Prompts [89.04751776308656]
  本稿では,多モデルプロンプトを用いたGAI支援型SemComシステムを提案する。 セキュリティ上の懸念に応えて、フレンドリーなジャマーによって支援される隠蔽通信の応用を紹介する。
  論文  参考訳（メタデータ） (2023-09-05T23:24:56Z)
• Semantic-Native Communication: A Simplicial Complex Perspective [50.099494681671224]
  トポロジカル空間の観点から意味コミュニケーションを研究する。 送信機はまずデータを$k$の単純複素数にマッピングし、その高次相関を学習する。 受信機は構造を復号し、行方不明または歪んだデータを推測する。
  論文  参考訳（メタデータ） (2022-10-30T22:33:44Z)
• Learning Task-Oriented Communication for Edge Inference: An Information Bottleneck Approach [3.983055670167878]
  ローエンドエッジ装置は、ローカルデータサンプルの抽出された特徴ベクトルを強力なエッジサーバに送信して処理する。 帯域幅が限られているため、データを低遅延推論のための情報的かつコンパクトな表現に符号化することが重要である。 特徴抽出,ソース符号化,チャネル符号化を協調的に最適化する学習型通信方式を提案する。
  論文  参考訳（メタデータ） (2021-02-08T12:53:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。