論文の概要: Robust Semantic Communications with Masked VQ-VAE Enabled Codebook
- arxiv url: http://arxiv.org/abs/2206.04011v2
- Date: Wed, 19 Apr 2023 02:55:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-20 18:07:07.558331
- Title: Robust Semantic Communications with Masked VQ-VAE Enabled Codebook
- Title（参考訳）: マスクvq-vae対応コードブックによるロバストな意味コミュニケーション
- Authors: Qiyu Hu, Guangyi Zhang, Zhijin Qin, Yunlong Cai, Guanding Yu, Geoffrey
Ye Li
- Abstract要約: 本稿では,ロバストなエンドツーエンドのセマンティック通信システムにおいて,セマンティックノイズに対処するためのフレームワークを提案する。
セマンティックノイズに対処するため、重み付き対向トレーニングを開発し、トレーニングデータセットにセマンティックノイズを組み込む。
ノイズやタスク非関連の特徴を抑える機能重要モジュール (FIM) を開発した。
- 参考スコア（独自算出の注目度）: 56.63571713657059
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although semantic communications have exhibited satisfactory performance for
a large number of tasks, the impact of semantic noise and the robustness of the
systems have not been well investigated. Semantic noise refers to the
misleading between the intended semantic symbols and received ones, thus cause
the failure of tasks. In this paper, we first propose a framework for the
robust end-to-end semantic communication systems to combat the semantic noise.
In particular, we analyze sample-dependent and sample-independent semantic
noise. To combat the semantic noise, the adversarial training with weight
perturbation is developed to incorporate the samples with semantic noise in the
training dataset. Then, we propose to mask a portion of the input, where the
semantic noise appears frequently, and design the masked vector
quantized-variational autoencoder (VQ-VAE) with the noise-related masking
strategy. We use a discrete codebook shared by the transmitter and the receiver
for encoded feature representation. To further improve the system robustness,
we develop a feature importance module (FIM) to suppress the noise-related and
task-unrelated features. Thus, the transmitter simply needs to transmit the
indices of these important task-related features in the codebook. Simulation
results show that the proposed method can be applied in many downstream tasks
and significantly improve the robustness against semantic noise with remarkable
reduction on the transmission overhead.
- Abstract（参考訳）: セマンティックコミュニケーションは,多くのタスクにおいて良好な性能を示したが,セマンティックノイズの影響やシステムの堅牢性は十分に研究されていない。
セマンティックノイズ(Semantic noise)とは、意図した意味記号と受信した意味記号との誤解を招き、タスクの失敗を引き起こす。
本稿ではまず,ロバストなエンドツーエンドのセマンティック通信システムにおいて,セマンティックノイズに対処するためのフレームワークを提案する。
特に,サンプル依存とサンプル非依存のセマンティクスノイズを分析した。
セマンティックノイズに対処するために, トレーニングデータセットにセマンティックノイズを含むサンプルを組み込むために, 重量摂動による対向訓練を開発した。
そこで我々は,意味的ノイズが頻繁に現れる入力の一部をマスキングし,ノイズ関連マスキング戦略を用いて,マスク付きベクトル量子化可変オートエンコーダ(VQ-VAE)を設計する。
我々は送信機と受信機が共有する離散コードブックを用いて特徴表現を符号化する。
システムの堅牢性をさらに向上するため,ノイズやタスク非関連機能を抑制する機能重要モジュール(FIM)を開発した。
したがって、送信側はコードブックにこれらの重要なタスク関連機能の指標を送信するだけでよい。
シミュレーションの結果,提案手法は多くの下流タスクに適用でき,伝送オーバーヘッドを著しく低減し,セマンティックノイズに対するロバスト性を大幅に向上できることがわかった。
関連論文リスト
- One-step Noisy Label Mitigation [86.57572253460125]
ノイズラベルのトレーニング過程に対する有害な影響の軽減がますます重要になっている。
モデルに依存しないノイズラベル緩和パラダイムである1ステップアンチノイズ(OSA)を提案する。
我々はOSAの優位性を実証的に実証し、トレーニングの堅牢性の向上、タスク転送性の向上、デプロイメントの容易性、計算コストの削減を強調した。
論文 参考訳（メタデータ） (2024-10-02T18:42:56Z) - Effective Noise-aware Data Simulation for Domain-adaptive Speech Enhancement Leveraging Dynamic Stochastic Perturbation [25.410770364140856]
クロスドメイン音声強調(SE)は、目に見えない対象領域におけるノイズや背景情報の不足により、しばしば深刻な課題に直面している。
本研究では,ノイズ抽出技術とGANを利用した新しいデータシミュレーション手法を提案する。
本研究では,動的摂動の概念を導入し,制御された摂動を推論中の雑音埋め込みに注入する。
論文 参考訳（メタデータ） (2024-09-03T02:29:01Z) - Learning to Correct Noisy Labels for Fine-Grained Entity Typing via
Co-Prediction Prompt Tuning [9.885278527023532]
FETにおける雑音補正のためのコプレディション・プロンプト・チューニングを提案する。
ラベル付きラベルをリコールするために予測結果を統合し、区別されたマージンを用いて不正確なラベルを識別する。
広範に使われている3つのFETデータセットの実験結果から,我々のノイズ補正アプローチはトレーニングサンプルの品質を著しく向上させることが示された。
論文 参考訳（メタデータ） (2023-10-23T06:04:07Z) - DINF: Dynamic Instance Noise Filter for Occluded Pedestrian Detection [0.0]
RCNNベースの歩行者検出器は、矩形領域を使用してインスタンスの特徴を抽出する。
重なり合うオブジェクトの数とわずかに重なり合うオブジェクトの数は不均衡である。
RCNNをベースとした歩行者検知器の信号雑音比を改善するために, 繰り返し動的インスタンスノイズフィルタ (DINF) を提案する。
論文 参考訳（メタデータ） (2023-01-13T14:12:36Z) - NLIP: Noise-robust Language-Image Pre-training [95.13287735264937]
雑音調和と雑音補完という2つの手法を用いて事前学習の安定化を図るため,NLIPの原理的手法を提案する。
我々のNLIPは、画像テキスト事前学習における一般的なノイズ効果をより効率的に軽減することができる。
論文 参考訳（メタデータ） (2022-12-14T08:19:30Z) - Inference and Denoise: Causal Inference-based Neural Speech Enhancement [83.4641575757706]
本研究では、雑音の存在を介入としてモデル化することにより、因果推論パラダイムにおける音声強調(SE)課題に対処する。
提案した因果推論に基づく音声強調(CISE)は,ノイズ検出器を用いて間欠雑音音声中のクリーンフレームとノイズフレームを分離し,両フレームセットを2つのマスクベース拡張モジュール(EM)に割り当て,ノイズ条件SEを実行する。
論文 参考訳（メタデータ） (2022-11-02T15:03:50Z) - Deep Semantic Statistics Matching (D2SM) Denoising Network [70.01091467628068]
本稿では,Deep Semantic Statistics Matching (D2SM) Denoising Networkを紹介する。
事前訓練された分類ネットワークの意味的特徴を利用して、意味的特徴空間における明瞭な画像の確率的分布と暗黙的に一致させる。
識別画像のセマンティックな分布を学習することで,ネットワークの認知能力を大幅に向上させることを実証的に見出した。
論文 参考訳（メタデータ） (2022-07-19T14:35:42Z) - Robust Semantic Communications Against Semantic Noise [34.80426719511182]
まず,ロバストなエンドツーエンドのセマンティック通信システムにおいて,セマンティックノイズに対処するためのフレームワークを提案する。
そこで本研究では,意味雑音の原因を分析し,それを生成するための実用的な手法を提案する。
提案手法は,送信オーバヘッドを大幅に低減したセマンティックノイズに対するセマンティック通信システムのロバスト性を大幅に向上させる。
論文 参考訳（メタデータ） (2022-02-07T16:37:45Z) - Improving Noise Robustness of Contrastive Speech Representation Learning
with Speech Reconstruction [109.44933866397123]
実環境における音声認識システムの実現には,雑音の堅牢性が不可欠である。
雑音認識のための自己教師型フレームワークにより学習したノイズロスト表現を用いる。
ラベル付きデータのわずか16%で報告された最高の教師付きアプローチに匹敵するパフォーマンスを実現した。
論文 参考訳（メタデータ） (2021-10-28T20:39:02Z) - Timbre Transfer with Variational Auto Encoding and Cycle-Consistent
Adversarial Networks [0.6445605125467573]
本研究は,音源音の音色を目標音の音色に変換し,音質の低下を最小限に抑えた深層学習の音色伝達への適用について検討する。
この手法は、変分オートエンコーダとジェネレーティブ・アドバイサル・ネットワークを組み合わせて、音源の有意義な表現を構築し、ターゲット音声の現実的な世代を生成する。
論文 参考訳（メタデータ） (2021-09-05T15:06:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。