論文の概要: Toward Adaptive Semantic Communications: Efficient Data Transmission via
Online Learned Nonlinear Transform Source-Channel Coding
- arxiv url: http://arxiv.org/abs/2211.04339v3
- Date: Wed, 24 May 2023 15:13:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-26 03:02:31.720267
- Title: Toward Adaptive Semantic Communications: Efficient Data Transmission via
Online Learned Nonlinear Transform Source-Channel Coding
- Title（参考訳）: アダプティブ・セマンティクス・コミュニケーションに向けて:オンライン学習非線形トランスフォーメーション・ソース・チャネル符号化による効率的なデータ伝送
- Authors: Jincheng Dai, Sixian Wang, Ke Yang, Kailin Tan, Xiaoqi Qin, Zhongwei
Si, Kai Niu, Ping Zhang
- Abstract要約: 深層学習モデルの過剰適合性を利用したオンライン学習型ジョイントソースとチャネルコーディング手法を提案する。
具体的には,市販の事前訓練型モデルを軽量なオンライン方式で展開し,ソースデータと環境領域の分散シフトに適応させる。
私たちはオーバーフィットの概念を極端に捉え、モデルや表現を個々のデータやチャネル状態インスタンスに適応させる実装フレンドリな一連のメソッドを提案します。
- 参考スコア（独自算出の注目度）: 11.101344530143303
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The emerging field semantic communication is driving the research of
end-to-end data transmission. By utilizing the powerful representation ability
of deep learning models, learned data transmission schemes have exhibited
superior performance than the established source and channel coding methods.
While, so far, research efforts mainly concentrated on architecture and model
improvements toward a static target domain. Despite their successes, such
learned models are still suboptimal due to the limitations in model capacity
and imperfect optimization and generalization, particularly when the testing
data distribution or channel response is different from that adopted for model
training, as is likely to be the case in real-world. To tackle this, we propose
a novel online learned joint source and channel coding approach that leverages
the deep learning model's overfitting property. Specifically, we update the
off-the-shelf pre-trained models after deployment in a lightweight online
fashion to adapt to the distribution shifts in source data and environment
domain. We take the overfitting concept to the extreme, proposing a series of
implementation-friendly methods to adapt the codec model or representations to
an individual data or channel state instance, which can further lead to
substantial gains in terms of the bandwidth ratio-distortion performance. The
proposed methods enable the communication-efficient adaptation for all
parameters in the network without sacrificing decoding speed. Our experiments,
including user study, on continually changing target source data and wireless
channel environments, demonstrate the effectiveness and efficiency of our
approach, on which we outperform existing state-of-the-art engineered
transmission scheme (VVC combined with 5G LDPC coded transmission).
- Abstract（参考訳）: 新興分野のセマンティックコミュニケーションは、エンドツーエンドのデータ伝送の研究を駆動している。
ディープラーニングモデルの強力な表現能力を利用することで、学習データ伝送方式は確立されたソースおよびチャネル符号化方式よりも優れた性能を示している。
研究は主に静的なターゲットドメインに向けたアーキテクチャとモデルの改善に集中しています。
それらの成功にもかかわらず、これらの学習モデルはモデルキャパシティの制限と不完全な最適化と一般化のため、特にテストデータ分散やチャネル応答がモデルトレーニングで採用されているものとは異なる場合、依然としてサブ最適である。
そこで本研究では,深層学習モデルの過剰適合性を生かした,新しいオンライン学習ジョイントソースとチャネルコーディング手法を提案する。
具体的には,市販のトレーニング済みモデルを軽量なオンライン方式で展開し,ソースデータと環境領域の分散シフトに適応させる。
オーバーフィッティングの概念を極端に捉え、コーデックモデルや表現を個々のデータやチャネル状態インスタンスに適応させる一連の実装フレンドリーな手法を提案し、帯域幅比・歪み性能の点でさらに大きな利益をもたらす可能性がある。
提案手法は,デコード速度を犠牲にすることなく,ネットワーク内の全てのパラメータに対する通信効率の適応を可能にする。
ユーザによる目標データと無線チャネル環境の継続的な変更を含む実験は,既存の最先端技術伝送方式(VVCと5G LDPC符号化伝送方式)より優れていることを示す。
関連論文リスト
- Adaptive Anomaly Detection in Network Flows with Low-Rank Tensor Decompositions and Deep Unrolling [9.20186865054847]
異常検出(AD)は、将来の通信システムのレジリエンスを確保するための重要な要素として、ますます認識されている。
この研究は、不完全測定を用いたネットワークフローにおけるADについて考察する。
本稿では,正規化モデル適合性に基づくブロック帰属凸近似アルゴリズムを提案する。
ベイズ的アプローチに触発されて、我々はモデルアーキテクチャを拡張し、フローごとのオンライン適応とステップごとの統計処理を行う。
論文 参考訳（メタデータ） (2024-09-17T19:59:57Z) - Learn from the Learnt: Source-Free Active Domain Adaptation via Contrastive Sampling and Visual Persistence [60.37934652213881]
ドメイン適応(DA)は、ソースドメインから関連するターゲットドメインへの知識伝達を容易にする。
本稿では、ソースデータフリーなアクティブドメイン適応(SFADA)という実用的なDAパラダイムについて検討する。
本稿では,学習者学習(LFTL)というSFADAの新たなパラダイムを紹介し,学習した学習知識を事前学習モデルから活用し,余分なオーバーヘッドを伴わずにモデルを積極的に反復する。
論文 参考訳（メタデータ） (2024-07-26T17:51:58Z) - Modeling of Time-varying Wireless Communication Channel with Fading and Shadowing [0.0]
本稿では,ディープラーニングニューラルネットワークと混合密度ネットワークモデルを組み合わせて,受信電力の条件付き確率密度関数を導出する手法を提案する。
経路損失とノイズを伴う中上フェーディングチャネルモデルと対数正規シャドーイングチャネルモデルの実験により、新しいアプローチは従来のディープラーニングベースチャネルモデルよりも統計的に正確で、高速で、より堅牢であることが示された。
論文 参考訳（メタデータ） (2024-05-13T21:30:50Z) - Diffusion-Based Neural Network Weights Generation [80.89706112736353]
D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。
本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。
我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
論文 参考訳（メタデータ） (2024-02-28T08:34:23Z) - Consistency Regularization for Generalizable Source-free Domain
Adaptation [62.654883736925456]
ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。
既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。
より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-03T07:45:53Z) - Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
独立サブネットワークトレーニング(IST)の理論的考察
ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。
圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
論文 参考訳（メタデータ） (2023-06-28T18:14:22Z) - Joint Task and Data Oriented Semantic Communications: A Deep Separate
Source-channel Coding Scheme [17.4244108919728]
データ伝達とセマンティックタスクの両方に役立てるために、共同データ圧縮とセマンティック分析がセマンティックコミュニケーションにおいて重要な問題となっている。
本稿では,共同作業とデータ指向のセマンティックコミュニケーションのためのディープ・ソースチャネル・コーディング・フレームワークを提案する。
深層学習モデルの過度な問題に対処するために,反復学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-02-27T08:34:37Z) - Rethinking the Role of Pre-Trained Networks in Source-Free Domain
Adaptation [26.481422574715126]
ソースフリードメイン適応(SFDA)は、完全にラベル付けされたソースドメインでトレーニングされたソースモデルを、ラベル付けされていないターゲットドメインに適応させることを目的としている。
大規模データ事前トレーニングネットワークは、ソーストレーニング中にソースモデルを初期化するために使用され、その後破棄される。
本稿では,事前学習されたネットワークを対象適応プロセスに統合し,一般化に重要な特徴を多様化することを提案する。
論文 参考訳（メタデータ） (2022-12-15T02:25:22Z) - Learning to Continuously Optimize Wireless Resource in a Dynamic
Environment: A Bilevel Optimization Perspective [52.497514255040514]
この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。
学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。
我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
論文 参考訳（メタデータ） (2021-05-03T07:23:39Z) - Learning Task-Oriented Communication for Edge Inference: An Information
Bottleneck Approach [3.983055670167878]
ローエンドエッジ装置は、ローカルデータサンプルの抽出された特徴ベクトルを強力なエッジサーバに送信して処理する。
帯域幅が限られているため、データを低遅延推論のための情報的かつコンパクトな表現に符号化することが重要である。
特徴抽出,ソース符号化,チャネル符号化を協調的に最適化する学習型通信方式を提案する。
論文 参考訳（メタデータ） (2021-02-08T12:53:32Z) - Modality Compensation Network: Cross-Modal Adaptation for Action
Recognition [77.24983234113957]
異なるモダリティの関係を探索するためのモダリティ補償ネットワーク(MCN)を提案する。
我々のモデルは、適応表現学習を実現するために、モーダリティ適応ブロックによって、ソースおよび補助モーダリティからのデータをブリッジする。
実験の結果,MCNは4つの広く使用されている行動認識ベンチマークにおいて,最先端のアプローチよりも優れていることがわかった。
論文 参考訳（メタデータ） (2020-01-31T04:51:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。