論文の概要: Adaptive Semantic Communications: Overfitting the Source and Channel for Profit

• arxiv url: http://arxiv.org/abs/2211.04339v1
• Date: Tue, 8 Nov 2022 16:00:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 17:29:44.864901
• Title: Adaptive Semantic Communications: Overfitting the Source and Channel for Profit
• Title（参考訳）: Adaptive Semantic Communications: 収益のためにソースとチャネルをオーバーフィットする
• Authors: Jincheng Dai, Sixian Wang, Ke Yang, Kailin Tan, Xiaoqi Qin, Zhongwei Si, Kai Niu, Ping Zhang
• Abstract要約: 深層学習モデルの過剰適合性を利用した新しい意味コミュニケーションパラダイムを提案する。 我々のASCシステムでは、無線伝送ストリームの成分は、ソースデータのセマンティック表現と適応デコーダモデルパラメータの両方を含む。 特に、過度に適合したコーディングパラダイムの実質的な利益は、セマンティックコミュニケーションを新しい時代へとアップグレードさせるのに役立てることができる。
• 参考スコア（独自算出の注目度）: 11.101344530143303
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most semantic communication systems leverage deep learning models to provide end-to-end transmission performance surpassing the established source and channel coding approaches. While, so far, research has mainly focused on architecture and model improvements, but such a model trained over a full dataset and ergodic channel responses is unlikely to be optimal for every test instance. Due to limitations on the model capacity and imperfect optimization and generalization, such learned models will be suboptimal especially when the testing data distribution or channel response is different from that in the training phase, as is likely to be the case in practice. To tackle this, in this paper, we propose a novel semantic communication paradigm by leveraging the deep learning model's overfitting property. Our model can for instance be updated after deployment, which can further lead to substantial gains in terms of the transmission rate-distortion (RD) performance. This new system is named adaptive semantic communication (ASC). In our ASC system, the ingredients of wireless transmitted stream include both the semantic representations of source data and the adapted decoder model parameters. Specifically, we take the overfitting concept to the extreme, proposing a series of ingenious methods to adapt the semantic codec or representations to an individual data or channel state instance. The whole ASC system design is formulated as an optimization problem whose goal is to minimize the loss function that is a tripartite tradeoff among the data rate, model rate, and distortion terms. The experiments (including user study) verify the effectiveness and efficiency of our ASC system. Notably, the substantial gain of our overfitted coding paradigm can catalyze semantic communication upgrading to a new era.
• Abstract（参考訳）: ほとんどのセマンティック通信システムは、ディープラーニングモデルを利用して、確立されたソースおよびチャネルコーディングアプローチを超えるエンドツーエンドの伝送性能を提供する。 これまでの研究は主にアーキテクチャとモデルの改善に重点を置いてきたが、完全なデータセットとエルゴードチャネル応答でトレーニングされたようなモデルは、テストインスタンス毎に最適ではない。 モデルキャパシティの制限と不完全な最適化と一般化のため、このような学習モデルは、特にテストデータ分布やチャネル応答がトレーニングフェーズと異なる場合、実際にはそうである可能性が高い場合、最適以下である。 そこで本研究では,深層学習モデルの過剰適合性を利用した新しい意味コミュニケーションパラダイムを提案する。 例えば、我々のモデルはデプロイ後に更新できるため、送信速度歪み(RD)のパフォーマンスに関してさらに大きな向上をもたらす可能性がある。 この新しいシステムはadaptive semantic communication (asc) と呼ばれる。 我々のASCシステムでは、無線伝送ストリームの成分は、ソースデータのセマンティック表現と適応デコーダモデルパラメータの両方を含む。 具体的には、オーバーフィットの概念を極端に捉え、セマンティックコーデックや表現を個々のデータやチャネル状態インスタンスに適応させる一連の巧妙な手法を提案します。 ASCシステム全体の設計は、データレート、モデルレート、歪み項の3つのトレードオフである損失関数を最小化する最適化問題として定式化される。 実験(ユーザスタディを含む)は、ascシステムの有効性と効率を検証する。 特に、過度に適合したコーディングパラダイムのかなりの利益は、セマンティックコミュニケーションを新しい時代へとアップグレードする触媒となる。

関連論文リスト

• Adaptive Anomaly Detection in Network Flows with Low-Rank Tensor Decompositions and Deep Unrolling [9.20186865054847]
  異常検出(AD)は、将来の通信システムのレジリエンスを確保するための重要な要素として、ますます認識されている。 この研究は、不完全測定を用いたネットワークフローにおけるADについて考察する。 本稿では,正規化モデル適合性に基づくブロック帰属凸近似アルゴリズムを提案する。 ベイズ的アプローチに触発されて、我々はモデルアーキテクチャを拡張し、フローごとのオンライン適応とステップごとの統計処理を行う。
  論文  参考訳（メタデータ） (2024-09-17T19:59:57Z)
• Learn from the Learnt: Source-Free Active Domain Adaptation via Contrastive Sampling and Visual Persistence [60.37934652213881]
  ドメイン適応(DA)は、ソースドメインから関連するターゲットドメインへの知識伝達を容易にする。 本稿では、ソースデータフリーなアクティブドメイン適応(SFADA)という実用的なDAパラダイムについて検討する。 本稿では,学習者学習(LFTL)というSFADAの新たなパラダイムを紹介し,学習した学習知識を事前学習モデルから活用し,余分なオーバーヘッドを伴わずにモデルを積極的に反復する。
  論文  参考訳（メタデータ） (2024-07-26T17:51:58Z)
• Modeling of Time-varying Wireless Communication Channel with Fading and Shadowing [0.0]
  本稿では,ディープラーニングニューラルネットワークと混合密度ネットワークモデルを組み合わせて,受信電力の条件付き確率密度関数を導出する手法を提案する。 経路損失とノイズを伴う中上フェーディングチャネルモデルと対数正規シャドーイングチャネルモデルの実験により、新しいアプローチは従来のディープラーニングベースチャネルモデルよりも統計的に正確で、高速で、より堅牢であることが示された。
  論文  参考訳（メタデータ） (2024-05-13T21:30:50Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Joint Task and Data Oriented Semantic Communications: A Deep Separate Source-channel Coding Scheme [17.4244108919728]
  データ伝達とセマンティックタスクの両方に役立てるために、共同データ圧縮とセマンティック分析がセマンティックコミュニケーションにおいて重要な問題となっている。 本稿では,共同作業とデータ指向のセマンティックコミュニケーションのためのディープ・ソースチャネル・コーディング・フレームワークを提案する。 深層学習モデルの過度な問題に対処するために,反復学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-27T08:34:37Z)
• Rethinking the Role of Pre-Trained Networks in Source-Free Domain Adaptation [26.481422574715126]
  ソースフリードメイン適応(SFDA)は、完全にラベル付けされたソースドメインでトレーニングされたソースモデルを、ラベル付けされていないターゲットドメインに適応させることを目的としている。 大規模データ事前トレーニングネットワークは、ソーストレーニング中にソースモデルを初期化するために使用され、その後破棄される。 本稿では,事前学習されたネットワークを対象適応プロセスに統合し,一般化に重要な特徴を多様化することを提案する。
  論文  参考訳（メタデータ） (2022-12-15T02:25:22Z)
• Learning to Continuously Optimize Wireless Resource in a Dynamic Environment: A Bilevel Optimization Perspective [52.497514255040514]
  この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。 学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。 我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
  論文  参考訳（メタデータ） (2021-05-03T07:23:39Z)
• Learning Task-Oriented Communication for Edge Inference: An Information Bottleneck Approach [3.983055670167878]
  ローエンドエッジ装置は、ローカルデータサンプルの抽出された特徴ベクトルを強力なエッジサーバに送信して処理する。 帯域幅が限られているため、データを低遅延推論のための情報的かつコンパクトな表現に符号化することが重要である。 特徴抽出,ソース符号化,チャネル符号化を協調的に最適化する学習型通信方式を提案する。
  論文  参考訳（メタデータ） (2021-02-08T12:53:32Z)
• Modality Compensation Network: Cross-Modal Adaptation for Action Recognition [77.24983234113957]
  異なるモダリティの関係を探索するためのモダリティ補償ネットワーク(MCN)を提案する。 我々のモデルは、適応表現学習を実現するために、モーダリティ適応ブロックによって、ソースおよび補助モーダリティからのデータをブリッジする。 実験の結果,MCNは4つの広く使用されている行動認識ベンチマークにおいて,最先端のアプローチよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-01-31T04:51:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。