論文の概要: Tackling Distribution Shifts in Task-Oriented Communication with Information Bottleneck

• arxiv url: http://arxiv.org/abs/2405.09514v1
• Date: Wed, 15 May 2024 17:07:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-16 12:46:35.001339
• Title: Tackling Distribution Shifts in Task-Oriented Communication with Information Bottleneck
• Title（参考訳）: 情報ボトルネックを用いたタスク指向通信における分散シフトの対応
• Authors: Hongru Li, Jiawei Shao, Hengtao He, Shenghui Song, Jun Zhang, Khaled B. Letaief,
• Abstract要約: 本稿では,情報ボトルネック(IB)原理と不変リスク最小化(IRM)フレームワークに基づく新しいアプローチを提案する。 提案手法は,効率的な領域シフト一般化のための高機能を有するコンパクトかつ情報的特徴を抽出することを目的としている。 提案手法は最先端の手法より優れ、より優れたレート歪みトレードオフを実現することを示す。
• 参考スコア（独自算出の注目度）: 28.661084093544684
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Task-oriented communication aims to extract and transmit task-relevant information to significantly reduce the communication overhead and transmission latency. However, the unpredictable distribution shifts between training and test data, including domain shift and semantic shift, can dramatically undermine the system performance. In order to tackle these challenges, it is crucial to ensure that the encoded features can generalize to domain-shifted data and detect semanticshifted data, while remaining compact for transmission. In this paper, we propose a novel approach based on the information bottleneck (IB) principle and invariant risk minimization (IRM) framework. The proposed method aims to extract compact and informative features that possess high capability for effective domain-shift generalization and accurate semantic-shift detection without any knowledge of the test data during training. Specifically, we propose an invariant feature encoding approach based on the IB principle and IRM framework for domainshift generalization, which aims to find the causal relationship between the input data and task result by minimizing the complexity and domain dependence of the encoded feature. Furthermore, we enhance the task-oriented communication with the label-dependent feature encoding approach for semanticshift detection which achieves joint gains in IB optimization and detection performance. To avoid the intractable computation of the IB-based objective, we leverage variational approximation to derive a tractable upper bound for optimization. Extensive simulation results on image classification tasks demonstrate that the proposed scheme outperforms state-of-the-art approaches and achieves a better rate-distortion tradeoff.
• Abstract（参考訳）: タスク指向通信は、タスク関連情報を抽出し、送信し、通信オーバーヘッドと送信遅延を大幅に低減することを目的としている。 しかし、ドメインシフトやセマンティックシフトを含むトレーニングデータとテストデータの予測不可能な分散シフトは、システムパフォーマンスを劇的に損なう可能性がある。 これらの課題に対処するためには、符号化された機能がドメインシフトデータに一般化され、セマンティックシフトされたデータを検出しながら、送信のためにコンパクトであることを保証することが不可欠である。 本稿では,情報ボトルネック(IB)原理と不変リスク最小化(IRM)フレームワークに基づく新しいアプローチを提案する。 提案手法は,学習中のテストデータを知ることなく,効果的なドメインシフト一般化と正確なセマンティックシフト検出の能力を有するコンパクトかつ情報的な特徴を抽出することを目的としている。 具体的には、ドメインシフト一般化のためのICB原則とIRMフレームワークに基づく不変な特徴符号化手法を提案し、符号化された特徴の複雑さとドメイン依存性を最小限に抑えて、入力データとタスク結果の因果関係を見つけることを目的とする。 さらに,IB最適化と検出性能において,協調的なゲインを実現するセマンティックシフト検出のためのラベル依存特徴符号化手法によるタスク指向通信を強化した。 Intractable compute of the IB-based objective, we leverage using variational approximation to der derived a tractable upper bound for optimization。 画像分類タスクの広範囲なシミュレーション結果から,提案手法は最先端の手法より優れ,より優れた速度歪みトレードオフを実現することが示された。

関連論文リスト

• Distributed Event-Based Learning via ADMM [11.461617927469316]
  エージェントがネットワーク上で情報を交換することで,グローバルな目的関数を最小限に抑える分散学習問題を考える。 提案手法には2つの特徴がある: (i) 必要なときにのみ通信をトリガーすることで通信を大幅に削減し, (ii) 異なるエージェント間のデータ分散に非依存である。
  論文  参考訳（メタデータ） (2024-05-17T08:30:28Z)
• PREM: A Simple Yet Effective Approach for Node-Level Graph Anomaly Detection [65.24854366973794]
  ノードレベルのグラフ異常検出(GAD)は、医学、ソーシャルネットワーク、eコマースなどの分野におけるグラフ構造化データから異常ノードを特定する上で重要な役割を果たす。 本稿では,GADの効率を向上させるために,PREM (preprocessing and Matching) という簡単な手法を提案する。 我々のアプローチは、強力な異常検出機能を維持しながら、GADを合理化し、時間とメモリ消費を削減します。
  論文  参考訳（メタデータ） (2023-10-18T02:59:57Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• Compressed Regression over Adaptive Networks [58.79251288443156]
  分散エージェントのネットワークによって達成可能な性能を導出し,通信制約や回帰問題を解消し,適応的に解決する。 エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
  論文  参考訳（メタデータ） (2023-04-07T13:41:08Z)
• Joint Task and Data Oriented Semantic Communications: A Deep Separate Source-channel Coding Scheme [17.4244108919728]
  データ伝達とセマンティックタスクの両方に役立てるために、共同データ圧縮とセマンティック分析がセマンティックコミュニケーションにおいて重要な問題となっている。 本稿では,共同作業とデータ指向のセマンティックコミュニケーションのためのディープ・ソースチャネル・コーディング・フレームワークを提案する。 深層学習モデルの過度な問題に対処するために,反復学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-27T08:34:37Z)
• Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification in the Presence of Data Heterogeneity [60.791736094073]
  通信オーバーヘッドは、ディープニューラルネットワークの分散トレーニングにおいて、大きなボトルネックのひとつになっています。 本稿では,SIGNSGDの非収束問題に対処する等級化方式を提案する。 提案手法は,Fashion-MNIST, CIFAR-10, CIFAR-100データセットを用いて検証した。
  論文  参考訳（メタデータ） (2023-02-19T17:42:35Z)
• Balancing Discriminability and Transferability for Source-Free Domain Adaptation [55.143687986324935]
  従来のドメイン適応(DA)技術は、ドメイン不変表現を学習することでドメイン転送性を改善することを目的としている。 ラベル付けされたソースとラベル付けされていないターゲットへの同時アクセス要件は、ソースフリーなDA設定に適さない。 そこで本研究では,原文と翻訳サンプルの混在が識別可能性と伝達可能性のトレードオフを促進することを示す新しい知見を導出する。
  論文  参考訳（メタデータ） (2022-06-16T09:06:22Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)
• Task-Oriented Communication for Multi-Device Cooperative Edge Inference [14.249444124834719]
  協調エッジ推論は、単一デバイスの限られた感知能力を克服することができるが、通信オーバーヘッドを大幅に増加させ、過度の遅延を引き起こす可能性がある。 タスク指向方式で局所特徴抽出と分散特徴符号化を最適化する学習型通信方式を提案する。
  論文  参考訳（メタデータ） (2021-09-01T03:56:20Z)
• Robust Representation Learning via Perceptual Similarity Metrics [18.842322467828502]
  Contrastive Input Morphing (CIM) はデータの入力空間変換を学習する表現学習フレームワークである。 CIMは他の相互情報に基づく表現学習技術と相補的であることを示す。
  論文  参考訳（メタデータ） (2021-06-11T21:45:44Z)
• Learning Task-Oriented Communication for Edge Inference: An Information Bottleneck Approach [3.983055670167878]
  ローエンドエッジ装置は、ローカルデータサンプルの抽出された特徴ベクトルを強力なエッジサーバに送信して処理する。 帯域幅が限られているため、データを低遅延推論のための情報的かつコンパクトな表現に符号化することが重要である。 特徴抽出,ソース符号化,チャネル符号化を協調的に最適化する学習型通信方式を提案する。
  論文  参考訳（メタデータ） (2021-02-08T12:53:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。