論文の概要: Communication-Constrained Bayesian Active Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2311.08053v1
• Date: Tue, 14 Nov 2023 10:23:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-15 14:39:22.090899
• Title: Communication-Constrained Bayesian Active Knowledge Distillation
• Title（参考訳）: コミュニケーションに制約のあるベイズアクティブ知識蒸留
• Authors: Victor Croisfelt and Shashi Raj Pandey and Osvaldo Simeone and Petar Popovski
• Abstract要約: Communication-Constrained Bayesian Active Knowledge Distillation (CC-BAKD) は、ベイズ能動学習と線形混合機構による圧縮を統合する新しいプロトコルである。 本稿では,ベイジアン能動学習と圧縮を線形混合機構により統合する新しいプロトコルであるCC-BAKDを紹介する。
• 参考スコア（独自算出の注目度）: 58.63087824264946
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Consider an active learning setting in which a learner has a training set with few labeled examples and a pool set with many unlabeled inputs, while a remote teacher has a pre-trained model that is known to perform well for the learner's task. The learner actively transmits batches of unlabeled inputs to the teacher through a constrained communication channel for labeling. This paper addresses the following key questions: (i) Active batch selection: Which batch of inputs should be sent to the teacher to acquire the most useful information and thus reduce the number of required communication rounds? (ii) Batch encoding: How do we encode the batch of inputs for transmission to the teacher to reduce the communication resources required at each round? We introduce Communication-Constrained Bayesian Active Knowledge Distillation (CC-BAKD), a novel protocol that integrates Bayesian active learning with compression via a linear mix-up mechanism. Bayesian active learning selects the batch of inputs based on their epistemic uncertainty, addressing the "confirmation bias" that is known to increase the number of required communication rounds. Furthermore, the proposed mix-up compression strategy is integrated with the epistemic uncertainty-based active batch selection process to reduce the communication overhead per communication round.
• Abstract（参考訳）: 遠隔教師が学習者のタスクに適した訓練済みモデルを持つのに対して,学習者にはほとんどラベル付き例のない学習セットとラベル付けされていない入力を多く備えたプールセットを持つアクティブな学習環境を考える。 学習者はラベル付けのための制約付き通信チャネルを介して教師にラベルなし入力のバッチを積極的に送信する。 本稿は、以下の質問に対処する。 (i)アクティブバッチ選択:最も有用な情報を取得し、必要な通信ラウンドの数を減らすために、どの入力を教師に送るべきか。 (ii)バッチエンコーディング:各ラウンドに必要な通信リソースを減らすために、教師に送信する入力のバッチをどのようにエンコードするか? 本稿では,線形混合機構によりベイズアクティブラーニングと圧縮を統合した新しいプロトコルであるcc-bakd(com communication-constrained bayesian active knowledge distillation)を提案する。 ベイズアクティブラーニングはその認識の不確実性に基づいて入力のバッチを選択し、必要なコミュニケーションラウンドの数を増やすことで知られる「確認バイアス」に対処する。 さらに,提案した混合圧縮戦略を,病的不確実性に基づくアクティブバッチ選択プロセスに統合し,通信ラウンド当たりの通信オーバーヘッドを低減する。

関連論文リスト

• Learning to Construct Implicit Communication Channel [15.362651398484633]
  入出力通信は協調型マルチエージェントシステムにおいて重要な要素である。 暗黙のコミュニケーションの学習に関するこれまでの研究は、主に心の理論(ToM)に依存している。 本稿では,暗黙的な通信チャネルを明示的に構築できるImplicit Channel Protocol (ICP) フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-03T12:58:22Z)
• Will 6G be Semantic Communications? Opportunities and Challenges from Task Oriented and Secure Communications to Integrated Sensing [49.83882366499547]
  本稿では,マルチタスク学習を統合した次世代(NextG)ネットワークにおけるタスク指向およびセマンティックコミュニケーションの機会と課題について検討する。 我々は、送信側の専用エンコーダと受信側の複数のタスク固有のデコーダを表すディープニューラルネットワークを用いる。 トレーニングとテストの段階において、敵対的攻撃に起因する潜在的な脆弱性を精査する。
  論文  参考訳（メタデータ） (2024-01-03T04:01:20Z)
• Context-aware Communication for Multi-agent Reinforcement Learning [6.109127175562235]
  マルチエージェント強化学習(MARL)のための文脈認識型コミュニケーション手法を開発した。 第1段階では、エージェントは放送方式で粗い表現を交換し、第2段階のコンテキストを提供する。 その後、エージェントは第2段階の注意機構を利用し、受信機用にパーソナライズされたメッセージを選択的に生成する。 CACOMの有効性を評価するため,アクタ批判型と値に基づくMARLアルゴリズムを併用する。
  論文  参考訳（メタデータ） (2023-12-25T03:33:08Z)
• Multi-Receiver Task-Oriented Communications via Multi-Task Deep Learning [49.83882366499547]
  本稿では、送信機が複数の受信機と通信する環境でのタスク指向通信について検討する。 複数のタスクを完了し、複数の受信機と通信する共同最適化のためのマルチタスク深層学習手法を提案する。
  論文  参考訳（メタデータ） (2023-08-14T01:34:34Z)
• Adversarial Learning for Implicit Semantic-Aware Communications [104.08383219177557]
  対戦型学習に基づく暗黙的意味認識通信アーキテクチャ(iSAC)を開発した。 我々は、iSACを適用することで、送信先のユーザは、ソースメッセージの真の推論ルールと一致する推論ルールを常に学習できることを示す。 実験結果から,提案したiSACは,既存の非推論通信ソリューションよりも最大19.69dB向上できることがわかった。
  論文  参考訳（メタデータ） (2023-01-27T08:28:12Z)
• Learning to Communicate with Intent: An Introduction [2.007345596217044]
  本稿では,通信の終了目標に基づいて,無線通信チャネル上でメッセージを送信する方法を学ぶための新しいフレームワークを提案する。 これは、送信側が送信側から送ったメッセージの正確またはほぼ一方を受信側で再生することを目的としている古典的な通信システムとは対照的である。
  論文  参考訳（メタデータ） (2022-11-17T16:02:13Z)
• Communication-Efficient and Privacy-Preserving Feature-based Federated Transfer Learning [11.758703301702012]
  フェデレーション学習は、クライアントのプライバシを保存することで、関心が高まりつつある。 無線帯域が限られているため、無線リンクによるフェデレート学習の通信効率が重要となる。 上りペイロードを5桁以上削減する革新的な手法として,特徴に基づくフェデレーション・トランスファー・ラーニングを提案する。
  論文  参考訳（メタデータ） (2022-09-12T16:48:52Z)
• Common Language for Goal-Oriented Semantic Communications: A Curriculum Learning Framework [66.81698651016444]
  目標指向タスク実行を実現するための包括的セマンティックコミュニケーションフレームワークを提案する。 カリキュラム学習(CL)と強化学習(RL)を組み合わせた新しいトップダウンフレームワークを提案する。 シミュレーションの結果,提案手法は,学習中の収束時間,タスク実行時間,送信コストにおいて従来のRLよりも優れていた。
  論文  参考訳（メタデータ） (2021-11-15T19:13:55Z)
• Exploring Zero-Shot Emergent Communication in Embodied Multi-Agent Populations [59.608216900601384]
  本研究では,3次元環境下で関節を作動させることでコミュニケーションを学ぶエージェントについて検討する。 現実的な仮定、意図の非一様分布、共通知識エネルギーコストにおいて、これらのエージェントは新規パートナーに一般化するプロトコルを見つけることができることを示す。
  論文  参考訳（メタデータ） (2020-10-29T19:23:10Z)
• Correcting Experience Replay for Multi-Agent Communication [18.12281605882891]
  マルチエージェント強化学習(MARL)を用いたコミュニケーション学習の課題について考察する。 一般的なアプローチは、リプレイバッファからサンプリングされたデータを使って、政治外を学ぶことである。 MARLにより誘導される観測通信の非定常性を考慮した「通信補正」を導入する。
  論文  参考訳（メタデータ） (2020-10-02T20:49:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。