論文の概要: Communication-Constrained Bayesian Active Knowledge Distillation
- arxiv url: http://arxiv.org/abs/2311.08053v1
- Date: Tue, 14 Nov 2023 10:23:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-15 14:39:22.090899
- Title: Communication-Constrained Bayesian Active Knowledge Distillation
- Title(参考訳): コミュニケーションに制約のあるベイズアクティブ知識蒸留
- Authors: Victor Croisfelt and Shashi Raj Pandey and Osvaldo Simeone and Petar
Popovski
- Abstract要約: Communication-Constrained Bayesian Active Knowledge Distillation (CC-BAKD) は、ベイズ能動学習と線形混合機構による圧縮を統合する新しいプロトコルである。
本稿では,ベイジアン能動学習と圧縮を線形混合機構により統合する新しいプロトコルであるCC-BAKDを紹介する。
- 参考スコア(独自算出の注目度): 58.63087824264946
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Consider an active learning setting in which a learner has a training set
with few labeled examples and a pool set with many unlabeled inputs, while a
remote teacher has a pre-trained model that is known to perform well for the
learner's task. The learner actively transmits batches of unlabeled inputs to
the teacher through a constrained communication channel for labeling. This
paper addresses the following key questions: (i) Active batch selection: Which
batch of inputs should be sent to the teacher to acquire the most useful
information and thus reduce the number of required communication rounds? (ii)
Batch encoding: How do we encode the batch of inputs for transmission to the
teacher to reduce the communication resources required at each round? We
introduce Communication-Constrained Bayesian Active Knowledge Distillation
(CC-BAKD), a novel protocol that integrates Bayesian active learning with
compression via a linear mix-up mechanism. Bayesian active learning selects the
batch of inputs based on their epistemic uncertainty, addressing the
"confirmation bias" that is known to increase the number of required
communication rounds. Furthermore, the proposed mix-up compression strategy is
integrated with the epistemic uncertainty-based active batch selection process
to reduce the communication overhead per communication round.
- Abstract(参考訳): 遠隔教師が学習者のタスクに適した訓練済みモデルを持つのに対して,学習者にはほとんどラベル付き例のない学習セットとラベル付けされていない入力を多く備えたプールセットを持つアクティブな学習環境を考える。
学習者はラベル付けのための制約付き通信チャネルを介して教師にラベルなし入力のバッチを積極的に送信する。
本稿は、以下の質問に対処する。
(i)アクティブバッチ選択:最も有用な情報を取得し、必要な通信ラウンドの数を減らすために、どの入力を教師に送るべきか。
(ii)バッチエンコーディング:各ラウンドに必要な通信リソースを減らすために、教師に送信する入力のバッチをどのようにエンコードするか?
本稿では,線形混合機構によりベイズアクティブラーニングと圧縮を統合した新しいプロトコルであるcc-bakd(com communication-constrained bayesian active knowledge distillation)を提案する。
ベイズアクティブラーニングはその認識の不確実性に基づいて入力のバッチを選択し、必要なコミュニケーションラウンドの数を増やすことで知られる「確認バイアス」に対処する。
さらに,提案した混合圧縮戦略を,病的不確実性に基づくアクティブバッチ選択プロセスに統合し,通信ラウンド当たりの通信オーバーヘッドを低減する。
関連論文リスト
- Will 6G be Semantic Communications? Opportunities and Challenges from
Task Oriented and Secure Communications to Integrated Sensing [49.83882366499547]
本稿では,マルチタスク学習を統合した次世代(NextG)ネットワークにおけるタスク指向およびセマンティックコミュニケーションの機会と課題について検討する。
我々は、送信側の専用エンコーダと受信側の複数のタスク固有のデコーダを表すディープニューラルネットワークを用いる。
トレーニングとテストの段階において、敵対的攻撃に起因する潜在的な脆弱性を精査する。
論文 参考訳(メタデータ) (2024-01-03T04:01:20Z) - Context-aware Communication for Multi-agent Reinforcement Learning [7.217124472104234]
マルチエージェント強化学習(MARL)のための文脈認識型コミュニケーション手法を開発した。
第1段階では、エージェントは放送方式で粗い表現を交換し、第2段階のコンテキストを提供する。
その後、エージェントは第2段階の注意機構を利用し、受信機用にパーソナライズされたメッセージを選択的に生成する。
CACOMの有効性を評価するため,アクタ批判型と値に基づくMARLアルゴリズムを併用する。
論文 参考訳(メタデータ) (2023-12-25T03:33:08Z) - Multi-Receiver Task-Oriented Communications via Multi-Task Deep Learning [49.83882366499547]
本稿では、送信機が複数の受信機と通信する環境でのタスク指向通信について検討する。
複数のタスクを完了し、複数の受信機と通信する共同最適化のためのマルチタスク深層学習手法を提案する。
論文 参考訳(メタデータ) (2023-08-14T01:34:34Z) - PLAR: Prompt Learning for Action Recognition [56.57236976757388]
我々は,行動認識のためのプロンプト学習(PLAR)という新しい一般学習手法を提案する。
提案手法は,モデルが入力ビデオのアクションに関連する記述や指示に焦点を合わせることで,アクションラベルを予測できるように設計されている。
我々は,空中マルチエージェントデータセットOkutamamの3.110-7.2%の精度向上と地上カメラ単一エージェントデータセットSomesome V2の1.0-3.6%の改善を観察した。
論文 参考訳(メタデータ) (2023-05-21T11:51:09Z) - Efficient Communication via Self-supervised Information Aggregation for
Online and Offline Multi-agent Reinforcement Learning [12.334522644561591]
MARL(Multi-Agent Reinforcement Learning)の協調学習において,効率的なメッセージアグリゲーションは協調に不可欠である,と我々は主張する。
本稿では, エージェントが受信したメッセージをコンパクトな表現に集約し, ローカルポリシーの強化に高い関連性を持たせることができる, 自己教師型情報集約(MASIA)によるマルチエージェント通信を提案する。
私たちはマルチエージェント通信のためのオフラインベンチマークを構築しています。
論文 参考訳(メタデータ) (2023-02-19T16:02:16Z) - Learning to Communicate with Intent: An Introduction [2.007345596217044]
本稿では,通信の終了目標に基づいて,無線通信チャネル上でメッセージを送信する方法を学ぶための新しいフレームワークを提案する。
これは、送信側が送信側から送ったメッセージの正確またはほぼ一方を受信側で再生することを目的としている古典的な通信システムとは対照的である。
論文 参考訳(メタデータ) (2022-11-17T16:02:13Z) - Communication-Efficient and Privacy-Preserving Feature-based Federated
Transfer Learning [11.758703301702012]
フェデレーション学習は、クライアントのプライバシを保存することで、関心が高まりつつある。
無線帯域が限られているため、無線リンクによるフェデレート学習の通信効率が重要となる。
上りペイロードを5桁以上削減する革新的な手法として,特徴に基づくフェデレーション・トランスファー・ラーニングを提案する。
論文 参考訳(メタデータ) (2022-09-12T16:48:52Z) - Common Language for Goal-Oriented Semantic Communications: A Curriculum
Learning Framework [66.81698651016444]
目標指向タスク実行を実現するための包括的セマンティックコミュニケーションフレームワークを提案する。
カリキュラム学習(CL)と強化学習(RL)を組み合わせた新しいトップダウンフレームワークを提案する。
シミュレーションの結果,提案手法は,学習中の収束時間,タスク実行時間,送信コストにおいて従来のRLよりも優れていた。
論文 参考訳(メタデータ) (2021-11-15T19:13:55Z) - Quasi-Equivalence Discovery for Zero-Shot Emergent Communication [63.175848843466845]
ゼロショットコーディネーション(ZSC)を実現するための新しい問題設定と準等価探索アルゴリズムを提案する。
これらの2つの要因が参照ゲームにおいて一意に最適なZSCポリシーをもたらすことを示す。
QEDはこの設定における対称性を反復的に発見することができ、最適なZSCポリシーに収束する。
論文 参考訳(メタデータ) (2021-03-14T23:42:37Z) - Correcting Experience Replay for Multi-Agent Communication [18.12281605882891]
マルチエージェント強化学習(MARL)を用いたコミュニケーション学習の課題について考察する。
一般的なアプローチは、リプレイバッファからサンプリングされたデータを使って、政治外を学ぶことである。
MARLにより誘導される観測通信の非定常性を考慮した「通信補正」を導入する。
論文 参考訳(メタデータ) (2020-10-02T20:49:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。