論文の概要: Collaborative Best Arm Identification with Limited Communication on
Non-IID Data
- arxiv url: http://arxiv.org/abs/2207.08015v1
- Date: Sat, 16 Jul 2022 21:06:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-20 07:49:30.841405
- Title: Collaborative Best Arm Identification with Limited Communication on
Non-IID Data
- Title(参考訳): 非IIDデータを用いた限られた通信による協調的ベストアーム識別
- Authors: Nikolai Karpov and Qin Zhang
- Abstract要約: 非IIDデータを用いた協調学習モデルにおいて、タイムスピードアップと学習プロセスのコミュニケーションラウンド数とのトレードオフについて検討する。
学習過程における適応性は,非IIDデータ設定においてあまり役に立たないことを示す。
- 参考スコア(独自算出の注目度): 6.861971769602314
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we study the tradeoffs between time-speedup and the number of
communication rounds of the learning process in the collaborative learning
model on non-IID data, where multiple agents interact with possibly different
environments and they want to learn an objective in the aggregated environment.
We use a basic problem in bandit theory called best arm identification in
multi-armed bandits as a vehicle to deliver the following conceptual message:
Collaborative learning on non-IID data is provably more difficult than that
on IID data.
In particular, we show the following:
a) The speedup in the non-IID data setting can be less than $1$ (that is, a
slowdown). When the number of rounds $R = O(1)$, we will need at least a
polynomial number of agents (in terms of the number of arms) to achieve a
speedup greater than $1$. This is in sharp contrast with the IID data setting,
in which the speedup is always at least $1$ when $R \ge 2$ regardless of number
of agents.
b) Adaptivity in the learning process cannot help much in the non-IID data
setting. This is in sharp contrast with the IID data setting, in which to
achieve the same speedup, the best non-adaptive algorithm requires a
significantly larger number of rounds than the best adaptive algorithm.
In the technique space, we have further developed the generalized round
elimination technique introduced in arXiv:1904.03293. We show that implicit
representations of distribution classes can be very useful when working with
complex hard input distributions and proving lower bounds directly for adaptive
algorithms.
- Abstract(参考訳): 本稿では,非iidデータを用いた協調学習モデルにおいて,複数のエージェントが潜在的に異なる環境と相互作用し,集約された環境で目標を学習したい場合の,学習プロセスの時間短縮とコミュニケーションラウンド数とのトレードオフについて検討する。
我々は、マルチアームバンディットにおけるベストアーム識別と呼ばれるバンディット理論の基本的問題を用いて、以下の概念的メッセージを提供する。
特に、下記のとおりである。
a)IID以外のデータ設定のスピードアップは、1ドル以下(つまりスローダウン)にできる。
ラウンド数が$R = O(1)$のとき、最低でも1ドル以上のスピードアップを達成するためには、(武器の数に関して)エージェントの多項式数が必要である。
これは、エージェント数に関係なく$r \ge 2$の場合、スピードアップが少なくとも1ドルであるiidデータセットとは全く対照的である。
b) 学習プロセスにおける適応性は,非IIDデータ設定においてあまり役に立たない。
これは、同じスピードアップを達成するために、最高の非適応アルゴリズムは、最適な適応アルゴリズムよりもはるかに多くのラウンドを必要とするIDDデータ設定とは対照的である。
技術分野では、arXiv:1904.03293で導入された一般化円形除去技術をさらに発展させた。
複雑なハードインプット分布を扱い、適応アルゴリズムの下位境界を直接証明する場合、分布クラスの暗黙的な表現は非常に有用であることを示す。
関連論文リスト
- Multimodal Learned Sparse Retrieval with Probabilistic Expansion Control [66.78146440275093]
学習検索(LSR)は、クエリとドキュメントを疎語彙ベクトルにエンコードするニューラルネットワークのファミリーである。
テキスト画像検索に焦点をあて,マルチモーダル領域へのLSRの適用について検討する。
LexLIPやSTAIRのような現在のアプローチでは、大規模なデータセットで複雑なマルチステップのトレーニングが必要です。
提案手法は, 密度ベクトルを凍結密度モデルからスパース語彙ベクトルへ効率的に変換する。
論文 参考訳(メタデータ) (2024-02-27T14:21:56Z) - Asynchronous Local Computations in Distributed Bayesian Learning [8.516532665507835]
本稿では,高速な計算と通信オーバヘッドを同時に低減するために,ゴシップに基づく通信を提案する。
我々は、特に低データ範囲において、より高速な初期収束と性能精度の向上を観察する。
UCI MLレポジトリのガンマ望遠鏡とmHealthデータセットで,それぞれ平均78%,90%以上の分類精度を達成した。
論文 参考訳(メタデータ) (2023-11-06T20:11:41Z) - Boosting Commit Classification with Contrastive Learning [0.8655526882770742]
コミット分類(CC)は、ソフトウェアのメンテナンスにおいて重要なタスクである。
対照的な学習に基づくコミット分類フレームワークを提案する。
われわれのフレームワークはCCの問題をシンプルに解決できるが、スプリットショットのシナリオでは効果的に解決できる。
論文 参考訳(メタデータ) (2023-08-16T10:02:36Z) - Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。
我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
論文 参考訳(メタデータ) (2022-10-14T01:42:05Z) - Unsupervised Domain Adaptive Learning via Synthetic Data for Person
Re-identification [101.1886788396803]
人物再識別(re-ID)は、ビデオ監視に広く応用されているため、ますます注目を集めている。
残念なことに、主流のディープラーニング手法では、モデルをトレーニングするために大量のラベル付きデータが必要です。
本稿では,コンピュータゲーム内で合成されたre-IDサンプルを自動的に生成するデータコレクタを開発し,同時にアノテートするデータラベラを構築した。
論文 参考訳(メタデータ) (2021-09-12T15:51:41Z) - Aggregation Delayed Federated Learning [20.973999078271483]
フェデレーション学習(Federated Learning)は、複数のデータ所有者(クライアント)が、自身のデバイスにデータを保持しながら、ひとつのマシンラーニングモデルを協調的にトレーニングする分散機械学習パラダイムである。
非IIDデータ上では、FedAvgのような標準フェデレーションアルゴリズムによる性能低下が報告されている。
非IIDデータを扱うための多くの既存の作業は、FedAvgと同じ集約フレームワークを採用し、サーバ側またはクライアントでモデル更新を改善することに重点を置いている。
本研究では, 集約を遅らせる再分配ラウンドを導入することで, この課題に取り組み, 複数タスクの実験を行い, 提案したフレームワークが非IIDの性能を大幅に向上することを示す。
論文 参考訳(メタデータ) (2021-08-17T04:06:10Z) - How to distribute data across tasks for meta-learning? [59.608652082495624]
タスクごとのデータポイントの最適な数は予算に依存しますが、それは大きな予算のためのユニークな一定の値に収束します。
この結果から,データ収集の簡便かつ効率的な手順が示唆された。
論文 参考訳(メタデータ) (2021-03-15T15:38:47Z) - Camera-aware Proxies for Unsupervised Person Re-Identification [60.26031011794513]
本稿では、アノテーションを必要としない純粋に教師なしの人物識別(Re-ID)問題に取り組む。
各クラスタを複数のプロキシに分割し、それぞれのプロキシが同じカメラからのインスタンスを表すことを提案する。
カメラ認識プロキシに基づいて、カメラ内およびカメラ間コントラスト学習コンポーネントをre-idモデル用に設計する。
論文 参考訳(メタデータ) (2020-12-19T12:37:04Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳(メタデータ) (2020-10-02T10:41:59Z) - Collaborative Top Distribution Identifications with Limited Interaction [13.930249217532717]
1組の$n$の分布が与えられたら、最大の手段を持つ最上位の$m$の分布を見つける。
この問題は強化学習の文献ではm$m$腕識別とも呼ばれる。
協調学習モデルでは,n$分布のサンプルを並列に描画できるエージェントが複数存在する。
論文 参考訳(メタデータ) (2020-04-20T17:11:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。