論文の概要: Byzantine Resilient Distributed Multi-Task Learning
- arxiv url: http://arxiv.org/abs/2010.13032v2
- Date: Thu, 7 Jan 2021 19:10:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-03 04:21:28.048460
- Title: Byzantine Resilient Distributed Multi-Task Learning
- Title(参考訳): ビザンチン耐性分散マルチタスク学習
- Authors: Jiani Li, Waseem Abbas, Xenofon Koutsoukos
- Abstract要約: タスク間の関連性を学習するための分散アルゴリズムは、ビザンティンエージェントの存在下では回復力がないことを示す。
ビザンチンレジリエントな分散マルチタスク学習のためのアプローチを提案する。
- 参考スコア(独自算出の注目度): 6.850757447639822
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distributed multi-task learning provides significant advantages in
multi-agent networks with heterogeneous data sources where agents aim to learn
distinct but correlated models simultaneously.However, distributed algorithms
for learning relatedness among tasks are not resilient in the presence of
Byzantine agents. In this paper, we present an approach for Byzantine resilient
distributed multi-task learning. We propose an efficient online weight
assignment rule by measuring the accumulated loss using an agent's data and its
neighbors' models. A small accumulated loss indicates a large similarity
between the two tasks. In order to ensure the Byzantine resilience of the
aggregation at a normal agent, we introduce a step for filtering out larger
losses. We analyze the approach for convex models and show that normal agents
converge resiliently towards the global minimum.Further, aggregation with the
proposed weight assignment rule always results in an improved expected regret
than the non-cooperative case. Finally, we demonstrate the approach using three
case studies, including regression and classification problems, and show that
our method exhibits good empirical performance for non-convex models, such as
convolutional neural networks.
- Abstract(参考訳): 分散マルチタスク学習は、エージェントが異なるが相関したモデルを同時に学習することを目的とした異種データソースを持つマルチエージェントネットワークにおいて大きな利点をもたらす。
本稿では,ビザンチンレジリエントな分散マルチタスク学習のためのアプローチを提案する。
エージェントのデータと近隣者のモデルを用いて,蓄積した損失を計測し,効率的なオンライン体重割当ルールを提案する。
小さい累積損失は2つのタスク間の大きな類似性を示している。
通常のエージェントでの凝集のビザンチン弾性を確保するために,より大きな損失をフィルタリングするステップを導入する。
我々は凸モデルに対するアプローチを分析し、通常のエージェントが大域的最小値に対して弾力的に収束することを示すが、提案された重み付け規則によるアグリゲーションは常に非協力的な場合よりも期待された後悔をもたらす。
最後に、回帰と分類問題を含む3つのケーススタディを用いて、本手法が畳み込みニューラルネットワークのような非凸モデルに対して良好な実験性能を示すことを示す。
関連論文リスト
- The Battleship Approach to the Low Resource Entity Matching Problem [0.0]
本稿では,エンティティマッチング問題に対する新しいアクティブな学習手法を提案する。
我々は、エンティティマッチングのユニークな特性を利用する選択メカニズムに焦点を当てる。
実験により,提案アルゴリズムは,最先端のアクティブ・ラーニング・ソリューションより低リソース・エンティティ・マッチングに優れることを示した。
論文 参考訳(メタデータ) (2023-11-27T10:18:17Z) - Implicit Variational Inference for High-Dimensional Posteriors [7.924706533725115]
変分推論において、ベイズモデルの利点は、真の後続分布を正確に捉えることに依存する。
複雑な多重モーダルおよび相関後部を近似するのに適した暗黙分布を特定するニューラルサンプリング手法を提案する。
提案手法では,ニューラルネットワークを局所的に線形化することにより,暗黙分布を用いた近似推論の新たなバウンダリを導入する。
論文 参考訳(メタデータ) (2023-10-10T14:06:56Z) - AdaMerging: Adaptive Model Merging for Multi-Task Learning [72.2068175246167]
本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。
本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。
AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
論文 参考訳(メタデータ) (2023-10-04T04:26:33Z) - Federated Learning for Heterogeneous Bandits with Unobserved Contexts [0.0]
我々は、未知のコンテキストを持つ多腕コンテキスト包帯のフェデレーション問題について検討する。
線形パラメタライズされた報酬関数に対して,除去に基づくアルゴリズムを提案し,後悔の束縛を証明した。
論文 参考訳(メタデータ) (2023-03-29T22:06:24Z) - Generalization Properties of Retrieval-based Models [50.35325326050263]
検索ベースの機械学習手法は、幅広い問題で成功をおさめた。
これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。
本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
論文 参考訳(メタデータ) (2022-10-06T00:33:01Z) - Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。
我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。
コア最適化問題の実用的なパラメトリゼーションを提供する。
論文 参考訳(メタデータ) (2021-07-08T18:01:02Z) - Ensemble Making Few-Shot Learning Stronger [4.17701749612924]
本稿では,差分低減のためのアンサンブル手法について検討し,関係レベルの特徴をキャリブレーションするための微調整と特徴的注意戦略を提案する。
数ショットの相関学習タスクの結果、我々のモデルは従来の最先端モデルよりも大幅に優れていた。
論文 参考訳(メタデータ) (2021-05-12T17:11:10Z) - Solving Inefficiency of Self-supervised Representation Learning [87.30876679780532]
既存のコントラスト学習法は、非常に低い学習効率に苦しむ。
アンダークラスタリングとオーバークラスタリングの問題は、学習効率の大きな障害である。
中央三重項損失を用いた新しい自己監督学習フレームワークを提案する。
論文 参考訳(メタデータ) (2021-04-18T07:47:10Z) - Learning Diverse Representations for Fast Adaptation to Distribution
Shift [78.83747601814669]
本稿では,複数のモデルを学習する手法を提案する。
分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
論文 参考訳(メタデータ) (2020-06-12T12:23:50Z) - Dynamic Federated Learning [57.14673504239551]
フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。
我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。
集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
論文 参考訳(メタデータ) (2020-02-20T15:00:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。