論文の概要: Federated Selective Aggregation for Knowledge Amalgamation

• arxiv url: http://arxiv.org/abs/2207.13309v1
• Date: Wed, 27 Jul 2022 05:36:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-28 13:29:27.638013
• Title: Federated Selective Aggregation for Knowledge Amalgamation
• Title（参考訳）: 知識集約のためのフェデレート選択集約
• Authors: Donglin Xie, Ruonan Yu, Gongfan Fang, Jie Song, Zunlei Feng, Xinchao Wang, Li Sun, and Mingli Song
• Abstract要約: FedSAの目標は、何人かの分散教師の助けを借りて、新しいタスクのための学生モデルをトレーニングすることである。 このような問題を調査する動機は、最近のモデル共有のジレンマに端を発する。 提案されたFedSAは、このジレンマに対する解決策を提供し、さらに一歩進める。
• 参考スコア（独自算出の注目度）: 66.94340185846686
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we explore a new knowledge-amalgamation problem, termed Federated Selective Aggregation (FedSA). The goal of FedSA is to train a student model for a new task with the help of several decentralized teachers, whose pre-training tasks and data are different and agnostic. Our motivation for investigating such a problem setup stems from a recent dilemma of model sharing. Many researchers or institutes have spent enormous resources on training large and competent networks. Due to the privacy, security, or intellectual property issues, they are, however, not able to share their own pre-trained models, even if they wish to contribute to the community. The proposed FedSA offers a solution to this dilemma and makes it one step further since, again, the learned student may specialize in a new task different from all of the teachers. To this end, we proposed a dedicated strategy for handling FedSA. Specifically, our student-training process is driven by a novel saliency-based approach that adaptively selects teachers as the participants and integrates their representative capabilities into the student. To evaluate the effectiveness of FedSA, we conduct experiments on both single-task and multi-task settings. Experimental results demonstrate that FedSA effectively amalgamates knowledge from decentralized models and achieves competitive performance to centralized baselines.
• Abstract（参考訳）: 本稿では,federated selective aggregation (fedsa) という新しい知識融合問題について検討する。 FedSAの目標は、いくつかの分散化された教師の助けを借りて、新しいタスクのための学生モデルを訓練することである。 このような問題を調査する動機は,最近のモデル共有のジレンマから来ています。 多くの研究者や研究所は、大規模で有能なネットワークのトレーニングに膨大なリソースを費やしてきた。 しかし、プライバシ、セキュリティ、知的財産の問題のため、コミュニティに貢献したいとしても、事前訓練されたモデルを共有することはできない。 提案されたFedSAは、このジレンマに対する解決策を提供し、さらに一歩進める。 この目的のために、我々はFedSAを扱うための専用の戦略を提案した。 具体的には,教師を適応的に選択し,その代表的能力を学生に組み込む,新しいサリエンシベースのアプローチによって,学生の学習プロセスが促進される。 FedSAの有効性を評価するため,シングルタスクとマルチタスクの両方で実験を行った。 実験結果から,FedSAは分散モデルからの知識を効果的に吸収し,中央集権ベースラインに対する競争性能を達成することが示された。

関連論文リスト

• Decentralized Online Learning in Task Assignment Games for Mobile Crowdsensing [55.07662765269297]
  モバイルクラウドセンシングプラットフォーム(MCSP)は、センサオファーをMCSPに送り返してタスクに参加する意思を示すための、利用可能なモバイルユニット(MU)に順次、センシングタスクを発行する。 安定したタスク割り当ては、MCSPとMUの相反する目標、およびMUの要求する努力と嗜好の不確実性という2つの課題に対処する必要がある。 これらの課題を克服するために,衝突回避型マルチアームバンディットと戦略的自由センシング(CA-MAB-SFS)という,マッチング理論とオンライン学習を組み合わせた新たな分散アプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-19T13:07:15Z)
• FedSA: Accelerating Intrusion Detection in Collaborative Environments with Federated Simulated Annealing [2.7011265453906983]
  侵入検知システム(IDS)における協調学習のソリューションとしてのフェデレーション学習 本稿では,フェデレーテッド・シミュレート・アニーリング(FedSA)メタヒューリスティック(メタヒューリスティック)を提案し,フェデレーテッド・ラーニングにおける各アグリゲーションラウンドにおける参加者のハイパーパラメータとサブセットを選択する。 この提案では、従来のアグリゲーションアプローチよりも攻撃検出の精度が約97%向上するために、アグリゲーションラウンドを最大50%削減する必要がある。
  論文  参考訳（メタデータ） (2022-05-23T14:27:56Z)
• Secure Distributed Training at Scale [65.7538150168154]
  ピアの存在下でのトレーニングには、ビザンティン寛容な特殊な分散トレーニングアルゴリズムが必要である。 本稿では,コミュニケーション効率を重視したセキュアな(ビザンチン耐性)分散トレーニングのための新しいプロトコルを提案する。
  論文  参考訳（メタデータ） (2021-06-21T17:00:42Z)
• Decentralized Federated Learning Preserves Model and Data Privacy [77.454688257702]
  我々は、訓練されたモデル間で知識を共有することができる、完全に分散化されたアプローチを提案する。 生徒は、合成された入力データを通じて教師の出力を訓練する。 その結果,教師が学習した未学習学生モデルが,教師と同等のF1スコアに達することがわかった。
  論文  参考訳（メタデータ） (2021-02-01T14:38:54Z)
• FERN: Fair Team Formation for Mutually Beneficial Collaborative Learning [9.484474204788349]
  この研究は、相互に有益なピアラーニングを促進する公正なチーム形成アプローチであるFERNを導入している。 この問題をNPhardの離散最適化問題として示し,ヒルクライミングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-11-23T18:38:01Z)
• Automatic Curriculum Learning through Value Disagreement [95.19299356298876]
  新しい未解決タスクを継続的に解決することが、多様な行動を学ぶための鍵です。 エージェントが複数の目標を達成する必要があるマルチタスク領域では、トレーニング目標の選択はサンプル効率に大きな影響を与える可能性がある。 そこで我々は,エージェントが解決すべき目標のための自動カリキュラムを作成することを提案する。 提案手法は,13のマルチゴールロボットタスクと5つのナビゲーションタスクにまたがって評価し,現在の最先端手法よりも高い性能を示す。
  論文  参考訳（メタデータ） (2020-06-17T03:58:25Z)
• Mutual Information Based Knowledge Transfer Under State-Action Dimension Mismatch [14.334987432342707]
  本研究では,教師と生徒が任意に状態空間と行動空間を共有できるトランスファー学習の枠組みを提案する。 このミスマッチに対処するため,教師の方針や価値ネットワークから知識を体系的に抽出できる埋め込みを生成する。 我々は,教師と生徒が異なる状態空間と行動空間を持つ状況下で,伝達学習を成功させることを実証した。
  論文  参考訳（メタデータ） (2020-06-12T09:51:17Z)
• Human AI interaction loop training: New approach for interactive reinforcement learning [0.0]
  機械学習の様々な意思決定タスクにおける強化学習(RL)は、スタンドアロンの報酬関数から学習するエージェントによる効果的な結果を提供する。 RLは、多くの環境状態と行動空間、および報酬の決定に固有の課題を提示する。 イミテーションラーニング(IL)は、教師を使った課題に対して有望な解決策を提供する。
  論文  参考訳（メタデータ） (2020-03-09T15:27:48Z)
• Transfer Heterogeneous Knowledge Among Peer-to-Peer Teammates: A Model Distillation Approach [55.83558520598304]
  本研究は, モデル蒸留により, 複数の学生間で経験と伝達値関数を再利用する新しい手法を提案する。 また、異種知識を活用するための効率的な通信プロトコルの設計方法について述べる。 提案するフレームワークである学習・指導カテゴリー強化は,学習の進捗を安定化・加速する上で有望な性能を示す。
  論文  参考訳（メタデータ） (2020-02-06T11:31:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。