論文の概要: Incentive Mechanism Design for Distributed Ensemble Learning
- arxiv url: http://arxiv.org/abs/2310.08792v1
- Date: Fri, 13 Oct 2023 00:34:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-16 15:05:01.510786
- Title: Incentive Mechanism Design for Distributed Ensemble Learning
- Title(参考訳): 分散アンサンブル学習のためのインセンティブ機構設計
- Authors: Chao Huang, Pengchao Han, Jianwei Huang
- Abstract要約: 分散アンサンブル学習(DEL)では、分散学習者の複数のモデルをトレーニングし、それらの予測を組み合わせてパフォーマンスを向上させる。
本稿では,DELのインセンティブ機構設計に関する第1報について述べる。
提案手法は,不均一・コミュニケーションコストの学習者に対して,トレーニングデータ量と報奨額の両方を規定する。
- 参考スコア(独自算出の注目度): 15.687660150828906
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distributed ensemble learning (DEL) involves training multiple models at
distributed learners, and then combining their predictions to improve
performance. Existing related studies focus on DEL algorithm design and
optimization but ignore the important issue of incentives, without which
self-interested learners may be unwilling to participate in DEL. We aim to fill
this gap by presenting a first study on the incentive mechanism design for DEL.
Our proposed mechanism specifies both the amount of training data and reward
for learners with heterogeneous computation and communication costs. One design
challenge is to have an accurate understanding regarding how learners'
diversity (in terms of training data) affects the ensemble accuracy. To this
end, we decompose the ensemble accuracy into a diversity-precision tradeoff to
guide the mechanism design. Another challenge is that the mechanism design
involves solving a mixed-integer program with a large search space. To this
end, we propose an alternating algorithm that iteratively updates each
learner's training data size and reward. We prove that under mild conditions,
the algorithm converges. Numerical results using MNIST dataset show an
interesting result: our proposed mechanism may prefer a lower level of learner
diversity to achieve a higher ensemble accuracy.
- Abstract(参考訳): 分散アンサンブル学習(del)は、複数のモデルを分散学習者でトレーニングし、それらの予測を組み合わせてパフォーマンスを改善する。
既存の研究はdelアルゴリズムの設計と最適化に焦点を当てているが、自己関心のある学習者がdelに参加することを望まないインセンティブの重要な問題を無視している。
delのインセンティブ機構設計に関する最初の研究を行い,このギャップを埋めようとしている。
提案手法は,不均質な計算と通信コストを有する学習者に対して,訓練データ量と報酬の双方を規定する。
1つの設計課題は、学習者の多様性(トレーニングデータの観点から)がアンサンブル精度にどのように影響するかを正確に理解することである。
そこで我々は,アンサンブルの精度を多様性-精度トレードオフに分解し,機構設計を導く。
もう一つの課題は、大きな検索スペースを持つ混合整数プログラムを解くメカニズム設計である。
そこで本研究では,学習者の学習データサイズと報酬を反復的に更新するアルゴリズムを提案する。
穏やかな条件下ではアルゴリズムが収束することを証明する。
MNISTデータセットを用いた数値的な結果は興味深い結果である: 提案手法はより低いレベルの学習者の多様性を選好し、より高いアンサンブル精度を実現する。
関連論文リスト
- Joint Training of Deep Ensembles Fails Due to Learner Collusion [61.557412796012535]
機械学習モデルのアンサンブルは、単一のモデルよりもパフォーマンスを改善する強力な方法として確立されている。
伝統的に、アンサンブルアルゴリズムは、ジョイントパフォーマンスの最適化を目標として、ベースラーナーを独立または逐次訓練する。
アンサンブルの損失を最小化することは、実際にはほとんど適用されないことを示す。
論文 参考訳(メタデータ) (2023-01-26T18:58:07Z) - Proof of Swarm Based Ensemble Learning for Federated Learning
Applications [3.2536767864585663]
連合学習では、プライバシー上の懸念から、集中型アンサンブル学習を直接適用することは不可能である。
ビザンティンフォールトトレランス(BFT)のようなほとんどの分散コンセンサスアルゴリズムは、通常そのようなアプリケーションではうまく機能しない。
フェデレートされた環境でのアンサンブル学習のための分散コンセンサスアルゴリズムPoSwを提案する。
論文 参考訳(メタデータ) (2022-12-28T13:53:34Z) - Deep Negative Correlation Classification [82.45045814842595]
既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。
深部負相関分類(DNCC)を提案する。
DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
論文 参考訳(メタデータ) (2022-12-14T07:35:20Z) - Batch Active Learning from the Perspective of Sparse Approximation [12.51958241746014]
アクティブな学習は、機械学習エージェントと人間のアノテーションとのインタラクションを活用することで、効率的なモデルトレーニングを可能にする。
スパース近似の観点からバッチアクティブラーニングを定式化する新しいフレームワークを提案し,提案する。
我々のアクティブラーニング手法は、ラベルのないデータプールから、対応するトレーニング損失関数が、そのフルデータプールに近似するように、情報的サブセットを見つけることを目的としている。
論文 参考訳(メタデータ) (2022-11-01T03:20:28Z) - Contextual Model Aggregation for Fast and Robust Federated Learning in
Edge Computing [88.76112371510999]
フェデレーション学習は、ネットワークエッジにおける分散機械学習の第一候補である。
既存のアルゴリズムは、性能の緩やかな収束や堅牢性の問題に直面している。
そこで本稿では,損失低減に対する最適コンテキスト依存境界を実現するためのコンテキストアグリゲーション手法を提案する。
論文 参考訳(メタデータ) (2022-03-23T21:42:31Z) - A Differentiable Approach to Combinatorial Optimization using Dataless
Neural Networks [20.170140039052455]
我々は、ソリューションを生成するニューラルネットワークのトレーニングにデータを必要としないという、根本的に異なるアプローチを提案する。
特に、最適化問題をニューラルネットワークに還元し、データレストレーニングスキームを用いて、それらのパラメータが関心の構造をもたらすように、ネットワークのパラメータを洗練する。
論文 参考訳(メタデータ) (2022-03-15T19:21:31Z) - Human-Algorithm Collaboration: Achieving Complementarity and Avoiding
Unfairness [92.26039686430204]
慎重に設計されたシステムであっても、補完的な性能はあり得ないことを示す。
まず,簡単な人間アルゴリズムをモデル化するための理論的枠組みを提案する。
次に、このモデルを用いて相補性が不可能な条件を証明する。
論文 参考訳(メタデータ) (2022-02-17T18:44:41Z) - Data-Centric Machine Learning in Quantum Information Science [0.0]
特に、トレーニングセットのシステマティックエンジニアリングが、事前学習されたニューラルネットワークの精度を大幅に向上させる方法について考察する。
目標シナリオの予測分布と正確に一致するようにトレーニングセットを設計することが必ずしも最適ではないことを示し、その代わりに、トレーニングセットを目標よりもわずかに混合することにより、パフォーマンスをさらに向上できることを示した。
論文 参考訳(メタデータ) (2022-01-22T21:36:54Z) - MIRACLE: Causally-Aware Imputation via Learning Missing Data Mechanisms [82.90843777097606]
欠落データに対する因果認識型計算アルゴリズム(MIRACLE)を提案する。
MIRACLEは、欠落発生機構を同時にモデル化することにより、ベースラインの計算を反復的に洗練する。
我々は、MIRACLEが一貫してイミューテーションを改善することができることを示すために、合成および様々な公開データセットに関する広範な実験を行う。
論文 参考訳(メタデータ) (2021-11-04T22:38:18Z) - Task-Feature Collaborative Learning with Application to Personalized
Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。
具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。
実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文 参考訳(メタデータ) (2020-04-29T02:32:04Z) - Scalable Approximate Inference and Some Applications [2.6541211006790983]
本稿では,近似推論のための新しいフレームワークを提案する。
提案する4つのアルゴリズムは,Steinの手法の最近の計算進歩に動機付けられている。
シミュレーションおよび実データを用いた結果から,アルゴリズムの統計的効率と適用性を示す。
論文 参考訳(メタデータ) (2020-03-07T04:33:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。