論文の概要: Incentive Mechanism Design for Distributed Ensemble Learning

• arxiv url: http://arxiv.org/abs/2310.08792v1
• Date: Fri, 13 Oct 2023 00:34:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-16 15:05:01.510786
• Title: Incentive Mechanism Design for Distributed Ensemble Learning
• Title（参考訳）: 分散アンサンブル学習のためのインセンティブ機構設計
• Authors: Chao Huang, Pengchao Han, Jianwei Huang
• Abstract要約: 分散アンサンブル学習(DEL)では、分散学習者の複数のモデルをトレーニングし、それらの予測を組み合わせてパフォーマンスを向上させる。 本稿では,DELのインセンティブ機構設計に関する第1報について述べる。 提案手法は,不均一・コミュニケーションコストの学習者に対して,トレーニングデータ量と報奨額の両方を規定する。
• 参考スコア（独自算出の注目度）: 15.687660150828906
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributed ensemble learning (DEL) involves training multiple models at distributed learners, and then combining their predictions to improve performance. Existing related studies focus on DEL algorithm design and optimization but ignore the important issue of incentives, without which self-interested learners may be unwilling to participate in DEL. We aim to fill this gap by presenting a first study on the incentive mechanism design for DEL. Our proposed mechanism specifies both the amount of training data and reward for learners with heterogeneous computation and communication costs. One design challenge is to have an accurate understanding regarding how learners' diversity (in terms of training data) affects the ensemble accuracy. To this end, we decompose the ensemble accuracy into a diversity-precision tradeoff to guide the mechanism design. Another challenge is that the mechanism design involves solving a mixed-integer program with a large search space. To this end, we propose an alternating algorithm that iteratively updates each learner's training data size and reward. We prove that under mild conditions, the algorithm converges. Numerical results using MNIST dataset show an interesting result: our proposed mechanism may prefer a lower level of learner diversity to achieve a higher ensemble accuracy.
• Abstract（参考訳）: 分散アンサンブル学習(del)は、複数のモデルを分散学習者でトレーニングし、それらの予測を組み合わせてパフォーマンスを改善する。 既存の研究はdelアルゴリズムの設計と最適化に焦点を当てているが、自己関心のある学習者がdelに参加することを望まないインセンティブの重要な問題を無視している。 delのインセンティブ機構設計に関する最初の研究を行い,このギャップを埋めようとしている。 提案手法は,不均質な計算と通信コストを有する学習者に対して,訓練データ量と報酬の双方を規定する。 1つの設計課題は、学習者の多様性(トレーニングデータの観点から)がアンサンブル精度にどのように影響するかを正確に理解することである。 そこで我々は,アンサンブルの精度を多様性-精度トレードオフに分解し,機構設計を導く。 もう一つの課題は、大きな検索スペースを持つ混合整数プログラムを解くメカニズム設計である。 そこで本研究では,学習者の学習データサイズと報酬を反復的に更新するアルゴリズムを提案する。 穏やかな条件下ではアルゴリズムが収束することを証明する。 MNISTデータセットを用いた数値的な結果は興味深い結果である: 提案手法はより低いレベルの学習者の多様性を選好し、より高いアンサンブル精度を実現する。

関連論文リスト

• On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
  複数モーダルな)自己教師付き表現学習のための連続領域における識別確率モデル問題について検討する。 我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。
  論文  参考訳（メタデータ） (2024-10-11T18:02:46Z)
• LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
  本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。 全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。 提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
  論文  参考訳（メタデータ） (2024-05-23T11:10:32Z)
• Joint Training of Deep Ensembles Fails Due to Learner Collusion [61.557412796012535]
  機械学習モデルのアンサンブルは、単一のモデルよりもパフォーマンスを改善する強力な方法として確立されている。 伝統的に、アンサンブルアルゴリズムは、ジョイントパフォーマンスの最適化を目標として、ベースラーナーを独立または逐次訓練する。 アンサンブルの損失を最小化することは、実際にはほとんど適用されないことを示す。
  論文  参考訳（メタデータ） (2023-01-26T18:58:07Z)
• Proof of Swarm Based Ensemble Learning for Federated Learning Applications [3.2536767864585663]
  連合学習では、プライバシー上の懸念から、集中型アンサンブル学習を直接適用することは不可能である。 ビザンティンフォールトトレランス(BFT)のようなほとんどの分散コンセンサスアルゴリズムは、通常そのようなアプリケーションではうまく機能しない。 フェデレートされた環境でのアンサンブル学習のための分散コンセンサスアルゴリズムPoSwを提案する。
  論文  参考訳（メタデータ） (2022-12-28T13:53:34Z)
• Deep Negative Correlation Classification [82.45045814842595]
  既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。 深部負相関分類(DNCC)を提案する。 DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
  論文  参考訳（メタデータ） (2022-12-14T07:35:20Z)
• Batch Active Learning from the Perspective of Sparse Approximation [12.51958241746014]
  アクティブな学習は、機械学習エージェントと人間のアノテーションとのインタラクションを活用することで、効率的なモデルトレーニングを可能にする。 スパース近似の観点からバッチアクティブラーニングを定式化する新しいフレームワークを提案し,提案する。 我々のアクティブラーニング手法は、ラベルのないデータプールから、対応するトレーニング損失関数が、そのフルデータプールに近似するように、情報的サブセットを見つけることを目的としている。
  論文  参考訳（メタデータ） (2022-11-01T03:20:28Z)
• Contextual Model Aggregation for Fast and Robust Federated Learning in Edge Computing [88.76112371510999]
  フェデレーション学習は、ネットワークエッジにおける分散機械学習の第一候補である。 既存のアルゴリズムは、性能の緩やかな収束や堅牢性の問題に直面している。 そこで本稿では,損失低減に対する最適コンテキスト依存境界を実現するためのコンテキストアグリゲーション手法を提案する。
  論文  参考訳（メタデータ） (2022-03-23T21:42:31Z)
• Human-Algorithm Collaboration: Achieving Complementarity and Avoiding Unfairness [92.26039686430204]
  慎重に設計されたシステムであっても、補完的な性能はあり得ないことを示す。 まず,簡単な人間アルゴリズムをモデル化するための理論的枠組みを提案する。 次に、このモデルを用いて相補性が不可能な条件を証明する。
  論文  参考訳（メタデータ） (2022-02-17T18:44:41Z)
• Data-Centric Machine Learning in Quantum Information Science [0.0]
  特に、トレーニングセットのシステマティックエンジニアリングが、事前学習されたニューラルネットワークの精度を大幅に向上させる方法について考察する。 目標シナリオの予測分布と正確に一致するようにトレーニングセットを設計することが必ずしも最適ではないことを示し、その代わりに、トレーニングセットを目標よりもわずかに混合することにより、パフォーマンスをさらに向上できることを示した。
  論文  参考訳（メタデータ） (2022-01-22T21:36:54Z)
• LENAS: Learning-based Neural Architecture Search and Ensemble for 3D Radiotherapy Dose Prediction [42.38793195337463]
  本稿では3次元放射線治療線量予測のための知識蒸留とニューラルネットワーク検索を統合した,学習に基づく新しいアンサンブル手法 LENAS を提案する。 当社のアプローチは、巨大なアーキテクチャ空間から各ブロックを徹底的に検索して、有望なパフォーマンスを示す複数のアーキテクチャを識別することから始まります。 モデルアンサンブルによってもたらされる複雑さを軽減するため、教師-学生パラダイムを採用し、複数の学習ネットワークからの多様な出力を監視信号として活用する。
  論文  参考訳（メタデータ） (2021-06-12T10:08:52Z)
• Scalable Approximate Inference and Some Applications [2.6541211006790983]
  本稿では,近似推論のための新しいフレームワークを提案する。 提案する4つのアルゴリズムは,Steinの手法の最近の計算進歩に動機付けられている。 シミュレーションおよび実データを用いた結果から,アルゴリズムの統計的効率と適用性を示す。
  論文  参考訳（メタデータ） (2020-03-07T04:33:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。