論文の概要: Delegating Data Collection in Decentralized Machine Learning
- arxiv url: http://arxiv.org/abs/2309.01837v1
- Date: Mon, 4 Sep 2023 22:16:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-06 17:00:42.803298
- Title: Delegating Data Collection in Decentralized Machine Learning
- Title(参考訳): 分散機械学習におけるデータ収集の委譲
- Authors: Nivasini Ananthakrishnan, Stephen Bates, Michael I. Jordan, and Nika
Haghtalab
- Abstract要約: 我々は、モデル品質の評価における確実性の欠如と、任意のモデルの最適性能に関する知識の欠如という、2つの基本的な機械学習課題に対して、最適かつほぼ最適の契約を設計する。
主元が小さいテスト集合であっても、第一次効用のうち 1-1/e 個を達成できるような単純な線形契約によって、確実性の欠如に対処できることが示される。
最適性能に関する事前知識の欠如に対処するため,最適契約を適応的かつ効率的に計算できる凸プログラムを提案する。
- 参考スコア(独自算出の注目度): 67.0537668772372
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Motivated by the emergence of decentralized machine learning ecosystems, we
study the delegation of data collection. Taking the field of contract theory as
our starting point, we design optimal and near-optimal contracts that deal with
two fundamental machine learning challenges: lack of certainty in the
assessment of model quality and lack of knowledge regarding the optimal
performance of any model. We show that lack of certainty can be dealt with via
simple linear contracts that achieve 1-1/e fraction of the first-best utility,
even if the principal has a small test set. Furthermore, we give sufficient
conditions on the size of the principal's test set that achieves a vanishing
additive approximation to the optimal utility. To address the lack of a priori
knowledge regarding the optimal performance, we give a convex program that can
adaptively and efficiently compute the optimal contract.
- Abstract(参考訳): 分散機械学習エコシステムの出現に動機づけられ,データ収集の委譲について検討した。
契約理論の分野を出発点として、モデル品質の評価における確実性の欠如と、任意のモデルの最適性能に関する知識の欠如という、2つの基本的な機械学習課題に対処する最適かつほぼ最適の契約を設計する。
主成分が小さいテスト集合を持つ場合でも,第一級ユーティリティの1-1/e分数を達成する単純な線形契約によって,確実性の欠如を処理できることを示す。
さらに, 最適効用に対する消滅する加法近似を達成する主検定集合のサイズについて十分条件を与える。
最適性能に関する事前知識の欠如に対処するために,最適契約を適応的かつ効率的に計算できる凸プログラムを提案する。
関連論文リスト
- Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳(メタデータ) (2023-10-26T17:59:46Z) - Delegated Classification [21.384062337682185]
機械学習タスクのインセンティブ対応デリゲーションに関する理論的枠組みを提案する。
予算最適契約を定義し、合理的な仮定の下で単純なしきい値を取ることを証明します。
実証的に、我々は予算最適契約を小規模データを用いて構築できることを実証した。
論文 参考訳(メタデータ) (2023-06-20T11:59:03Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳(メタデータ) (2022-06-15T19:10:35Z) - On the One-sided Convergence of Adam-type Algorithms in Non-convex
Non-concave Min-max Optimization [43.504548777955854]
本稿では,一方のMVI条件下での分極最適化問題において,アダム型アルゴリズムが一方の1次定常点に収束することを示す。
また,この片側MVI条件が標準GANに対して満たされていることを実証的に検証した。
論文 参考訳(メタデータ) (2021-09-29T06:38:39Z) - Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。
ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。
本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
論文 参考訳(メタデータ) (2021-05-11T03:38:16Z) - Cost-Effective Federated Learning Design [37.16466118235272]
フェデレーション学習(federated learning, fl)は、多数のデバイスが生のデータを共有することなく、協調的にモデルを学習できる分散学習パラダイムである。
その効率性と有効性にもかかわらず、反復的なオンデバイス学習プロセスは、学習時間とエネルギー消費の面でかなりのコストを伴います。
本稿では,本質的制御変数を最適に選択する適応型flの設計法を分析し,総コストを最小化し,収束性を確保した。
論文 参考訳(メタデータ) (2020-12-15T14:45:11Z) - Causal Feature Selection for Algorithmic Fairness [61.767399505764736]
データ管理の統合コンポーネントにおける公平性について検討する。
本稿では,データセットの公平性を保証する特徴のサブコレクションを同定する手法を提案する。
論文 参考訳(メタデータ) (2020-06-10T20:20:10Z) - An Information Bottleneck Approach for Controlling Conciseness in
Rationale Extraction [84.49035467829819]
我々は,情報ボトルネック(IB)の目的を最適化することで,このトレードオフをよりよく管理できることを示す。
我々の完全教師なしのアプローチは、文上のスパース二項マスクを予測する説明器と、抽出された合理性のみを考慮したエンドタスク予測器を共同で学習する。
論文 参考訳(メタデータ) (2020-05-01T23:26:41Z) - Gradient tracking and variance reduction for decentralized optimization
and machine learning [19.54092620537586]
有限サム問題の解法は、多くの信号処理や機械学習タスクにおいて重要である。
分散還元と勾配追跡を組み合わせ、堅牢な性能を実現するための統一的なアルゴリズムフレームワークを提供する。
論文 参考訳(メタデータ) (2020-02-13T07:17:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。