論文の概要: Agnostic learning with unknown utilities
- arxiv url: http://arxiv.org/abs/2104.08482v1
- Date: Sat, 17 Apr 2021 08:22:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-20 14:31:30.528232
- Title: Agnostic learning with unknown utilities
- Title（参考訳）: 未知のユーティリティによる学習
- Authors: Kush Bhatia, Peter L. Bartlett, Anca D. Dragan, Jacob Steinhardt
- Abstract要約: 現実世界の多くの問題において、決定の効用は基礎となる文脈である$x$ と decision $y$ に依存する。
我々はこれを未知のユーティリティによる不可知学習として研究する。
サンプルされた点のみのユーティリティを推定することで、よく一般化した決定関数を学習できることを示す。
- 参考スコア（独自算出の注目度）: 70.14742836006042
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Traditional learning approaches for classification implicitly assume that
each mistake has the same cost. In many real-world problems though, the utility
of a decision depends on the underlying context $x$ and decision $y$. However,
directly incorporating these utilities into the learning objective is often
infeasible since these can be quite complex and difficult for humans to
specify.
We formally study this as agnostic learning with unknown utilities: given a
dataset $S = \{x_1, \ldots, x_n\}$ where each data point $x_i \sim
\mathcal{D}$, the objective of the learner is to output a function $f$ in some
class of decision functions $\mathcal{F}$ with small excess risk. This risk
measures the performance of the output predictor $f$ with respect to the best
predictor in the class $\mathcal{F}$ on the unknown underlying utility $u^*$.
This utility $u^*$ is not assumed to have any specific structure. This raises
an interesting question whether learning is even possible in our setup, given
that obtaining a generalizable estimate of utility $u^*$ might not be possible
from finitely many samples. Surprisingly, we show that estimating the utilities
of only the sampled points~$S$ suffices to learn a decision function which
generalizes well.
We study mechanisms for eliciting information which allow a learner to
estimate the utilities $u^*$ on the set $S$. We introduce a family of
elicitation mechanisms by generalizing comparisons, called the $k$-comparison
oracle, which enables the learner to ask for comparisons across $k$ different
inputs $x$ at once. We show that the excess risk in our agnostic learning
framework decreases at a rate of $O\left(\frac{1}{k} \right)$. This result
brings out an interesting accuracy-elicitation trade-off -- as the order $k$ of
the oracle increases, the comparative queries become harder to elicit from
humans but allow for more accurate learning.
- Abstract（参考訳）: 分類のための伝統的な学習アプローチは、それぞれの誤りが同じコストを持つと暗黙的に仮定する。
しかし、現実世界の多くの問題において、決定の効用は基礎となる文脈である$x$ と decision $y$ に依存する。
しかしながら、これらのユーティリティを直接学習目的に組み込むことは、人間が指定するのが非常に複雑で難しいため、しばしば実現不可能である。
データセット $S = \{x_1, \ldots, x_n\}$ ここで各データポイント $x_i \sim \mathcal{D}$ が与えられた場合、学習者の目的は、あるクラスの決定関数$\mathcal{F}$ で関数 $f$ を出力することである。
このリスクは、未知のユーティリティ $u^*$ において、クラス $\mathcal{F}$ の最高の予測子に対して出力予測子 $f$ のパフォーマンスを測定する。
このユーティリティ $u^*$ は特定の構造を持たないと仮定される。
これは、有限個のサンプルからユーティリティ $u^*$ の一般化された推定を得ることができないことを考慮し、我々の設定で学習が可能かどうかという興味深い疑問を提起する。
驚いたことに、サンプルされた点のみのユーティリティの推定は、よく一般化された決定関数を学ぶのに$s$ sufficesである。
本研究は,学習者に対して,設定した$S$に対して$u^*$を推定できる情報抽出機構について検討する。
我々は、$k$-comparison oracleと呼ばれる比較を一般化することにより、学習者が一度に$k$異なる入力を$x$で比較できるようにする。
学習フレームワークの過剰なリスクは、$O\left(\frac{1}{k} \right)$で減少することを示す。
この結果、oracleの注文が1万ドル増えると、比較クエリは人間から引き出すのが難しくなりますが、より正確な学習を可能にします。
関連論文リスト
- Agnostically Learning Multi-index Models with Queries [54.290489524576756]
本稿では,ガウス分布下での非依存学習の課題に対するクエリアクセスのパワーについて検討する。
クエリアクセスは、MIMを不可知的に学習するためのランダムな例よりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2023-12-27T15:50:47Z) - On Optimal Learning Under Targeted Data Poisoning [48.907813854832206]
本研究は,学習者によって達成可能な最小のエラー$epsilon=epsilon(eta)$を,そのような敵の存在下で特徴付けることを目的とする。
注目すべきは,上界が決定論的学習者によって達成できることである。
論文 参考訳（メタデータ） (2022-10-06T06:49:48Z) - There is no Accuracy-Interpretability Tradeoff in Reinforcement Learning
for Mazes [64.05903267230467]
相互理解性は,強化学習システムにおける信頼性に不可欠なビルディングブロックである。
場合によっては、最適性を保ちつつ、政策の解釈可能性を達成することができることを示す。
論文 参考訳（メタデータ） (2022-06-09T04:23:26Z) - Universality of empirical risk minimization [12.764655736673749]
例えば、$boldsymbol x_i inmathbbRp$ が特徴ベクトルで $y in mathbbR$ がラベルであるような i.d. サンプルからの教師付き学習を考える。
我々は$mathsfkによってパラメータ化される関数のクラスに対する経験的リスク普遍性について研究する。
論文 参考訳（メタデータ） (2022-02-17T18:53:45Z) - TURF: A Two-factor, Universal, Robust, Fast Distribution Learning
Algorithm [64.13217062232874]
最も強力で成功したモダリティの1つは、全ての分布を$ell$距離に近似し、基本的に最も近い$t$-piece次数-$d_$の少なくとも1倍大きい。
本稿では,この数値をほぼ最適に推定する手法を提案する。
論文 参考訳（メタデータ） (2022-02-15T03:49:28Z) - Mediated Uncoupled Learning: Learning Functions without Direct
Input-output Correspondences [80.95776331769899]
ペア化されたデータがない場合、$X$から$Y$を予測するタスクを考えます。
単純なアプローチは、$S_X$で$U$から$U$を予測し、$S_Y$で$U$から$Y$を予測することである。
我々は$U$を予測しない新しい方法を提案するが、$f(X)$と$S_X$をトレーニングすることで$Y = f(X)$を直接学習し、$h(U)$を予測する。
論文 参考訳（メタデータ） (2021-07-16T22:13:29Z) - Remember What You Want to Forget: Algorithms for Machine Unlearning [37.656345901739506]
学習モデルからデータポイントを忘れる問題について検討する。
最大$O(n/d1/4)のサンプルを削除できるアンラーニングアルゴリズムを提供する。
論文 参考訳（メタデータ） (2021-03-04T19:28:57Z) - Does generalization performance of $l^q$ regularization learning depend
on $q$? A negative example [19.945160684285003]
$lq$-regularizationは、機械学習と統計モデリングにおいて魅力的なテクニックであることが示されている。
0 infty$ に対するすべての $lq$ 推定子は、同様の一般化誤差境界が得られることを示す。
この発見は、あるモデリングの文脈において、$q$の選択が一般化能力に強い影響を与えることはないことを仮に示している。
論文 参考訳（メタデータ） (2013-07-25T00:48:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。