論文の概要: When No-Rejection Learning is Optimal for Regression with Rejection
- arxiv url: http://arxiv.org/abs/2307.02932v1
- Date: Thu, 6 Jul 2023 11:43:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-07 14:16:24.901886
- Title: When No-Rejection Learning is Optimal for Regression with Rejection
- Title（参考訳）: 拒絶を伴う回帰にノー・リジェクション学習が最適である場合
- Authors: Xiaocheng Li, Shang Liu, Chunlin Sun, Hanzhao Wang
- Abstract要約: 拒絶による学習は、予測タスクにおける人間とAIの相互作用の焦点である。
本稿では,レグレッションをリジェクション問題(RwR)を用いて検討し,ノリジェクション学習戦略について検討する。
本研究は,まずデータを用いて予測器を学習し,リジェクタの予測損失を校正する2段階の学習手順を提案する。
- 参考スコア（独自算出の注目度）: 8.95812539444468
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning with rejection is a prototypical model for studying the interaction
between humans and AI on prediction tasks. The model has two components, a
predictor and a rejector. Upon the arrival of a sample, the rejector first
decides whether to accept it; if accepted, the predictor fulfills the
prediction task, and if rejected, the prediction will be deferred to humans.
The learning problem requires learning a predictor and a rejector
simultaneously. This changes the structure of the conventional loss function
and often results in non-convexity and inconsistency issues. For the
classification with rejection problem, several works develop surrogate losses
for the jointly learning with provable consistency guarantees; in parallel,
there has been less work for the regression counterpart. We study the
regression with rejection (RwR) problem and investigate the no-rejection
learning strategy which treats the RwR problem as a standard regression task to
learn the predictor. We establish that the suboptimality of the no-rejection
learning strategy observed in the literature can be mitigated by enlarging the
function class of the predictor. Then we introduce the truncated loss to single
out the learning for the predictor and we show that a consistent surrogate
property can be established for the predictor individually in an easier way
than for the predictor and the rejector jointly. Our findings advocate for a
two-step learning procedure that first uses all the data to learn the predictor
and then calibrates the prediction loss for the rejector. It is better aligned
with the common intuition that more data samples will lead to a better
predictor and it calls for more efforts on a better design of calibration
algorithms for learning the rejector. While our discussions mainly focus on the
regression problem, the theoretical results and insights generalize to the
classification problem as well.
- Abstract（参考訳）: 拒絶による学習は、予測タスクにおける人間とAIの相互作用を研究するための原型モデルである。
モデルには2つのコンポーネント、予測器とリジェクタがある。
サンプルが到着すると、拒絶者はまずそれを受け入れるかどうかを判断し、受理された場合、予測タスクを遂行し、拒否された場合は、予測を人間に延期する。
学習問題は、予測者と拒絶者を同時に学習する必要がある。
これは従来の損失関数の構造を変え、しばしば非凸性や不整合の問題を引き起こす。
拒絶問題のある分類では、いくつかの作品が、証明可能な一貫性保証を持つ共同学習のための代理的損失を発生させる。
本稿では,レグレッションをリジェクション問題(RwR)を用いて検討し,レグレッションタスクとしてRwR問題を扱うノリジェクション学習戦略について検討する。
文献で観察される非退行学習戦略の準最適性は、予測器の関数クラスを拡大することにより緩和できることを示す。
そこで我々は,予測器の学習を独り占めにするために,乱れた損失を導入し,予測器と拒絶器を共同で行うよりも,予測器に対して一貫したサロゲート特性を個別に確立できることを示す。
本研究は,まず全てのデータを用いて予測器を学習し,その予測損失を校正する2段階の学習手順を提案する。
より多くのデータサンプルがより良い予測器に結びつくという一般的な直感と一致し、リジェクタを学ぶためのキャリブレーションアルゴリズムのより良い設計にもっと努力する必要がある。
我々の議論は主に回帰問題に焦点をあてるが、理論的結果と洞察は分類問題にも一般化する。
関連論文リスト
- The Surprising Harmfulness of Benign Overfitting for Adversarial
Robustness [13.120373493503772]
根拠的真理そのものが敵の例に対して堅牢であるとしても、標準のアウト・オブ・サンプルのリスク目標の観点から見れば、明らかに過適合なモデルは良性である、という驚くべき結果が証明されます。
我々の発見は、実際に観察されたパズリング現象に関する理論的洞察を与え、真の標的関数(例えば、人間)は副次的攻撃に対して堅牢であり、一方、当初過適合のニューラルネットワークは、堅牢でないモデルに導かれる。
論文 参考訳（メタデータ） (2024-01-19T15:40:46Z) - Regression with Cost-based Rejection [30.43900105405108]
本稿では, ある拒絶コストを前提として, モデルがいくつかの例で予測を下方修正できる新たな回帰問題について検討する。
我々はベイズ最適解を導出し、最適モデルが拒絶コストよりも分散が大きい例について予測を下さなければならないことを示す。
論文 参考訳（メタデータ） (2023-11-08T09:33:21Z) - A Unified Generalization Analysis of Re-Weighting and Logit-Adjustment
for Imbalanced Learning [129.63326990812234]
そこで本研究では,データ依存型コンダクタンス(Data-dependent contraction)と呼ばれる手法を提案する。
この技術に加えて、不均衡学習のための微粒な一般化境界が確立され、再重み付けとロジット調整の謎を明らかにするのに役立つ。
論文 参考訳（メタデータ） (2023-10-07T09:15:08Z) - Selective Nonparametric Regression via Testing [54.20569354303575]
本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。
既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
論文 参考訳（メタデータ） (2023-09-28T13:04:11Z) - Structured Radial Basis Function Network: Modelling Diversity for
Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。
構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。
この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文 参考訳（メタデータ） (2023-09-02T01:27:53Z) - Benign-Overfitting in Conditional Average Treatment Effect Prediction
with Linear Regression [14.493176427999028]
線形回帰モデルを用いて条件平均処理効果(CATE)の予測における良性過剰適合理論について検討した。
一方,IPW-learnerは確率スコアが分かっていればリスクをゼロに収束させるが,T-learnerはランダムな割り当て以外の一貫性を達成できないことを示す。
論文 参考訳（メタデータ） (2022-02-10T18:51:52Z) - Strategic Instrumental Variable Regression: Recovering Causal
Relationships From Strategic Responses [16.874125120501944]
観測可能な特徴と予測したい結果の因果関係を回復するために,戦略的対応を効果的に活用できることが示される。
我々の研究は、機械学習モデルに対する戦略的応答と機器変数(IV)回帰との新たな関係を確立する。
論文 参考訳（メタデータ） (2021-07-12T22:12:56Z) - Risk Minimization from Adaptively Collected Data: Guarantees for
Supervised and Policy Learning [57.88785630755165]
経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。
本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。
政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
論文 参考訳（メタデータ） (2021-06-03T09:50:13Z) - On the Transferability of Adversarial Attacksagainst Neural Text
Classifier [121.6758865857686]
テキスト分類モデルの逆例の転送可能性について検討する。
本稿では,ほとんどすべての既存モデルを騙すために,敵の例を誘導できるモデル群を見つける遺伝的アルゴリズムを提案する。
これらの逆例からモデル診断に使用できる単語置換規則を導出する。
論文 参考訳（メタデータ） (2020-11-17T10:45:05Z) - A Contraction Approach to Model-based Reinforcement Learning [11.701145942745274]
本研究では, 累積報酬の誤差を縮尺法を用いて解析する。
分岐ロールアウトは、このエラーを減らすことができることを証明します。
本稿では,GAN型学習は,識別器が十分に訓練されている場合に,行動クローンよりも有利であることを示す。
論文 参考訳（メタデータ） (2020-09-18T02:03:14Z) - Fundamental Tradeoffs between Invariance and Sensitivity to Adversarial
Perturbations [65.05561023880351]
敵の例は誤分類を引き起こすために作られた悪意のある入力である。
本稿では, 相補的障害モード, 不変性に基づく逆数例について検討する。
感度に基づく攻撃に対する防御は、不変性に基づく攻撃に対するモデルの精度を積極的に損なうことを示す。
論文 参考訳（メタデータ） (2020-02-11T18:50:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。