論文の概要: Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient
for Out-of-Distribution Generalization
- arxiv url: http://arxiv.org/abs/2202.06856v1
- Date: Mon, 14 Feb 2022 16:42:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-15 14:47:35.183032
- Title: Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient
for Out-of-Distribution Generalization
- Title（参考訳）: ドメイン適応回帰(Domain-Adjusted Regression) あるいは: ERM はアウト・オブ・ディストリビューション・ジェネリゼーションに十分な特徴を学習できるかもしれない
- Authors: Elan Rosenfeld, Pradeep Ravikumar, Andrej Risteski
- Abstract要約: 既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。
本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。
自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
- 参考スコア（独自算出の注目度）: 52.7137956951533
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A common explanation for the failure of deep networks to generalize
out-of-distribution is that they fail to recover the "correct" features.
Focusing on the domain generalization setting, we challenge this notion with a
simple experiment which suggests that ERM already learns sufficient features
and that the current bottleneck is not feature learning, but robust regression.
We therefore argue that devising simpler methods for learning predictors on
existing features is a promising direction for future research. Towards this
end, we introduce Domain-Adjusted Regression (DARE), a convex objective for
learning a linear predictor that is provably robust under a new model of
distribution shift. Rather than learning one function, DARE performs a
domain-specific adjustment to unify the domains in a canonical latent space and
learns to predict in this space. Under a natural model, we prove that the DARE
solution is the minimax-optimal predictor for a constrained set of test
distributions. Further, we provide the first finite-environment convergence
guarantee to the minimax risk, improving over existing results which show a
"threshold effect". Evaluated on finetuned features, we find that DARE compares
favorably to prior methods, consistently achieving equal or better performance.
- Abstract（参考訳）: 分散アウトオブディストリビューションを一般化するためにディープネットワークが失敗したことの一般的な説明は、それらが"正しい"機能を回復できなかったことである。
ドメインの一般化設定に注目して、ERMが既に十分な機能を学習しており、現在のボトルネックは機能学習ではなく、堅牢な回帰であることを示唆する単純な実験で、この概念に挑戦する。
そこで我々は,既存の特徴から予測器を学習するためのシンプルな手法を考案することが今後の研究にとって有望な方向であると主張している。
この目的のために, 分布シフトの新しいモデルのもとで, 確実に頑健な線形予測子を学習するための凸目標である domain-adjusted regression (dare) を導入する。
1つの関数を学ぶのではなく、DAREはドメイン固有の調整を行い、標準潜在空間内のドメインを統一し、この空間で予測することを学ぶ。
自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
さらに,ミニマックスリスクに対する最初の有限環境収束保証を行い,既存の結果よりも「閾値効果」が向上した。
細かな特徴を評価した結果,DAREは従来手法と良好に比較でき,常に同等あるいはより良い性能が得られることがわかった。
関連論文リスト
- Automatic debiasing of neural networks via moment-constrained learning [0.0]
偏差推定器の回帰関数をネーティブに学習し,対象関数のサンプル平均値を取得する。
本稿では,自動脱バイアスの欠点に対処する新しいRR学習手法として,モーメント制約学習を提案する。
論文 参考訳（メタデータ） (2024-09-29T20:56:54Z) - Mitigating Covariate Shift in Misspecified Regression with Applications
to Reinforcement Learning [39.02112341007981]
本研究では,分布変化がモデルミス種別の有無に及ぼす影響について検討した。
経験的リスク最小化(または標準最小二乗回帰)は、望ましくない不特定性の増幅をもたらす可能性があることを示す。
我々は、この好ましくない振る舞いを避ける新しいアルゴリズムを開発し、したがって、最適な統計率を得ながら、誤特定の増幅を行わない。
論文 参考訳（メタデータ） (2024-01-22T18:59:12Z) - Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。
合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
論文 参考訳（メタデータ） (2023-02-23T18:57:14Z) - Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。
我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
論文 参考訳（メタデータ） (2023-01-16T14:25:02Z) - Domain-Specific Risk Minimization for Out-of-Distribution Generalization [104.17683265084757]
まず、適応性ギャップを明示的に考慮した一般化境界を確立する。
本稿では,目標に対するより良い仮説の選択を導くための効果的なギャップ推定法を提案する。
もう1つの方法は、オンラインターゲットサンプルを用いてモデルパラメータを適応させることにより、ギャップを最小化することである。
論文 参考訳（メタデータ） (2022-08-18T06:42:49Z) - Model Optimization in Imbalanced Regression [2.580765958706854]
不均衡なドメイン学習は、あまり表現されていないがドメインにとって最も重要であるインスタンスを予測するための正確なモデルを作成することを目的としている。
主な理由の1つは、極端な(まれな)値の誤差を最小限に抑えることができる損失関数の欠如である。
最近、評価指標が導入された: 正方形誤差関連領域(SERA)
このメトリクスは、極端な値で犯したエラーに重点を置いていると同時に、ターゲット変数全体のパフォーマンスも考慮している。
論文 参考訳（メタデータ） (2022-06-20T20:23:56Z) - Deep learning: a statistical viewpoint [120.94133818355645]
ディープラーニングは、理論的観点からいくつかの大きな驚きを明らかにしました。
特に、簡単な勾配法は、最適でないトレーニング問題に対するほぼ完全な解決策を簡単に見つけます。
我々はこれらの現象を具体的原理で補うと推測する。
論文 参考訳（メタデータ） (2021-03-16T16:26:36Z) - A Novel Regression Loss for Non-Parametric Uncertainty Optimization [7.766663822644739]
不確実性の定量化は、安全な機械学習を確立する最も有望なアプローチの1つである。
これまでの最も一般的なアプローチの1つはモンテカルロドロップアウトで、計算量的に安価で、実際に簡単に適用できる。
この問題に対処するため,第2モーメント損失(UCI)と呼ばれる新たな目標を提案する。
論文 参考訳（メタデータ） (2021-01-07T19:12:06Z) - Learning Invariant Representations and Risks for Semi-supervised Domain
Adaptation [109.73983088432364]
半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。
共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
論文 参考訳（メタデータ） (2020-10-09T15:42:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。