論文の概要: Model Agnostic Sample Reweighting for Out-of-Distribution Learning

• arxiv url: http://arxiv.org/abs/2301.09819v1
• Date: Tue, 24 Jan 2023 05:11:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-25 14:31:11.502590
• Title: Model Agnostic Sample Reweighting for Out-of-Distribution Learning
• Title（参考訳）: 分散学習のためのモデル非依存サンプル重み付け
• Authors: Xiao Zhou, Yong Lin, Renjie Pi, Weizhong Zhang, Renzhe Xu, Peng Cui, Tong Zhang
• Abstract要約: 我々は,OOD問題に効果的に対応するために,基本的手法であるtextbfAgnostic SamtextbfPLe rtextbfEweighting (textbfMAPLE)を提案する。 我々のキーとなる考え方は、トレーニングサンプルを効果的に再重み付けすることで、大規模モデルの標準的な経験的リスク最小化トレーニングがOOD一般化性能に優れたものとなるようにすることである。
• 参考スコア（独自算出の注目度）: 38.843552982739354
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributionally robust optimization (DRO) and invariant risk minimization (IRM) are two popular methods proposed to improve out-of-distribution (OOD) generalization performance of machine learning models. While effective for small models, it has been observed that these methods can be vulnerable to overfitting with large overparameterized models. This work proposes a principled method, \textbf{M}odel \textbf{A}gnostic sam\textbf{PL}e r\textbf{E}weighting (\textbf{MAPLE}), to effectively address OOD problem, especially in overparameterized scenarios. Our key idea is to find an effective reweighting of the training samples so that the standard empirical risk minimization training of a large model on the weighted training data leads to superior OOD generalization performance. The overfitting issue is addressed by considering a bilevel formulation to search for the sample reweighting, in which the generalization complexity depends on the search space of sample weights instead of the model size. We present theoretical analysis in linear case to prove the insensitivity of MAPLE to model size, and empirically verify its superiority in surpassing state-of-the-art methods by a large margin. Code is available at \url{https://github.com/x-zho14/MAPLE}.
• Abstract（参考訳）: 分散ロバスト最適化(DRO)と不変リスク最小化(IRM)は、機械学習モデルのアウト・オブ・ディストリビューション(OOD)一般化性能を改善するために提案される2つの一般的な手法である。 小型モデルでは有効であるが、これらの手法は大規模過パラメータモデルによる過度適合に弱いことが観察されている。 本研究は,特に過パラメータシナリオにおいて,ood問題を効果的に解決するための原理的手法であるsam\textbf{pl}e r\textbf{e}weighting (\textbf{maple})を提案する。 私たちの重要なアイデアは、トレーニングサンプルの効果的な再重み付けを見つけることで、重み付きトレーニングデータに対する大きなモデルの標準的な経験的リスク最小化トレーニングにより、oodの一般化性能が向上することです。 オーバーフィッティング問題は、一般化の複雑さがモデルサイズではなくサンプルウェイトの探索空間に依存するサンプル再重み付けの探索のために二段階の定式化を考えることで解決される。 モデルサイズに対するMAPLEの不感度を証明するために線形の場合の理論解析を行い,その優位性を実証的に検証した。 コードは \url{https://github.com/x-zho14/maple} で入手できる。

関連論文リスト

• Towards Stable Machine Learning Model Retraining via Slowly Varying Sequences [6.067007470552307]
  そこで本研究では,繰り返しのトレーニングにおいて安定な機械学習モデルのシーケンスを見つける手法を提案する。 最適モデルの復元が保証される混合整数最適化の定式化を開発する。 本手法は, 予測力の小さい, 制御可能な犠牲を伴い, 厳密に訓練されたモデルよりも強い安定性を示す。
  論文  参考訳（メタデータ） (2024-03-28T22:45:38Z)
• Model-Based RL for Mean-Field Games is not Statistically Harder than Single-Agent RL [57.745700271150454]
  モデルに基づく関数近似を用いた平均フィールドゲーム(MFG)における強化学習のサンプル複雑性について検討した。 本稿では、モデルクラスの複雑性を特徴付けるためのより効果的な概念である部分モデルベースエルダー次元(P-MBED)を紹介する。
  論文  参考訳（メタデータ） (2024-02-08T14:54:47Z)
• Tailoring Language Generation Models under Total Variation Distance [55.89964205594829]
  ニューラルネットワーク生成の標準パラダイムは、最適化方法として最大推定(MLE)を採用する。 言語生成に適用するための実践的境界を開発する。 本稿では,TVD推定のトレードオフのバランスをとるためのTaiLr の目標について紹介する。
  論文  参考訳（メタデータ） (2023-02-26T16:32:52Z)
• A Provably Efficient Model-Free Posterior Sampling Method for Episodic Reinforcement Learning [50.910152564914405]
  強化学習のための既存の後方サンプリング手法は、モデルベースであるか、線形MDPを超える最悪の理論的保証がないかによって制限される。 本稿では,理論的保証を伴うより一般的な補足的強化学習問題に適用可能な,後部サンプリングのモデルフリーな新しい定式化を提案する。
  論文  参考訳（メタデータ） (2022-08-23T12:21:01Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• RMFGP: Rotated Multi-fidelity Gaussian process with Dimension Reduction for High-dimensional Uncertainty Quantification [12.826754199680474]
  マルチフィデリティモデリングは、少量の正確なデータしか入手できない場合でも、正確な推測を可能にする。 高忠実度モデルと1つ以上の低忠実度モデルを組み合わせることで、多忠実度法は興味のある量の正確な予測を行うことができる。 本稿では,回転多要素ガウス過程の回帰に基づく新しい次元削減フレームワークとベイズ能動学習手法を提案する。
  論文  参考訳（メタデータ） (2022-04-11T01:20:35Z)
• An interpretable prediction model for longitudinal dispersion coefficient in natural streams based on evolutionary symbolic regression network [30.99493442296212]
  縦分散係数(LDC)の予測には様々な方法が提案されている。 本稿では,まずこれらの手法の詳細な解析を行い,その欠陥を明らかにする。 次に、進化的記号回帰ネットワーク(ESRN)と呼ばれる新しい記号回帰法を設計する。
  論文  参考訳（メタデータ） (2021-06-17T07:06:05Z)
• Detangling robustness in high dimensions: composite versus model-averaged estimation [11.658462692891355]
  ロバスト法は、実際にはユビキタスであるが、正規化推定や高次元の文脈ではまだ完全には理解されていない。 本稿では,これらの設定におけるロバスト性をさらに研究し,予測に焦点を当てたツールボックスを提供する。
  論文  参考訳（メタデータ） (2020-06-12T20:40:15Z)
• Adversarial Distributional Training for Robust Deep Learning [53.300984501078126]
  逆行訓練(AT)は、逆行例によるトレーニングデータを増やすことにより、モデルロバスト性を改善する最も効果的な手法の一つである。 既存のAT手法の多くは、敵の例を作らせるために特定の攻撃を採用しており、他の目に見えない攻撃に対する信頼性の低い堅牢性につながっている。 本稿では,ロバストモデル学習のための新しいフレームワークであるADTを紹介する。
  論文  参考訳（メタデータ） (2020-02-14T12:36:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。