論文の概要: Generalizing Importance Weighting to A Universal Solver for Distribution Shift Problems

• arxiv url: http://arxiv.org/abs/2305.14690v2
• Date: Thu, 2 Nov 2023 00:33:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-03 17:47:31.205922
• Title: Generalizing Importance Weighting to A Universal Solver for Distribution Shift Problems
• Title（参考訳）: 分散シフト問題に対するユニバーサルソルバーへの重み付けの一般化
• Authors: Tongtong Fang, Nan Lu, Gang Niu, Masashi Sugiyama
• Abstract要約: 分布シフト(DS)は、分布自体が変化し、支持(確率密度がゼロでない集合)も変化する。 既存の手法は (i) と (ii) の場合に有効であるが、 (iii) と (iv) は現在では一般的であるが、まだ探索されていない。 本稿では,すべてのケースにおいて,重み付け(IW)を普遍解法に一般化する。
• 参考スコア（独自算出の注目度）: 65.93322357460659
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distribution shift (DS) may have two levels: the distribution itself changes, and the support (i.e., the set where the probability density is non-zero) also changes. When considering the support change between the training and test distributions, there can be four cases: (i) they exactly match; (ii) the training support is wider (and thus covers the test support); (iii) the test support is wider; (iv) they partially overlap. Existing methods are good at cases (i) and (ii), while cases (iii) and (iv) are more common nowadays but still under-explored. In this paper, we generalize importance weighting (IW), a golden solver for cases (i) and (ii), to a universal solver for all cases. Specifically, we first investigate why IW might fail in cases (iii) and (iv); based on the findings, we propose generalized IW (GIW) that could handle cases (iii) and (iv) and would reduce to IW in cases (i) and (ii). In GIW, the test support is split into an in-training (IT) part and an out-of-training (OOT) part, and the expected risk is decomposed into a weighted classification term over the IT part and a standard classification term over the OOT part, which guarantees the risk consistency of GIW. Then, the implementation of GIW consists of three components: (a) the split of validation data is carried out by the one-class support vector machine, (b) the first term of the empirical risk can be handled by any IW algorithm given training data and IT validation data, and (c) the second term just involves OOT validation data. Experiments demonstrate that GIW is a universal solver for DS problems, outperforming IW methods in cases (iii) and (iv).
• Abstract（参考訳）: 分布シフト (ds) は2つのレベルを持つ: 分布自体が変化し、サポート(すなわち確率密度が 0 でない集合)も変化する。 トレーニングとテストディストリビューション間のサポート変更を考慮すると、4つのケースがあります。 (i)正確に一致します。 (ii) 訓練支援はより広く(従って、試験支援をカバーしている) (iii) 試験支援は広い。 (iv)一部重複している。 既存の方法がうまくいった場合 (i)および (ii) (iii)及び (iv)近年は一般的だが、未調査のままである。 本稿では,ケースの黄金解法である重要重み付け(IW)を一般化する。 (i)および (ii) あらゆる場合の普遍的な解法について。 特に、なぜIWが失敗するのかを最初に調査する。 (iii)及び (iv)これらの知見に基づき,事例対応可能な一般化iw(giw)を提案する。 (iii)及び (iv)ケースではiwまで減少する (i)および (ii) giwでは、試験支援を訓練中(it)部と訓練外(oot)部とに分割し、期待されるリスクをit部上の重み付き分類期間とoot部上の標準分類期間とに分解し、giwのリスク一貫性を保証する。 そして、GIWの実装は3つのコンポーネントから構成される。 a) 検証データの分割は、一級支援ベクトルマシンによって行われる。 b) 経験的リスクの第一項は、トレーニングデータ及びIT検証データを与えられた任意のIWアルゴリズムで処理することができる。 (c)第2項はoot検証データのみを含む。 giwがds問題の普遍解法であることを実証する実験 (iii)及び (iv)

関連論文リスト

• Prediction-powered Generalization of Causal Inferences [6.43357871718189]
  実験の規模が限られていることが,一般化を統計的に実現不可能な課題にしていることを示す。 我々は、さらなる観察研究から得られた予測モデルを用いて、試行データを補う一般化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-06-05T02:44:14Z)
• How Well Does GPT-4V(ision) Adapt to Distribution Shifts? A Preliminary Investigation [90.93999543169296]
  GPT-4Vは最も先進的な多モード基盤モデルとして機能する。 本研究は, GPT-4Vの動的環境における適応性と一般化能力について, 厳密に評価する。
  論文  参考訳（メタデータ） (2023-12-12T16:48:07Z)
• Elastic Information Bottleneck [34.90040361806197]
  情報ボトルネックは表現学習における情報理論の原則である。 IB正則化器とDIB正則化器の間を補間する弾性情報ボトルネック(EIB)を提案する。 シミュレーションと実データ実験により、IB は IB や DIB よりも優れたドメイン適応結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-11-07T12:53:55Z)
• DIVERSIFY: A General Framework for Time Series Out-of-distribution Detection and Generalization [58.704753031608625]
  時系列は、機械学習研究における最も困難なモダリティの1つである。 時系列上でのOODの検出と一般化は、その非定常性によって悩まされる傾向がある。 時系列の動的分布のOOD検出と一般化のためのフレームワークであるDIVERSIFYを提案する。
  論文  参考訳（メタデータ） (2023-08-04T12:27:11Z)
• On Pitfalls of Test-Time Adaptation [82.8392232222119]
  TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。 TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
  論文  参考訳（メタデータ） (2023-06-06T09:35:29Z)
• Domain Adaptation with Factorizable Joint Shift [18.95213249351176]
  本稿では、サンプリングバイアスの共存を扱うために、新しい仮定であるFacterizable Joint Shift (FJS)を提案する。 FJSは2つの要因間のバイアスの独立を前提としている。 また,共同重要度推定器を得るための識別学習目的であるJA(Joint Importance Aligning)を提案する。
  論文  参考訳（メタデータ） (2022-03-06T07:58:51Z)
• OoD-Bench: Benchmarking and Understanding Out-of-Distribution Generalization Datasets and Algorithms [28.37021464780398]
  1つの分布シフトにおいて経験的リスク最小化よりも優れた既存のOoDアルゴリズムは、通常、他の分布シフトに制限があることを示す。 新しいベンチマークは、将来のOoD一般化研究で活用できる強力な基盤として機能する可能性がある。
  論文  参考訳（メタデータ） (2021-06-07T15:34:36Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Rethinking Importance Weighting for Deep Learning under Distribution Shift [86.52964129830706]
  トレーニングデータ分布がテストと異なる分散シフト(DS)では、DSを2つの別々のステップで処理する重要重み付け(IW)が強力なテクニックである。 本稿では、IWを再考し、それが円形依存に苦しむことを理論的に示す。 本稿では、WEとWCを反復し、それらをシームレスに組み合わせたエンドツーエンドの動的IWを提案する。
  論文  参考訳（メタデータ） (2020-06-08T15:03:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。