論文の概要: Predicting Out-of-Domain Generalization with Neighborhood Invariance

• arxiv url: http://arxiv.org/abs/2207.02093v3
• Date: Mon, 17 Jul 2023 15:16:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-19 00:37:17.192979
• Title: Predicting Out-of-Domain Generalization with Neighborhood Invariance
• Title（参考訳）: 近傍不変性を考慮した領域外一般化予測
• Authors: Nathan Ng and Neha Hulkund and Kyunghyun Cho and Marzyeh Ghassemi
• Abstract要約: 局所変換近傍における分類器の出力不変性の尺度を提案する。 私たちの測度は計算が簡単で、テストポイントの真のラベルに依存しません。 画像分類,感情分析,自然言語推論のベンチマーク実験において,我々の測定値と実際のOOD一般化との間に強い相関関係を示す。
• 参考スコア（独自算出の注目度）: 59.05399533508682
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Developing and deploying machine learning models safely depends on the ability to characterize and compare their abilities to generalize to new environments. Although recent work has proposed a variety of methods that can directly predict or theoretically bound the generalization capacity of a model, they rely on strong assumptions such as matching train/test distributions and access to model gradients. In order to characterize generalization when these assumptions are not satisfied, we propose neighborhood invariance, a measure of a classifier's output invariance in a local transformation neighborhood. Specifically, we sample a set of transformations and given an input test point, calculate the invariance as the largest fraction of transformed points classified into the same class. Crucially, our measure is simple to calculate, does not depend on the test point's true label, makes no assumptions about the data distribution or model, and can be applied even in out-of-domain (OOD) settings where existing methods cannot, requiring only selecting a set of appropriate data transformations. In experiments on robustness benchmarks in image classification, sentiment analysis, and natural language inference, we demonstrate a strong and robust correlation between our neighborhood invariance measure and actual OOD generalization on over 4,600 models evaluated on over 100 unique train/test domain pairs.
• Abstract（参考訳）: 機械学習モデルの開発とデプロイは、新しい環境に一般化する能力の特徴付けと比較能力に依存する。 近年の研究では、モデルの一般化能力を直接予測または理論的に限定できる様々な方法が提案されているが、列車/テスト分布のマッチングやモデルの勾配へのアクセスといった強力な仮定に依存している。 これらの仮定が満たされない場合の一般化を特徴付けるために,局所変換近傍における分類器出力不変量の尺度である近傍不変性を提案する。 具体的には、一連の変換をサンプリングし、入力試験点を付与し、同じクラスに分類される変換点の最大分数として不変性を計算する。 重要な点は、この尺度は計算が簡単で、テストポイントの真のラベルに依存しておらず、データ分散やモデルについて仮定せず、既存のメソッドができない領域外(ood)の設定でも適用でき、適切なデータ変換のセットを選択するだけでよい。 画像分類,感情分析,自然言語推論におけるロバストネスベンチマークの実験において,100以上の単体/テストドメイン対で評価された4,600以上のモデルに対して,我々の近傍不変度測定値と実際のOOD一般化との強い相関を示す。

関連論文リスト

• Conformal Inference for Invariant Risk Minimization [12.049545417799125]
  機械学習モデルの応用は、分布シフトの発生によって著しく阻害される可能性がある。 この問題を解決する一つの方法は、不変リスク最小化(IRM)のような不変学習を用いて不変表現を取得することである。 本稿では,不変表現に対する不確実性推定を記述するために,分布自由予測領域を得る手法を提案する。
  論文  参考訳（メタデータ） (2023-05-22T03:48:38Z)
• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• Malign Overfitting: Interpolation Can Provably Preclude Invariance [30.776243638012314]
  補間にもかかわらずモデルを適切に一般化する「良性過剰適合」は、堅牢性や公正性が望ましい設定に好ましくない可能性があることを示す。 本研究では,非補間型分類器の確率的不変性を学習するアルゴリズムを提案し,解析する。
  論文  参考訳（メタデータ） (2022-11-28T19:17:31Z)
• Learning Invariant Representations under General Interventions on the Response [2.725698729450241]
  線形構造因果モデル(SCM)に着目し、不変整合性(IMP)を導入する。 離散環境と連続環境の両方において,本手法の一般化誤差を解析する。
  論文  参考訳（メタデータ） (2022-08-22T03:09:17Z)
• On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
  一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
  論文  参考訳（メタデータ） (2022-07-14T17:08:25Z)
• Predicting with Confidence on Unseen Distributions [90.68414180153897]
  ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。 分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。 具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
  論文  参考訳（メタデータ） (2021-07-07T15:50:18Z)
• Domain Conditional Predictors for Domain Adaptation [3.951376400628575]
  本稿では,入力データに依存することに加えて,基礎となるデータ生成分布に対する情報を利用する条件付きモデリング手法を検討する。 このようなアプローチは、現在のドメイン適応手法よりも一般的に適用可能であると論じる。
  論文  参考訳（メタデータ） (2021-06-25T22:15:54Z)
• Performance-Agnostic Fusion of Probabilistic Classifier Outputs [2.4206828137867107]
  本稿では,1つのコンセンサスクラス予測を行うために,分類器の確率的出力を組み合わせる手法を提案する。 提案手法は,精度が性能指標である状況において有効である。 キャリブレーションされた確率を出力しないので、そのような確率がさらなる処理に必要となる状況には適さない。
  論文  参考訳（メタデータ） (2020-09-01T16:53:29Z)
• Estimating Generalization under Distribution Shifts via Domain-Invariant Representations [75.74928159249225]
  未知の真のターゲットラベルのプロキシとして、ドメイン不変の予測器のセットを使用します。 結果として生じるリスク見積の誤差は、プロキシモデルのターゲットリスクに依存する。
  論文  参考訳（メタデータ） (2020-07-06T17:21:24Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。