論文の概要: Predicting Out-of-Domain Generalization with Local Manifold Smoothness

• arxiv url: http://arxiv.org/abs/2207.02093v1
• Date: Tue, 5 Jul 2022 14:55:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-06 14:50:29.796077
• Title: Predicting Out-of-Domain Generalization with Local Manifold Smoothness
• Title（参考訳）: 局所的マニフォールド平滑性を考慮した領域外一般化予測
• Authors: Nathan Ng and Kyunghyun Cho and Neha Hulkund and Marzyeh Ghassemi
• Abstract要約: 近年の研究では、モデルの一般化能力を直接予測または理論的に束縛する様々な複雑さ尺度が提案されている。 既存の測度を適用可能な限定的な設定により、分類器の局所多様体の滑らか度に基づく新しい複雑性尺度を提案する。 提案手法では,データ拡張法を選択するだけで,モデルやデータ分布に関する仮定は不要である。
• 参考スコア（独自算出の注目度）: 59.05399533508682
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding how machine learning models generalize to new environments is a critical part of their safe deployment. Recent work has proposed a variety of complexity measures that directly predict or theoretically bound the generalization capacity of a model. However, these methods rely on a strong set of assumptions that in practice are not always satisfied. Motivated by the limited settings in which existing measures can be applied, we propose a novel complexity measure based on the local manifold smoothness of a classifier. We define local manifold smoothness as a classifier's output sensitivity to perturbations in the manifold neighborhood around a given test point. Intuitively, a classifier that is less sensitive to these perturbations should generalize better. To estimate smoothness we sample points using data augmentation and measure the fraction of these points classified into the majority class. Our method only requires selecting a data augmentation method and makes no other assumptions about the model or data distributions, meaning it can be applied even in out-of-domain (OOD) settings where existing methods cannot. In experiments on robustness benchmarks in image classification, sentiment analysis, and natural language inference, we demonstrate a strong and robust correlation between our manifold smoothness measure and actual OOD generalization on over 3,000 models evaluated on over 100 train/test domain pairs.
• Abstract（参考訳）: 機械学習モデルを新しい環境に一般化する方法を理解することは、安全なデプロイメントの重要な部分である。 近年の研究では、モデルの一般化能力を直接予測または理論的に拘束する様々な複雑性測度が提案されている。 しかし、これらの手法は実際には必ずしも満たされるとは限らないという強い仮定に依拠している。 既存の測度を適用可能な限定的な設定に動機づけられ,分類器の局所多様体滑らか性に基づく新しい複雑性測度を提案する。 局所多様体の滑らかさを,与えられた試験点周辺の多様体近傍における摂動に対する分類器の出力感度として定義する。 直感的には、これらの摂動に敏感でない分類器はより一般化されるべきである。 滑らかさを推定するために、データ拡張を用いて点をサンプリングし、これらの点の比率を多数派に分類する。 提案手法では,既存のメソッドでは不可能なドメイン外設定でも適用可能であるため,データ拡張法を選択するだけで,モデルやデータ分散に関する仮定は不要である。 画像分類,感情分析,自然言語推論におけるロバストネスベンチマークの実験において,100以上の列車/テストドメインペア上で評価された3,000以上のモデル上で,多様体の滑らか度測定と実際のOOD一般化との強い相関を示す。

関連論文リスト

• Conformal Inference for Invariant Risk Minimization [12.049545417799125]
  機械学習モデルの応用は、分布シフトの発生によって著しく阻害される可能性がある。 この問題を解決する一つの方法は、不変リスク最小化(IRM)のような不変学習を用いて不変表現を取得することである。 本稿では,不変表現に対する不確実性推定を記述するために,分布自由予測領域を得る手法を提案する。
  論文  参考訳（メタデータ） (2023-05-22T03:48:38Z)
• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• Malign Overfitting: Interpolation Can Provably Preclude Invariance [30.776243638012314]
  補間にもかかわらずモデルを適切に一般化する「良性過剰適合」は、堅牢性や公正性が望ましい設定に好ましくない可能性があることを示す。 本研究では,非補間型分類器の確率的不変性を学習するアルゴリズムを提案し,解析する。
  論文  参考訳（メタデータ） (2022-11-28T19:17:31Z)
• Learning Invariant Representations under General Interventions on the Response [2.725698729450241]
  線形構造因果モデル(SCM)に着目し、不変整合性(IMP)を導入する。 離散環境と連続環境の両方において,本手法の一般化誤差を解析する。
  論文  参考訳（メタデータ） (2022-08-22T03:09:17Z)
• On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
  一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
  論文  参考訳（メタデータ） (2022-07-14T17:08:25Z)
• Predicting with Confidence on Unseen Distributions [90.68414180153897]
  ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。 分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。 具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
  論文  参考訳（メタデータ） (2021-07-07T15:50:18Z)
• Domain Conditional Predictors for Domain Adaptation [3.951376400628575]
  本稿では,入力データに依存することに加えて,基礎となるデータ生成分布に対する情報を利用する条件付きモデリング手法を検討する。 このようなアプローチは、現在のドメイン適応手法よりも一般的に適用可能であると論じる。
  論文  参考訳（メタデータ） (2021-06-25T22:15:54Z)
• Performance-Agnostic Fusion of Probabilistic Classifier Outputs [2.4206828137867107]
  本稿では,1つのコンセンサスクラス予測を行うために,分類器の確率的出力を組み合わせる手法を提案する。 提案手法は,精度が性能指標である状況において有効である。 キャリブレーションされた確率を出力しないので、そのような確率がさらなる処理に必要となる状況には適さない。
  論文  参考訳（メタデータ） (2020-09-01T16:53:29Z)
• Estimating Generalization under Distribution Shifts via Domain-Invariant Representations [75.74928159249225]
  未知の真のターゲットラベルのプロキシとして、ドメイン不変の予測器のセットを使用します。 結果として生じるリスク見積の誤差は、プロキシモデルのターゲットリスクに依存する。
  論文  参考訳（メタデータ） (2020-07-06T17:21:24Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。