論文の概要: Demystifying Disagreement-on-the-Line in High Dimensions
- arxiv url: http://arxiv.org/abs/2301.13371v1
- Date: Tue, 31 Jan 2023 02:31:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-01 17:50:58.002220
- Title: Demystifying Disagreement-on-the-Line in High Dimensions
- Title(参考訳): 高次元における不一致の解消
- Authors: Donghwan Lee, Behrad Moniri, Xinmeng Huang, Edgar Dobriban, Hamed
Hassani
- Abstract要約: 我々は高次元のランダム特徴回帰における不一致を解析するための理論的基盤を開発する。
CIFAR-10-C、Tiny ImageNet-C、Camelyon17の実験は、我々の理論と一致しており、理論的な発見の普遍性を支持する。
- 参考スコア(独自算出の注目度): 34.103373453782744
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluating the performance of machine learning models under distribution
shift is challenging, especially when we only have unlabeled data from the
shifted (target) domain, along with labeled data from the original (source)
domain. Recent work suggests that the notion of disagreement, the degree to
which two models trained with different randomness differ on the same input, is
a key to tackle this problem. Experimentally, disagreement and prediction error
have been shown to be strongly connected, which has been used to estimate model
performance. Experiments have lead to the discovery of the
disagreement-on-the-line phenomenon, whereby the classification error under the
target domain is often a linear function of the classification error under the
source domain; and whenever this property holds, disagreement under the source
and target domain follow the same linear relation. In this work, we develop a
theoretical foundation for analyzing disagreement in high-dimensional random
features regression; and study under what conditions the
disagreement-on-the-line phenomenon occurs in our setting. Experiments on
CIFAR-10-C, Tiny ImageNet-C, and Camelyon17 are consistent with our theory and
support the universality of the theoretical findings.
- Abstract(参考訳): 特に、シフト(ターゲット)ドメインからのラベルなしデータと、元の(ソース)ドメインからのラベル付きデータのみを持つ場合、分散シフト下での機械学習モデルのパフォーマンス評価は困難である。
最近の研究は、異なるランダム性で訓練された2つのモデルが同じ入力で異なる程度である不一致の概念がこの問題に取り組む鍵であることを示唆している。
実験により,不一致と予測誤差が強く結びついており,モデルの性能を推定するために用いられている。
実験により、対象領域下の分類誤差は、しばしばソース領域下の分類誤差の線形関数であり、この性質が保持されるたびに、ソース領域とターゲット領域下の不一致は、同じ線形関係に従う。
本研究では,高次元ランダム特徴回帰における不一致を解析するための理論的基礎を構築し,不一致がどのような条件下で発生するかを検討する。
CIFAR-10-C、Tiny ImageNet-C、Camelyon17の実験は、我々の理論と一致しており、理論的な発見の普遍性を支持する。
関連論文リスト
- Robust Distributed Learning: Tight Error Bounds and Breakdown Point
under Data Heterogeneity [11.2120847961379]
本稿では,より現実的な不均一性モデル,すなわち(G,B)-段階的な相似性について考察し,既存の理論よりも学習問題を扱えることを示す。
また、分散学習アルゴリズムの学習誤差に新たな低い境界があることも証明する。
論文 参考訳(メタデータ) (2023-09-24T09:29:28Z) - Towards Characterizing Domain Counterfactuals For Invertible Latent
Causal Models [16.96946087576007]
制約の少ない仮定でドメインの偽物推定を改善することを目的としている。
ドメイン対実的に等価なモデルを定義し、等価なモデルに必要な十分な性質を証明します。
この驚くべき結果は、最後の$k$遅延変数にのみ介入できるモデル設計が、反ファクトのモデル推定を改善することを示唆している。
論文 参考訳(メタデータ) (2023-06-20T04:19:06Z) - On the Joint Interaction of Models, Data, and Features [82.60073661644435]
本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。
これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。
この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
論文 参考訳(メタデータ) (2023-06-07T21:35:26Z) - Limits of Model Selection under Transfer Learning [18.53111473571927]
提案手法は,仮説クラスの選択によって異なることが知られているソース分布とターゲット分布の移動距離について検討する。
適応率、すなわち分布情報を持たないものは、オラクルレートよりも任意に遅くなる。
論文 参考訳(メタデータ) (2023-04-29T02:27:42Z) - Leveraging Domain Relations for Domain Generalization [77.75140035123063]
D3Gは異なるドメイン間の関係を利用してドメイン固有のモデルを学ぶ。
D3Gは, 平均10.6%の性能向上を図りながら, 常に最先端の手法よりも優れていた。
論文 参考訳(メタデータ) (2023-02-06T08:11:16Z) - Causal Domain Adaptation with Copula Entropy based Conditional
Independence Test [2.3980064191633232]
ドメイン適応(DA)は、ソースドメインでトレーニングされたモデルを異なる分布を持つターゲットドメインに転送することを目的とした機械学習の典型的な問題である。
まず、因果DA問題の数学的モデルを示し、その後、領域間の不変表現を見つける因果DAの方法を提案する。
論文 参考訳(メタデータ) (2022-02-27T23:32:44Z) - Instrumental Variable-Driven Domain Generalization with Unobserved
Confounders [53.735614014067394]
ドメイン一般化(Domain Generalization, DG)は、複数のソースドメインから、目に見えないターゲットドメインをうまく一般化できるモデルを学ぶことを目的としている。
観測不能な共同創設者のバイアスを2段階学習で除去し,インストゥルメンタル変数駆動型DG法(IV-DG)を提案する。
第1段階では、あるドメインの入力特徴の条件分布を他のドメインの入力特徴の条件分布として学習する。
第2段階では,ラベルと学習条件分布の関係を推定する。
論文 参考訳(メタデータ) (2021-10-04T13:32:57Z) - Self-balanced Learning For Domain Generalization [64.99791119112503]
ドメインの一般化は、モデルが未知の統計を持つ対象のドメインに一般化できるように、マルチドメインのソースデータの予測モデルを学ぶことを目的としている。
既存のアプローチのほとんどは、ソースデータがドメインとクラスの両方の観点からバランスよく調整されているという前提の下で開発されている。
本稿では,多領域ソースデータの分布の違いによるバイアスを軽減するために,損失の重み付けを適応的に学習する自己均衡型領域一般化フレームワークを提案する。
論文 参考訳(メタデータ) (2021-08-31T03:17:54Z) - f-Domain-Adversarial Learning: Theory and Algorithms [82.97698406515667]
教師なしのドメイン適応は、トレーニング中、ターゲットドメイン内のラベルなしデータにアクセス可能な、多くの機械学習アプリケーションで使用されている。
領域適応のための新しい一般化法を導出し、f-発散体の変分的特徴に基づく分布間の相違性の新しい尺度を利用する。
論文 参考訳(メタデータ) (2021-06-21T18:21:09Z) - Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。
ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。
分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
論文 参考訳(メタデータ) (2020-12-19T15:24:04Z) - NestedVAE: Isolating Common Factors via Weak Supervision [45.366986365879505]
我々は、バイアス低減の課題と、ドメイン間で共通する分離要因の関係を同定する。
共通因子を分離するために、潜伏変数モデルの理論と情報ボトルネック理論を組み合わせる。
共有重みを持つ2つの外部VAEは入力を再構成し、潜伏空間を推論し、一方、ネストされたVAEはペア化された画像の潜伏表現から1つの画像の潜伏表現を再構成しようとする。
論文 参考訳(メタデータ) (2020-02-26T15:49:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。