論文の概要: Demystifying Disagreement-on-the-Line in High Dimensions

• arxiv url: http://arxiv.org/abs/2301.13371v1
• Date: Tue, 31 Jan 2023 02:31:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-01 17:50:58.002220
• Title: Demystifying Disagreement-on-the-Line in High Dimensions
• Title（参考訳）: 高次元における不一致の解消
• Authors: Donghwan Lee, Behrad Moniri, Xinmeng Huang, Edgar Dobriban, Hamed Hassani
• Abstract要約: 我々は高次元のランダム特徴回帰における不一致を解析するための理論的基盤を開発する。 CIFAR-10-C、Tiny ImageNet-C、Camelyon17の実験は、我々の理論と一致しており、理論的な発見の普遍性を支持する。
• 参考スコア（独自算出の注目度）: 34.103373453782744
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating the performance of machine learning models under distribution shift is challenging, especially when we only have unlabeled data from the shifted (target) domain, along with labeled data from the original (source) domain. Recent work suggests that the notion of disagreement, the degree to which two models trained with different randomness differ on the same input, is a key to tackle this problem. Experimentally, disagreement and prediction error have been shown to be strongly connected, which has been used to estimate model performance. Experiments have lead to the discovery of the disagreement-on-the-line phenomenon, whereby the classification error under the target domain is often a linear function of the classification error under the source domain; and whenever this property holds, disagreement under the source and target domain follow the same linear relation. In this work, we develop a theoretical foundation for analyzing disagreement in high-dimensional random features regression; and study under what conditions the disagreement-on-the-line phenomenon occurs in our setting. Experiments on CIFAR-10-C, Tiny ImageNet-C, and Camelyon17 are consistent with our theory and support the universality of the theoretical findings.
• Abstract（参考訳）: 特に、シフト(ターゲット)ドメインからのラベルなしデータと、元の(ソース)ドメインからのラベル付きデータのみを持つ場合、分散シフト下での機械学習モデルのパフォーマンス評価は困難である。 最近の研究は、異なるランダム性で訓練された2つのモデルが同じ入力で異なる程度である不一致の概念がこの問題に取り組む鍵であることを示唆している。 実験により,不一致と予測誤差が強く結びついており,モデルの性能を推定するために用いられている。 実験により、対象領域下の分類誤差は、しばしばソース領域下の分類誤差の線形関数であり、この性質が保持されるたびに、ソース領域とターゲット領域下の不一致は、同じ線形関係に従う。 本研究では,高次元ランダム特徴回帰における不一致を解析するための理論的基礎を構築し,不一致がどのような条件下で発生するかを検討する。 CIFAR-10-C、Tiny ImageNet-C、Camelyon17の実験は、我々の理論と一致しており、理論的な発見の普遍性を支持する。

関連論文リスト

• Demystifying amortized causal discovery with transformers [21.058343547918053]
  観測データからの因果発見のための教師付き学習アプローチは、しばしば競争性能を達成する。 本研究では,CSIvAについて検討する。CSIvAは,合成データのトレーニングと実データへの転送を約束するトランスフォーマーモデルである。 既存の識別可能性理論とギャップを埋め、トレーニングデータ分布の制約がテスト観測の事前を暗黙的に定義していることを示します。
  論文  参考訳（メタデータ） (2024-05-27T08:17:49Z)
• Robust Distributed Learning: Tight Error Bounds and Breakdown Point under Data Heterogeneity [11.2120847961379]
  本稿では,より現実的な不均一性モデル,すなわち(G,B)-段階的な相似性について考察し,既存の理論よりも学習問題を扱えることを示す。 また、分散学習アルゴリズムの学習誤差に新たな低い境界があることも証明する。
  論文  参考訳（メタデータ） (2023-09-24T09:29:28Z)
• Towards Characterizing Domain Counterfactuals For Invertible Latent Causal Models [15.817239008727789]
  本研究では,異なるドメインで生成された場合,サンプルがどのようなものであったのかを仮定した,ドメイン反事実と呼ばれる特定のタイプの因果クエリを解析する。 本研究では, 潜在構造因果モデル (SCM) の回復は, ドメイン・デファクト・デファクトを推定するために不要であることを示す。 また、モデル生成過程を単純化し、生成モデル推定を行うための理論的基盤となる実用的なアルゴリズムも開発する。
  論文  参考訳（メタデータ） (2023-06-20T04:19:06Z)
• On the Joint Interaction of Models, Data, and Features [82.60073661644435]
  本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。 これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。 この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
  論文  参考訳（メタデータ） (2023-06-07T21:35:26Z)
• Limits of Model Selection under Transfer Learning [18.53111473571927]
  提案手法は,仮説クラスの選択によって異なることが知られているソース分布とターゲット分布の移動距離について検討する。 適応率、すなわち分布情報を持たないものは、オラクルレートよりも任意に遅くなる。
  論文  参考訳（メタデータ） (2023-04-29T02:27:42Z)
• SALUDA: Surface-based Automotive Lidar Unsupervised Domain Adaptation [62.889835139583965]
  我々は、ソースデータとターゲットデータに基づいて、暗黙の基盤となる表面表現を同時に学習する教師なし補助タスクを導入する。 両方のドメインが同じ遅延表現を共有しているため、モデルは2つのデータソース間の不一致を許容せざるを得ない。 実験の結果,本手法は実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-
  論文  参考訳（メタデータ） (2023-04-06T17:36:23Z)
• Instrumental Variable-Driven Domain Generalization with Unobserved Confounders [53.735614014067394]
  ドメイン一般化(Domain Generalization, DG)は、複数のソースドメインから、目に見えないターゲットドメインをうまく一般化できるモデルを学ぶことを目的としている。 観測不能な共同創設者のバイアスを2段階学習で除去し,インストゥルメンタル変数駆動型DG法(IV-DG)を提案する。 第1段階では、あるドメインの入力特徴の条件分布を他のドメインの入力特徴の条件分布として学習する。 第2段階では,ラベルと学習条件分布の関係を推定する。
  論文  参考訳（メタデータ） (2021-10-04T13:32:57Z)
• Self-balanced Learning For Domain Generalization [64.99791119112503]
  ドメインの一般化は、モデルが未知の統計を持つ対象のドメインに一般化できるように、マルチドメインのソースデータの予測モデルを学ぶことを目的としている。 既存のアプローチのほとんどは、ソースデータがドメインとクラスの両方の観点からバランスよく調整されているという前提の下で開発されている。 本稿では,多領域ソースデータの分布の違いによるバイアスを軽減するために,損失の重み付けを適応的に学習する自己均衡型領域一般化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-31T03:17:54Z)
• f-Domain-Adversarial Learning: Theory and Algorithms [82.97698406515667]
  教師なしのドメイン適応は、トレーニング中、ターゲットドメイン内のラベルなしデータにアクセス可能な、多くの機械学習アプリケーションで使用されている。 領域適応のための新しい一般化法を導出し、f-発散体の変分的特徴に基づく分布間の相違性の新しい尺度を利用する。
  論文  参考訳（メタデータ） (2021-06-21T18:21:09Z)
• Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
  多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。 ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。 分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
  論文  参考訳（メタデータ） (2020-12-19T15:24:04Z)
• NestedVAE: Isolating Common Factors via Weak Supervision [45.366986365879505]
  我々は、バイアス低減の課題と、ドメイン間で共通する分離要因の関係を同定する。 共通因子を分離するために、潜伏変数モデルの理論と情報ボトルネック理論を組み合わせる。 共有重みを持つ2つの外部VAEは入力を再構成し、潜伏空間を推論し、一方、ネストされたVAEはペア化された画像の潜伏表現から1つの画像の潜伏表現を再構成しようとする。
  論文  参考訳（メタデータ） (2020-02-26T15:49:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。