論文の概要: Neural Networks for Learning Counterfactual G-Invariances from Single Environments

• arxiv url: http://arxiv.org/abs/2104.10105v1
• Date: Tue, 20 Apr 2021 16:35:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-21 13:50:15.174815
• Title: Neural Networks for Learning Counterfactual G-Invariances from Single Environments
• Title（参考訳）: 単一環境からのG-不変性学習のためのニューラルネットワーク
• Authors: S Chandra Mouli and Bruno Ribeiro
• Abstract要約: ニューラルネットワークは、トレーニングデータ分布を超えて外挿する困難があると考えられています。 この研究は、有限変換群に基づく外挿に対して、モデルが外挿できないことは、その能力とは無関係であることを示す。
• 参考スコア（独自算出の注目度）: 13.848760376470038
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite -- or maybe because of -- their astonishing capacity to fit data, neural networks are believed to have difficulties extrapolating beyond training data distribution. This work shows that, for extrapolations based on finite transformation groups, a model's inability to extrapolate is unrelated to its capacity. Rather, the shortcoming is inherited from a learning hypothesis: Examples not explicitly observed with infinitely many training examples have underspecified outcomes in the learner's model. In order to endow neural networks with the ability to extrapolate over group transformations, we introduce a learning framework counterfactually-guided by the learning hypothesis that any group invariance to (known) transformation groups is mandatory even without evidence, unless the learner deems it inconsistent with the training data. Unlike existing invariance-driven methods for (counterfactual) extrapolations, this framework allows extrapolations from a single environment. Finally, we introduce sequence and image extrapolation tasks that validate our framework and showcase the shortcomings of traditional approaches.
• Abstract（参考訳）: データに適合する驚くべき能力があるにも関わらず、ニューラルネットワークはトレーニングデータ分散以上の外挿が困難であると考えられている。 この研究は、有限変換群に基づく外挿に対して、モデルが外挿できないことは、その能力とは無関係であることを示している。 無限に多くのトレーニング例で明示的に観察されていない例は、学習者のモデルにおいて不特定な結果をもたらします。 ニューラルネットワークにグループ変換を外挿する能力を与えるために,学習者が学習データと矛盾していると判断しない限り,(既知の)変換グループに対する群不変性は証拠なしでも必須である,という学習仮説に反する学習枠組みを導入する。 既存の非分散駆動(counterfactual)外挿法とは異なり、このフレームワークは単一の環境からの外挿を可能にする。 最後に、我々のフレームワークを検証し、従来のアプローチの欠点を示すシーケンスとイメージの外挿タスクを紹介する。

関連論文リスト

• Environment Diversification with Multi-head Neural Network for Invariant Learning [7.255121332331688]
  この研究は、データバイアスを吸収するマルチヘッドニューラルネットワークを含む不変学習フレームワークEDNILを提案する。 このフレームワークは環境に関する事前の知識や事前訓練されたモデルに関する強い仮定を必要としないことを示す。 EDNILでトレーニングされたモデルは、分布シフトに対して実験的に堅牢であることを示す。
  論文  参考訳（メタデータ） (2023-08-17T04:33:38Z)
• Unsupervised Learning of Invariance Transformations [105.54048699217668]
  近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。 重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
  論文  参考訳（メタデータ） (2023-07-24T17:03:28Z)
• First Steps Toward Understanding the Extrapolation of Nonlinear Models to Unseen Domains [35.76184529520015]
  本稿では,構造的領域シフトに対する非線形モデルの外挿を解析するための最初のステップについて述べる。 我々は、$f(x)=sum f_i(x_i)$という形の非線形モデルの族が、目に見えない分布に外挿可能であることを証明した。
  論文  参考訳（メタデータ） (2022-11-21T18:41:19Z)
• When Does Group Invariant Learning Survive Spurious Correlations? [29.750875769713513]
  本稿では,既存のグループ不変学習手法が不十分であることを明らかにする。 そのような十分性を判断するための2つの基準を提案する。 既存の手法が両者の基準に反しうることを示し、その結果、相関の急激なシフトを一般化できないことを示す。 そこで我々は,統計的独立性試験を用いたグループ構築を行うグループ不変学習手法を考案した。
  論文  参考訳（メタデータ） (2022-06-29T11:16:11Z)
• Equivariance Allows Handling Multiple Nuisance Variables When Analyzing Pooled Neuroimaging Datasets [53.34152466646884]
  本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。 いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
  論文  参考訳（メタデータ） (2022-03-29T04:54:06Z)
• Agree to Disagree: Diversity through Disagreement for Better Transferability [54.308327969778155]
  本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。 我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
  論文  参考訳（メタデータ） (2022-02-09T12:03:02Z)
• Learning Invariances in Neural Networks [51.20867785006147]
  ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。 画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:18:48Z)
• On the Benefits of Invariance in Neural Networks [56.362579457990094]
  データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。 また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
  論文  参考訳（メタデータ） (2020-05-01T02:08:58Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)
• Domain segmentation and adjustment for generalized zero-shot learning [22.933463036413624]
  ゼロショット学習では、見えないデータを生成モデルで合成することは、見えないクラスと見えないクラスのトレーニングデータの不均衡に対処する最も一般的な方法である。 未確認データの合成は、トレーニングデータの不均衡に起因する領域シフトに対処するための理想的なアプローチではないと我々は主張する。 本稿では,異なる領域における一般化されたゼロショット認識を実現することを提案する。
  論文  参考訳（メタデータ） (2020-02-01T15:00:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。