論文の概要: Invariant Learning via Probability of Sufficient and Necessary Causes

• arxiv url: http://arxiv.org/abs/2309.12559v5
• Date: Fri, 10 May 2024 12:54:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-13 20:36:56.396402
• Title: Invariant Learning via Probability of Sufficient and Necessary Causes
• Title（参考訳）: 十分かつ必要な原因の確率による不変学習
• Authors: Mengyue Yang, Zhen Fang, Yonggang Zhang, Yali Du, Furui Liu, Jean-Francois Ton, Jianhong Wang, Jun Wang,
• Abstract要約: アウト・オブ・ディストリビューション(OOD)の一般化は、野生のモデルを学習するのに不可欠である。 因果関係から導かれる最近の手法は、OODの一般化を実現する大きな可能性を示している。 PNS リスクを提案し,高い PNS 値で表現を学習するアルゴリズムを定式化する。
• 参考スコア（独自算出の注目度）: 36.8190731217566
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Out-of-distribution (OOD) generalization is indispensable for learning models in the wild, where testing distribution typically unknown and different from the training. Recent methods derived from causality have shown great potential in achieving OOD generalization. However, existing methods mainly focus on the invariance property of causes, while largely overlooking the property of \textit{sufficiency} and \textit{necessity} conditions. Namely, a necessary but insufficient cause (feature) is invariant to distribution shift, yet it may not have required accuracy. By contrast, a sufficient yet unnecessary cause (feature) tends to fit specific data well but may have a risk of adapting to a new domain. To capture the information of sufficient and necessary causes, we employ a classical concept, the probability of sufficiency and necessary causes (PNS), which indicates the probability of whether one is the necessary and sufficient cause. To associate PNS with OOD generalization, we propose PNS risk and formulate an algorithm to learn representation with a high PNS value. We theoretically analyze and prove the generalizability of the PNS risk. Experiments on both synthetic and real-world benchmarks demonstrate the effectiveness of the proposed method. The details of the implementation can be found at the GitHub repository: https://github.com/ymy4323460/CaSN.
• Abstract（参考訳）: アウト・オブ・ディストリビューション(OOD)の一般化は、一般にテスト分布が未知であり、トレーニングとは異なる、野生のモデルの学習には不可欠である。 因果関係から導かれる最近の手法は、OODの一般化を実現する大きな可能性を示している。 しかし、既存の方法は主に原因の不変性に焦点を合わせ、主に \textit{sufficiency} と \textit{necessity} の条件の性質を見下ろしている。 すなわち、必要だが不十分な原因(機能)は分布シフトに不変であるが、精度は必要ではないかもしれない。 対照的に、十分な不必要な原因(機能)は特定のデータによく適合する傾向があるが、新しいドメインに適応するリスクがある。 十分かつ必要な原因に関する情報を収集するために、我々は、必要かつ十分な原因であるかどうかを示す古典的な概念、充足確率と必要原因(PNS)を用いる。 PNS と OOD の一般化を関連付けるために,我々は PNS リスクを提案し,高い PNS 値で表現を学習するアルゴリズムを定式化する。 理論的には, PNSリスクの一般化可能性を分析し, 証明する。 合成および実世界のベンチマーク実験により,提案手法の有効性が示された。 実装の詳細はGitHubリポジトリで確認できる。

関連論文リスト

• VeriFlow: Modeling Distributions for Neural Network Verification [4.3012765978447565]
  フォーマル検証は、ニューラルネットワークの安全性と信頼性を保証するための有望な方法として登場した。 本稿では,流れに基づく密度モデルとしてVeriFlowアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-06-20T12:41:39Z)
• Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
  提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。 我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
  論文  参考訳（メタデータ） (2023-01-16T14:25:02Z)
• On the Probability of Necessity and Sufficiency of Explaining Graph Neural Networks: A Lower Bound Optimization Approach [30.654856304938686]
  GNN(NSEG)のための必要・必要記述のためのフレームワークを提案する。 具体的には,GNNを構造因果モデル(SCM)として記述し,その確率を推定する。 実験の結果、NSEGは最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-12-14T06:55:32Z)
• Principled Knowledge Extrapolation with GANs [92.62635018136476]
  我々は,知識外挿の新たな視点から,対実合成を研究する。 本稿では, 知識外挿問題に対処するために, クローズド形式判別器を用いた対角ゲームが利用可能であることを示す。 提案手法は,多くのシナリオにおいて,エレガントな理論的保証と優れた性能の両方を享受する。
  論文  参考訳（メタデータ） (2022-05-21T08:39:42Z)
• Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
  特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。 一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。 我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
  論文  参考訳（メタデータ） (2022-02-08T16:09:12Z)
• The Causal Neural Connection: Expressiveness, Learnability, and Inference [125.57815987218756]
  構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。 本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。 我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
  論文  参考訳（メタデータ） (2021-07-02T01:55:18Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Unifying supervised learning and VAEs -- coverage, systematics and goodness-of-fit in normalizing-flow based neural network models for astro-particle reconstructions [0.0]
  統計的不確実性、包括性、体系的不確実性、あるいは適度な尺度はしばしば計算されない。 データとラベルの共分散のKL分割の目的は、教師付き学習と変分オートエンコーダの統合を可能にすることを示す。 本稿では,特定の「基本順序」輪郭の数値積分を伴わずにカバレッジ確率を計算する方法について論じる。
  論文  参考訳（メタデータ） (2020-08-13T11:28:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。