論文の概要: Learning Divergence Fields for Shift-Robust Graph Representations

• arxiv url: http://arxiv.org/abs/2406.04963v1
• Date: Fri, 7 Jun 2024 14:29:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 13:41:57.390617
• Title: Learning Divergence Fields for Shift-Robust Graph Representations
• Title（参考訳）: シフトロバストグラフ表現のための多様性の学習
• Authors: Qitian Wu, Fan Nie, Chenxiao Yang, Junchi Yan,
• Abstract要約: 本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。 因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
• 参考スコア（独自算出の注目度）: 73.11818515795761
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Real-world data generation often involves certain geometries (e.g., graphs) that induce instance-level interdependence. This characteristic makes the generalization of learning models more difficult due to the intricate interdependent patterns that impact data-generative distributions and can vary from training to testing. In this work, we propose a geometric diffusion model with learnable divergence fields for the challenging generalization problem with interdependent data. We generalize the diffusion equation with stochastic diffusivity at each time step, which aims to capture the multi-faceted information flows among interdependent data. Furthermore, we derive a new learning objective through causal inference, which can guide the model to learn generalizable patterns of interdependence that are insensitive across domains. Regarding practical implementation, we introduce three model instantiations that can be considered as the generalized versions of GCN, GAT, and Transformers, respectively, which possess advanced robustness against distribution shifts. We demonstrate their promising efficacy for out-of-distribution generalization on diverse real-world datasets.
• Abstract（参考訳）: 実世界のデータ生成は、インスタンスレベルの相互依存性を誘導する特定のジオメトリ(例えばグラフ)を伴うことが多い。 この特徴は、データ生成の分布に影響を与える複雑な相互依存パターンのため、学習モデルの一般化を難しくし、トレーニングからテストまで様々である。 本研究では,相互依存データを用いた一般化問題に対して,学習可能な拡散場を持つ幾何学的拡散モデルを提案する。 我々は,相互依存データ間の多面的情報の流れを捉えることを目的とした,確率的拡散率を持つ拡散方程式を時間ステップ毎に一般化する。 さらに、因果推論によって新たな学習目標が導出され、ドメイン間で不感な相互依存の一般化可能なパターンを学習するためのモデルが導出される。 本稿では,GCN,GAT,Transformerの汎用バージョンとして,分散シフトに対する高度な堅牢性を有する3つのモデルインスタンス化を提案する。 種々の実世界のデータセット上での分布外一般化の有望な有効性を示す。

関連論文リスト

• DeCaf: A Causal Decoupling Framework for OOD Generalization on Node Classification [14.96980804513399]
  グラフニューラルネットワーク(GNN)は、分散シフトの影響を受けやすいため、クリティカルドメインの脆弱性やセキュリティ上の問題が発生する。 不変(機能、構造)-ラベルマッピングの学習を目標とする既存の方法は、データ生成プロセスに関する過度に単純化された仮定に依存することが多い。 構造因果モデル(SCM)を用いたより現実的なグラフデータ生成モデルを提案する。 本稿では,非バイアスな特徴ラベルと構造ラベルのマッピングを独立に学習する,カジュアルなデカップリングフレームワークDeCafを提案する。
  論文  参考訳（メタデータ） (2024-10-27T00:22:18Z)
• Cross-Dataset Generalization in Deep Learning [4.706219235601874]
  深層学習は, 位相イメージング, 3次元画像再構成, 位相切り離し, レーザースペックル低減など, 様々な分野で広く利用されている。 そのデータ駆動性は、豊富なデータでトレーニングすることで、ネットワーク内の数学的関係を暗黙的に構築することを可能にする。 あるデータセットでトレーニングされたネットワークは、異なるデータセットから未知のターゲットを認識するのに苦労する。
  論文  参考訳（メタデータ） (2024-10-15T02:48:21Z)
• Task Groupings Regularization: Data-Free Meta-Learning with Heterogeneous Pre-trained Models [83.02797560769285]
  Data-Free Meta-Learning (DFML)は、トレーニング済みモデルのコレクションから、元のデータにアクセスせずに知識を抽出することを目的としている。 現在の手法は、事前訓練されたモデル間の不均一性を見落とし、タスクの衝突による性能低下につながることが多い。 課題群規則化(Task Groupings Regularization)は、矛盾するタスクをグループ化し整合させることにより、モデルの不均一性から恩恵を受ける新しいアプローチである。
  論文  参考訳（メタデータ） (2024-05-26T13:11:55Z)
• Robust Computer Vision in an Ever-Changing World: A Survey of Techniques for Tackling Distribution Shifts [20.17397328893533]
  AIアプリケーションは、ますます一般大衆に注目を集めている。 コンピュータビジョンモデルに関する理論的な仮定と、それらのモデルが現実世界に展開する際に直面する現実との間には、顕著なギャップがある。 このギャップの重要な理由の1つは、分散シフトとして知られる難しい問題である。
  論文  参考訳（メタデータ） (2023-12-03T23:40:12Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• High-Dimensional Undirected Graphical Models for Arbitrary Mixed Data [2.2871867623460207]
  多くのアプリケーションでは、データは異なるタイプの変数にまたがる。 最近の進歩は、バイナリ連続ケースにどのように取り組めるかを示しているが、一般的な混合変数型構造は依然として困難である。 完全混合型の変数を持つデータに対して,フレキシブルでスケーラブルな手法を提案する。
  論文  参考訳（メタデータ） (2022-11-21T18:21:31Z)
• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)
• Learning from few examples with nonlinear feature maps [68.8204255655161]
  我々はこの現象を探求し、AIモデルの特徴空間の次元性、データ分散の非退化、モデルの一般化能力の間の重要な関係を明らかにする。 本分析の主な推力は、元のデータを高次元および無限次元空間にマッピングする非線形特徴変換が結果のモデル一般化能力に与える影響である。
  論文  参考訳（メタデータ） (2022-03-31T10:36:50Z)
• Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
  本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。 堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。 異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
  論文  参考訳（メタデータ） (2020-07-21T08:18:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。