論文の概要: Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting
- arxiv url: http://arxiv.org/abs/2303.03187v1
- Date: Mon, 6 Mar 2023 14:49:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-07 15:48:43.138129
- Title: Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting
- Title（参考訳）: 適応型サンプル再重み付けによる微分因果発見の促進
- Authors: An Zhang, Fangfu Liu, Wenchang Ma, Zhibo Cai, Xiang Wang, Tat-seng
Chua
- Abstract要約: 異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。
本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 62.23057729112182
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Under stringent model type and variable distribution assumptions,
differentiable score-based causal discovery methods learn a directed acyclic
graph (DAG) from observational data by evaluating candidate graphs over an
average score function. Despite great success in low-dimensional linear
systems, it has been observed that these approaches overly exploit
easier-to-fit samples, thus inevitably learning spurious edges. Worse still,
inherent mostly in these methods the common homogeneity assumption can be
easily violated, due to the widespread existence of heterogeneous data in the
real world, resulting in performance vulnerability when noise distributions
vary. We propose a simple yet effective model-agnostic framework to boost
causal discovery performance by dynamically learning the adaptive weights for
the Reweighted Score function, ReScore for short, where the weights tailor
quantitatively to the importance degree of each sample. Intuitively, we
leverage the bilevel optimization scheme to \wx{alternately train a standard
DAG learner and reweight samples -- that is, upweight the samples the learner
fails to fit and downweight the samples that the learner easily extracts the
spurious information from. Extensive experiments on both synthetic and
real-world datasets are carried out to validate the effectiveness of ReScore.
We observe consistent and significant boosts in structure learning performance.
Furthermore, we visualize that ReScore concurrently mitigates the influence of
spurious edges and generalizes to heterogeneous data. Finally, we perform the
theoretical analysis to guarantee the structure identifiability and the weight
adaptive properties of ReScore in linear systems. Our codes are available at
https://github.com/anzhang314/ReScore.
- Abstract（参考訳）: ストリングモデル型および可変分布仮定の下で、微分可能なスコアベース因果発見法は、平均スコア関数上で候補グラフを評価することにより、観測データから有向非循環グラフ(dag)を学習する。
低次元線形システムで大きな成功を収めたにもかかわらず、これらのアプローチは適合しやすいサンプルを過剰に活用し、必然的にスプリアスエッジを学習していることが観察されている。
さらに悪いことに、これらの手法に特有の共通均一性仮定は、実世界の異種データが広く存在するため、容易に違反でき、ノイズ分布が変化すると性能上の脆弱性が生じる。
重み付けスコア関数rescoreの適応重み付けを動的に学習し,各サンプルの重要性度に定量的に重み付けを行うことによって,因果発見性能を高めるための,単純かつ効果的なモデル非依存フレームワークを提案する。
直感的には、bilevel optimization schemeを利用して、標準のdag学習者およびリウェイトサンプル -- つまり、学習者が適合できないサンプルをアップウェイトし、学習者がスプリアス情報から容易に抽出するサンプルをダウンウェイトする -- をトレーニングします。
rescoreの有効性を検証するために,合成データと実世界のデータセットの両方について広範な実験を行った。
構造学習性能の一貫性と顕著な向上を観察する。
さらに,スプリアスエッジの影響を同時に緩和し,異種データに一般化できることを可視化する。
最後に、線形システムにおけるReScoreの構造識別性と重み適応性を保証するための理論的解析を行う。
私たちのコードはhttps://github.com/anzhang314/rescoreで利用可能です。
関連論文リスト
- Out of the Ordinary: Spectrally Adapting Regression for Covariate Shift [12.770658031721435]
本稿では,学習前のニューラル回帰モデルの最後の層の重みを適応させて,異なる分布から得られる入力データを改善する手法を提案する。
本稿では,この軽量なスペクトル適応手法により,合成および実世界のデータセットの分布外性能が向上することを示す。
論文 参考訳（メタデータ） (2023-12-29T04:15:58Z) - Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳（メタデータ） (2023-12-27T09:03:43Z) - TRIAGE: Characterizing and auditing training data for improved
regression [80.11415390605215]
TRIAGEは回帰タスクに適した新しいデータキャラクタリゼーションフレームワークで、広範囲の回帰器と互換性がある。
TRIAGEは、共形予測分布を利用して、モデルに依存しないスコアリング方法、TRIAGEスコアを提供する。
TRIAGEの特徴は一貫性があり、複数の回帰設定においてデータの彫刻/フィルタリングによるパフォーマンス向上に有効であることを示す。
論文 参考訳（メタデータ） (2023-10-29T10:31:59Z) - Intra-class Adaptive Augmentation with Neighbor Correction for Deep
Metric Learning [99.14132861655223]
深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。
クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。
本手法は,検索性能の最先端手法を3%～6%向上させる。
論文 参考訳（メタデータ） (2022-11-29T14:52:38Z) - Dynamic Loss For Robust Learning [17.33444812274523]
本研究は,メタラーニングに基づく動的損失を学習プロセスで自動調整し,長い尾の雑音データから分類器を頑健に学習する手法を提案する。
本研究では,CIFAR-10/100,Animal-10N,ImageNet-LT,Webvisionなど,さまざまな種類のデータバイアスを持つ複数の実世界および合成データセットに対して,最先端の精度を実現する。
論文 参考訳（メタデータ） (2022-11-22T01:48:25Z) - CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep
Learning [55.733193075728096]
現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。
サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。
本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
論文 参考訳（メタデータ） (2022-02-11T13:49:51Z) - Delving into Sample Loss Curve to Embrace Noisy and Imbalanced Data [17.7825114228313]
破損したラベルとクラス不均衡は、実際に収集されたトレーニングデータでよく見られる。
既存のアプローチは、サンプルの再重み付け戦略を採用することで、これらの問題を緩和します。
しかし、ラベルが破損したサンプルと、訓練データに一般的に共存する尾のクラスは偏りがあった。
論文 参考訳（メタデータ） (2021-12-30T09:20:07Z) - Variation-Incentive Loss Re-weighting for Regression Analysis on Biased
Data [8.115323786541078]
モデルトレーニング中のデータ歪/バイアスに対処することで回帰分析の精度を向上させることを目的としている。
回帰分析のための勾配降下モデルトレーニングを最適化するために,変分集中損失再重み付け法(VILoss)を提案する。
論文 参考訳（メタデータ） (2021-09-14T10:22:21Z) - Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。
本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。
ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
論文 参考訳（メタデータ） (2020-12-13T03:41:52Z) - Conditional Wasserstein GAN-based Oversampling of Tabular Data for
Imbalanced Learning [10.051309746913512]
本稿では,条件付きWasserstein GANに基づくオーバーサンプリング手法を提案する。
実世界の7つのデータセット上で,標準的なオーバーサンプリング手法と不均衡なベースラインに対して,本手法をベンチマークした。
論文 参考訳（メタデータ） (2020-08-20T20:33:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。