論文の概要: Contrastive Reasoning in Neural Networks
- arxiv url: http://arxiv.org/abs/2103.12329v1
- Date: Tue, 23 Mar 2021 05:54:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-24 14:12:36.923766
- Title: Contrastive Reasoning in Neural Networks
- Title（参考訳）: ニューラルネットワークにおける対比推論
- Authors: Mohit Prabhushankar and Ghassan AlRegib
- Abstract要約: 因果クラス依存性を識別する機能に基づいて構築された推論は、フィードフォワード推論と呼ばれる。
本稿では,コントラスト推論の構造を形式化し,ニューラルネットワークのコントラスト概念を抽出する手法を提案する。
平均精度の3.47%、2.56%、5.48%の改善を報告することにより、歪み下での対比認識の価値を実証する。
- 参考スコア（独自算出の注目度）: 26.65337569468343
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Neural networks represent data as projections on trained weights in a high
dimensional manifold. The trained weights act as a knowledge base consisting of
causal class dependencies. Inference built on features that identify these
dependencies is termed as feed-forward inference. Such inference mechanisms are
justified based on classical cause-to-effect inductive reasoning models.
Inductive reasoning based feed-forward inference is widely used due to its
mathematical simplicity and operational ease. Nevertheless, feed-forward models
do not generalize well to untrained situations. To alleviate this
generalization challenge, we propose using an effect-to-cause inference model
that reasons abductively. Here, the features represent the change from existing
weight dependencies given a certain effect. We term this change as contrast and
the ensuing reasoning mechanism as contrastive reasoning. In this paper, we
formalize the structure of contrastive reasoning and propose a methodology to
extract a neural network's notion of contrast. We demonstrate the value of
contrastive reasoning in two stages of a neural network's reasoning pipeline :
in inferring and visually explaining decisions for the application of object
recognition. We illustrate the value of contrastively recognizing images under
distortions by reporting an improvement of 3.47%, 2.56%, and 5.48% in average
accuracy under the proposed contrastive framework on CIFAR-10C, noisy STL-10,
and VisDA datasets respectively.
- Abstract（参考訳）: ニューラルネットワークは、データを高次元多様体内の訓練された重みの投影として表現する。
トレーニングされた重みは、因果クラスの依存関係からなる知識ベースとして機能する。
これらの依存関係を特定する機能に基づいて構築された推論は、フィードフォワード推論と呼ばれる。
このような推論機構は古典的因果推論モデルに基づいて正当化される。
帰納的推論に基づくフィードフォワード推論はその数学的単純さと操作容易さのために広く使われている。
それにもかかわらず、フィードフォワードモデルは訓練されていない状況にうまく一般化しない。
この一般化の課題を軽減するため,帰納的な推論モデルを提案する。
ここでは、特定の効果が与えられた既存の重み依存からの変化を表す。
この変化をコントラストと呼び、それに続く推論機構をコントラスト推論と呼ぶ。
本稿では,コントラスト推論の構造を形式化し,ニューラルネットワークのコントラスト概念を抽出する手法を提案する。
ニューラルネットワークの推論パイプラインの2段階において、対照的な推論の価値を実証する。
提案するcifar-10c,stl-10,visdaデータセットにおける平均精度の3.47%,2.56%,5.48%の改善を報告し,歪み下の画像のコントラスト認識の価値を示す。
関連論文リスト
- Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。
具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。
そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
論文 参考訳（メタデータ） (2024-08-08T17:20:08Z) - Empirical influence functions to understand the logic of fine-tuning [1.9116784879310031]
微調整を用いて測定した経験的影響を用いて,個別のトレーニングサンプルがアウトプットに与える影響を実証する。
これらのデシダラタは、単純な畳み込みネットワークと現代のLLMの両方に違反していることを示す。
この結果から,一般的なモデルでは論理を一般化・実行できないことが示唆された。
論文 参考訳（メタデータ） (2024-06-01T17:31:06Z) - Causal Fairness-Guided Dataset Reweighting using Neural Networks [25.492273448917278]
因果フェアネスに対処するために,データセットの再重み付け方式を構築した。
本研究の目的は,変数間の因果関係を考慮し,バイアスを軽減することである。
提案手法は、下流タスクにおいて、元のデータに近づきながら、データに対する因果フェアネスを達成することができることを示す。
論文 参考訳（メタデータ） (2023-11-17T13:31:19Z) - Interpretable Imitation Learning with Dynamic Causal Relations [65.18456572421702]
得られた知識を有向非巡回因果グラフの形で公開することを提案する。
また、この因果発見プロセスを状態依存的に設計し、潜在因果グラフのダイナミクスをモデル化する。
提案するフレームワークは,動的因果探索モジュール,因果符号化モジュール,予測モジュールの3つの部分から構成され,エンドツーエンドで訓練される。
論文 参考訳（メタデータ） (2023-09-30T20:59:42Z) - Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。
提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。
複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
論文 参考訳（メタデータ） (2023-06-09T08:30:51Z) - Causal Analysis for Robust Interpretability of Neural Networks [0.2519906683279152]
我々は、事前学習されたニューラルネットワークの因果効果を捉えるための頑健な介入に基づく手法を開発した。
分類タスクで訓練された視覚モデルに本手法を適用した。
論文 参考訳（メタデータ） (2023-05-15T18:37:24Z) - Neural Causal Models for Counterfactual Identification and Estimation [62.30444687707919]
本稿では,ニューラルモデルによる反事実文の評価について検討する。
まず、神経因果モデル(NCM)が十分に表現可能であることを示す。
第2に,反事実分布の同時同定と推定を行うアルゴリズムを開発する。
論文 参考訳（メタデータ） (2022-09-30T18:29:09Z) - How Tempering Fixes Data Augmentation in Bayesian Neural Networks [22.188535244056016]
テンパリングは、拡張のモデリングから生じる誤特定を暗黙的に減らし、すなわちデータとして示す。
温度は有効サンプルサイズの役割を模倣し、増強によって提供される情報の利得を反映している。
論文 参考訳（メタデータ） (2022-05-27T11:06:56Z) - The Causal Neural Connection: Expressiveness, Learnability, and
Inference [125.57815987218756]
構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。
本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。
我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
論文 参考訳（メタデータ） (2021-07-02T01:55:18Z) - Explain by Evidence: An Explainable Memory-based Neural Network for
Question Answering [41.73026155036886]
本稿では,エビデンスに基づくメモリネットワークアーキテクチャを提案する。
データセットを要約し、その決定を下すための証拠を抽出することを学ぶ。
本モデルは,2つの質問応答データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2020-11-05T21:18:21Z) - Structural Causal Models Are (Solvable by) Credal Networks [70.45873402967297]
因果推論は、干潟網の更新のための標準的なアルゴリズムによって得ることができる。
この貢献は, 干潟ネットワークによる構造因果モデルを表現するための体系的なアプローチと見なされるべきである。
実験により, 実規模問題における因果推論には, クレーダルネットワークの近似アルゴリズムがすぐに利用できることがわかった。
論文 参考訳（メタデータ） (2020-08-02T11:19:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。