論文の概要: Is the MMI Criterion Necessary for Interpretability? Degenerating Non-causal Features to Plain Noise for Self-Rationalization

• arxiv url: http://arxiv.org/abs/2410.06003v2
• Date: Tue, 22 Oct 2024 03:30:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 11:40:34.104445
• Title: Is the MMI Criterion Necessary for Interpretability? Degenerating Non-causal Features to Plain Noise for Self-Rationalization
• Title（参考訳）: 解釈可能性のためのMMI基準は必要か? -非因果的特徴を自己分類のためのプレーンノイズに縮退させる-
• Authors: Wei Liu, Zhiying Deng, Zhongyu Niu, Jun Wang, Haozhao Wang, YuanKai Zhang, Ruixuan Li,
• Abstract要約: 本稿では, 突発的特徴をプレーンノイズとして扱う新しい基準を開発する。 実験により、我々のMDD基準は、近年の競争力のあるMMIの変種と比較して、有理量品質(人間注釈の有理量との重なりによって測定される)を最大10.4%向上させることが示された。
• 参考スコア（独自算出の注目度）: 17.26418974819275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An important line of research in the field of explainability is to extract a small subset of crucial rationales from the full input. The most widely used criterion for rationale extraction is the maximum mutual information (MMI) criterion. However, in certain datasets, there are spurious features non-causally correlated with the label and also get high mutual information, complicating the loss landscape of MMI. Although some penalty-based methods have been developed to penalize the spurious features (e.g., invariance penalty, intervention penalty, etc) to help MMI work better, these are merely remedial measures. In the optimization objectives of these methods, spurious features are still distinguished from plain noise, which hinders the discovery of causal rationales. This paper aims to develop a new criterion that treats spurious features as plain noise, allowing the model to work on datasets rich in spurious features as if it were working on clean datasets, thereby making rationale extraction easier. We theoretically observe that removing either plain noise or spurious features from the input does not alter the conditional distribution of the remaining components relative to the task label. However, significant changes in the conditional distribution occur only when causal features are eliminated. Based on this discovery, the paper proposes a criterion for \textbf{M}aximizing the \textbf{R}emaining \textbf{D}iscrepancy (MRD). Experiments on six widely used datasets show that our MRD criterion improves rationale quality (measured by the overlap with human-annotated rationales) by up to $10.4\%$ as compared to several recent competitive MMI variants. Code: \url{https://github.com/jugechengzi/Rationalization-MRD}.
• Abstract（参考訳）: 説明可能性の分野における重要な研究の行は、完全な入力から重要な有理数の小さな部分集合を抽出することである。 最も広く使われている合理抽出基準は、最大相互情報(MMI)基準である。 しかし、あるデータセットでは、ラベルと非因果関係の突発的な特徴があり、MMIの損失景観を複雑にし、高い相互情報を得る。 いくつかのペナルティベースの手法は、MMIの働きを改善するために、刺激的な特徴(例えば、不分散ペナルティ、介入ペナルティなど)をペナルティ化するために開発されたが、これらは単に修復措置である。 これらの手法の最適化の目的として, 因果的理性発見を妨げる不規則な雑音と, 相補的特徴をいまだに区別する。 本論文は, 突発的特徴をプレーンノイズとして扱う新しい基準を開発することを目的としており, クリーンなデータセットに取り組んでいたような, 突発的特徴に富んだデータセット上でモデルを動作させることにより, 合理的抽出を容易にすることを目的とする。 理論的には、入力からノイズや突発的な特徴を除去しても、タスクラベルに対する残りの成分の条件分布は変化しない。 しかし, 条件分布の有意な変化は因果的特徴が排除された場合にのみ起こる。 この発見に基づき、本論文は \textbf{M}emaining \textbf{D}iscrepancy (MRD) を用いて、 \textbf{R}emaining \textbf{R}eaximation の基準を提案する。 6つの広く使用されているデータセットの実験により、我々のMDD基準は、近年の競争力のあるMMIの変種と比較して、有理量品質(人間の注釈付き有理量との重なりによって測定される)を最大10.4\%向上させることが示された。 コード: \url{https://github.com/jugechengzi/Rationalization-MRD}。

関連論文リスト

• On the Performance of Empirical Risk Minimization with Smoothed Data [59.3428024282545]
  経験的リスク最小化(Empirical Risk Minimization、ERM)は、クラスがiidデータで学習可能であれば、サブ線形誤差を達成できる。 We show that ERM can able to achieve sublinear error when a class are learnable with iid data。
  論文  参考訳（メタデータ） (2024-02-22T21:55:41Z)
• Marginal Debiased Network for Fair Visual Recognition [59.05212866862219]
  本稿では,デバイアス表現を学習するための新しい限界脱バイアスネットワーク(MDN)を提案する。 我々のMDNは、表現不足のサンプルに対して顕著な性能を達成できる。
  論文  参考訳（メタデータ） (2024-01-04T08:57:09Z)
• Causal Feature Selection via Transfer Entropy [59.999594949050596]
  因果発見は、観察データによる特徴間の因果関係を特定することを目的としている。 本稿では,前向きと後向きの機能選択に依存する新たな因果的特徴選択手法を提案する。 精度および有限サンプルの場合の回帰誤差と分類誤差について理論的に保証する。
  論文  参考訳（メタデータ） (2023-10-17T08:04:45Z)
• D-Separation for Causal Self-Explanation [19.68235036397476]
  本稿では,MCD(Minimum Conditional Dependence)基準と呼ばれる因果的根拠を明らかにするための新しい基準を提案する。 我々は、MCDが従来の最先端のMMIベースの手法と比較して、F1スコアを最大13.7%向上させることを実証した。
  論文  参考訳（メタデータ） (2023-09-23T14:23:19Z)
• Disentanglement and Generalization Under Correlation Shifts [22.499106910581958]
  実世界のデータでは、変動要因間の相関が一般的である。 機械学習アルゴリズムは、ノイズの多いデータに対する予測性能を高めることができるため、そのような相関を利用する利点がある。 潜在部分空間の様々な要因を捉える表現を学習することを目的としている。
  論文  参考訳（メタデータ） (2021-12-29T18:55:17Z)
• MMD-ReID: A Simple but Effective Solution for Visible-Thermal Person ReID [20.08880264104061]
  本稿では,モダリティギャップを明示的な差分低減制約によって低減する,シンプルで効果的なMDD-ReIDを提案する。 我々はMDD-ReIDの有効性を定性的かつ定量的に実証するための広範囲な実験を行った。 提案手法は,SYSU-MM01およびRegDBデータセットにおける最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2021-11-09T11:33:32Z)
• Distributionally Robust Multi-Output Regression Ranking [3.9318191265352196]
  DRMRR(Distributedally Robust Multi-output Regression Ranking)と呼ばれるリストワイズ学習ランクモデルを導入する。 DRMRRは分散ロバスト最適化フレームワークを使用して、経験的データ分布の近傍で最も有害な分布の下でのマルチ出力損失関数を最小化する。 本実験は,医用文書検索と薬物反応予測の2つの実世界の応用について行った。
  論文  参考訳（メタデータ） (2021-09-27T05:19:27Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)
• Self-training Avoids Using Spurious Features Under Domain Shift [54.794607791641745]
  教師なし領域適応においては、条件付きエントロピー最小化と擬似ラベル処理は、既存の理論で解析されたものよりもドメインシフトがはるかに大きい場合であっても行われる。 ドメインシフトが大きくなる可能性のある特定の設定を特定・分析するが、特定のスパイラルな特徴はソースドメインのラベルと相関するが、ターゲットの独立なラベルである。
  論文  参考訳（メタデータ） (2020-06-17T17:51:42Z)
• Invariant Rationalization [84.1861516092232]
  典型的な合理化基準、すなわち最大相互情報(MMI)は、合理性のみに基づいて予測性能を最大化する合理性を見つける。 ゲーム理論の不変な有理化基準を導入し、各環境において同じ予測器を最適にするために、有理を制約する。 理論的にも実証的にも、提案された理性は、素早い相関を除外し、異なるテストシナリオをより一般化し、人間の判断とよく一致させることができることを示す。
  論文  参考訳（メタデータ） (2020-03-22T00:50:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。