論文の概要: Enhancing the Rationale-Input Alignment for Self-explaining
Rationalization
- arxiv url: http://arxiv.org/abs/2312.04103v2
- Date: Fri, 15 Dec 2023 03:04:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-18 18:24:25.113324
- Title: Enhancing the Rationale-Input Alignment for Self-explaining
Rationalization
- Title（参考訳）: 自己説明的合理化のための論理-入力アライメントの強化
- Authors: Wei Liu, Haozhao Wang, Jun Wang, Zhiying Deng, YuanKai Zhang, Cheng
Wang, Ruixuan Li
- Abstract要約: DAR(textbfDiscriminatively textbfAligned textbfRationalization)と呼ばれる新しい手法を導入する。
2つの実世界のベンチマーク実験により,提案手法は説明の質を著しく向上させることが示された。
- 参考スコア（独自算出の注目度）: 22.74436500022893
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Rationalization empowers deep learning models with self-explaining
capabilities through a cooperative game, where a generator selects a
semantically consistent subset of the input as a rationale, and a subsequent
predictor makes predictions based on the selected rationale. In this paper, we
discover that rationalization is prone to a problem named \emph{rationale
shift}, which arises from the algorithmic bias of the cooperative game.
Rationale shift refers to a situation where the semantics of the selected
rationale may deviate from the original input, but the predictor still produces
accurate predictions based on the deviation, resulting in a compromised
generator with misleading feedback.
To address this issue, we first demonstrate the importance of the alignment
between the rationale and the full input through both empirical observations
and theoretical analysis. Subsequently, we introduce a novel approach called
DAR (\textbf{D}iscriminatively \textbf{A}ligned \textbf{R}ationalization),
which utilizes an auxiliary module pretrained on the full input to
discriminatively align the selected rationale and the original input. We
theoretically illustrate how DAR accomplishes the desired alignment, thereby
overcoming the rationale shift problem. The experiments on two widely used
real-world benchmarks show that the proposed method significantly improves the
explanation quality (measured by the overlap between the model-selected
explanation and the human-annotated rationale) as compared to state-of-the-art
techniques. Additionally, results on two synthetic settings further validate
the effectiveness of DAR in addressing the rationale shift problem.
- Abstract（参考訳）: 合理化は協調ゲームを通じて自己説明能力を持つディープラーニングモデルに権限を与え、ジェネレータが入力の意味論的に一貫したサブセットを論理として選択し、続く予測器が選択された論理に基づいて予測を行う。
本稿では,協調ゲームにおけるアルゴリズム的バイアスから生じる「emph{rationale shift}」という問題に合理化が伴うことを示した。
論理シフトは、選択された論理のセマンティクスが元の入力から逸脱する可能性がある状況を指すが、予測器は依然として偏差に基づいて正確な予測を生成し、誤ったフィードバックを伴う漏洩発生器を生成する。
この問題に対処するため,我々はまず,経験的観察と理論解析の両方を通して,理論と入力の一致の重要性を実証する。
次に,全入力に事前学習された補助モジュールを使用して,選択された論理と元の入力を識別的に調整する,dar(\textbf{d}iscriminatively \textbf{a}ligned \textbf{r}ationalization)と呼ばれる新しいアプローチを導入する。
理論的には、DARが望ましいアライメントをどのように達成し、したがって有理シフト問題を克服するかを論じる。
実世界の2つのベンチマークを用いた実験により,提案手法は,最先端技術と比較して,説明品質(モデル選択説明とヒューマンアノテート推論の重なり)が有意に向上することが示された。
さらに、2つの合成設定の結果は、理性シフト問題に対するdarの有効性をさらに検証している。
関連論文リスト
- Towards Trustworthy Explanation: On Causal Rationalization [9.48539398357156]
本研究では,2つの因果デシラタに基づく合理化モデルを提案する。
提案した因果合理化の優れた性能は,実世界のレビューや医療データセットで実証されている。
論文 参考訳（メタデータ） (2023-06-25T03:34:06Z) - Decoupled Rationalization with Asymmetric Learning Rates: A Flexible
Lipschitz Restraint [16.54547887989801]
自己説明的合理化モデルは、一般的に、生成者が入力テキストから最も人間的な知性のある断片を論理として選択する協調ゲームによって構成され、次に選択された合理性に基づいて予測を行う予測器が続く。
そのような協調ゲームは、予測者がまだ十分に訓練されていないジェネレータによって生成される非形式的ピースに過度に適合する退化問題を生じさせ、それからジェネレータを無意味なピースを選択する傾向にある準最適モデルに収束させる。
我々は、自然かつ柔軟にリプシッツ定数を抑制できるDRという、単純で効果的な手法を実証的に提案する。
論文 参考訳（メタデータ） (2023-05-23T02:01:13Z) - Rationalizing Predictions by Adversarial Information Calibration [65.19407304154177]
我々は2つのモデルを共同で訓練する: 1つは、正確だがブラックボックスな方法でタスクを解く典型的なニューラルモデルであり、もう1つは、予測の理論的根拠を付加するセレクタ・予測モデルである。
我々は,2つのモデルから抽出した情報を,それらの違いが欠落した特徴や過度に選択された特徴の指標であるように校正するために,敵対的手法を用いる。
論文 参考訳（メタデータ） (2023-01-15T03:13:09Z) - Logical Satisfiability of Counterfactuals for Faithful Explanations in
NLI [60.142926537264714]
本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。
これは、説明に表される論理述語に基づいて、反実仮説を生成する。
そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
論文 参考訳（メタデータ） (2022-05-25T03:40:59Z) - Understanding Interlocking Dynamics of Cooperative Rationalization [90.6863969334526]
選択的合理化(Selective rationalization)は、ニューラルネットワークの出力を予測するのに十分な入力の小さなサブセットを見つけることによって、複雑なニューラルネットワークの予測を説明する。
このような合理化パラダイムでは,モデルインターロックという大きな問題が浮かび上がっている。
A2Rと呼ばれる新しい合理化フレームワークを提案し、アーキテクチャに第3のコンポーネントを導入し、選択とは対照的にソフトアテンションによって駆動される予測器を提案する。
論文 参考訳（メタデータ） (2021-10-26T17:39:18Z) - Rationales for Sequential Predictions [117.93025782838123]
シーケンスモデルは現代のNLPシステムにおいて重要な要素であるが、それらの予測は説明が難しい。
モデル説明は有理だが、個々のモデル予測を説明できる文脈のサブセットを考える。
この目的を近似する効率的なグリードアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-09-14T01:25:15Z) - SPECTRA: Sparse Structured Text Rationalization [0.0]
本稿では,因子グラフ上の制約付き推論による構造的説明を決定論的に抽出するための統一的な枠組みを提案する。
我々のアプローチは、トレーニングと合理的な正規化を非常に容易にし、概して、可視性抽出の説明に関する以前の研究よりも優れています。
論文 参考訳（メタデータ） (2021-09-09T20:39:56Z) - Distribution Matching for Rationalization [30.54889533406428]
合理化は、入力テキストの一部を論理として抽出し、テキスト分類タスクにおけるニューラルネットワークの予測を正当化することを目的としている。
特徴空間と出力空間の両方における有理と入力テキストの分布に一致する新しい有理化法を提案する。
論文 参考訳（メタデータ） (2021-06-01T08:49:32Z) - An Information Bottleneck Approach for Controlling Conciseness in
Rationale Extraction [84.49035467829819]
我々は,情報ボトルネック(IB)の目的を最適化することで,このトレードオフをよりよく管理できることを示す。
我々の完全教師なしのアプローチは、文上のスパース二項マスクを予測する説明器と、抽出された合理性のみを考慮したエンドタスク予測器を共同で学習する。
論文 参考訳（メタデータ） (2020-05-01T23:26:41Z) - Invariant Rationalization [84.1861516092232]
典型的な合理化基準、すなわち最大相互情報(MMI)は、合理性のみに基づいて予測性能を最大化する合理性を見つける。
ゲーム理論の不変な有理化基準を導入し、各環境において同じ予測器を最適にするために、有理を制約する。
理論的にも実証的にも、提案された理性は、素早い相関を除外し、異なるテストシナリオをより一般化し、人間の判断とよく一致させることができることを示す。
論文 参考訳（メタデータ） (2020-03-22T00:50:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。