論文の概要: Which Spurious Correlations Impact Reasoning in NLI Models? A Visual
Interactive Diagnosis through Data-Constrained Counterfactuals
- arxiv url: http://arxiv.org/abs/2306.12146v1
- Date: Wed, 21 Jun 2023 09:50:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-22 13:58:38.954095
- Title: Which Spurious Correlations Impact Reasoning in NLI Models? A Visual
Interactive Diagnosis through Data-Constrained Counterfactuals
- Title(参考訳): NLIモデルにどのような相関が影響するか?
データ制約による視覚的インタラクティブ診断
- Authors: Robin Chan, Afra Amini, Mennatallah El-Assady
- Abstract要約: 我々は、NLIモデルが予測に頼っている潜在的刺激的な特徴を診断するための、ループ内人間ダッシュボードを提案する。
ダッシュボードは、GPT-3提案からインスピレーションを得て、多様で困難な例を生成することができる。
- 参考スコア(独自算出の注目度): 6.491031294923251
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a human-in-the-loop dashboard tailored to diagnosing potential
spurious features that NLI models rely on for predictions. The dashboard
enables users to generate diverse and challenging examples by drawing
inspiration from GPT-3 suggestions. Additionally, users can receive feedback
from a trained NLI model on how challenging the newly created example is and
make refinements based on the feedback. Through our investigation, we discover
several categories of spurious correlations that impact the reasoning of NLI
models, which we group into three categories: Semantic Relevance, Logical
Fallacies, and Bias. Based on our findings, we identify and describe various
research opportunities, including diversifying training data and assessing NLI
models' robustness by creating adversarial test suites.
- Abstract(参考訳): 我々は、NLIモデルが予測に頼っている潜在的刺激的な特徴を診断するための、ループ内人間ダッシュボードを提案する。
ダッシュボードでは、GPT-3提案からインスピレーションを得て、多様で困難な例を生成することができる。
さらに、トレーニング済みのNLIモデルから、新しく作成されたサンプルがいかに難しいか、フィードバックに基づいて改善を行うことができる。
本研究により,NLIモデルの推論に影響を及ぼす突発的相関のいくつかのカテゴリが発見され,セマンティック関連,論理的誤り,バイアスの3つのカテゴリに分類される。
本研究は,NLIモデルのロバスト性評価やトレーニングデータの多様化など,様々な研究機会を特定し,記述するものである。
関連論文リスト
- Corpus Considerations for Annotator Modeling and Scaling [9.263562546969695]
一般的に使われているユーザトークンモデルは、より複雑なモデルよりも一貫して優れています。
以上の結果から,コーパス統計とアノテータモデリング性能の関係が明らかになった。
論文 参考訳(メタデータ) (2024-04-02T22:27:24Z) - Measuring and Improving Attentiveness to Partial Inputs with
Counterfactuals [95.5442607785241]
我々は,新しい評価手法であるCAT(Facterfactual Attentiveness Test)を提案する。
CATは、入力の一部を別の例から別の例に置き換えることで、予測を変更する注意深いモデルを期待することで、反事実を使用する。
実験データの精度が向上する一方, GPT3 は実演回数の増加により注意力の低下がみられた。
論文 参考訳(メタデータ) (2023-11-16T06:27:35Z) - Mind the instructions: a holistic evaluation of consistency and
interactions in prompt-based learning [14.569770617709073]
本稿では,どの設計選択が課題予測の不安定性や矛盾の原因となるかを詳細に分析する。
本稿では,入力分布とラベルの相関関係が,誘導モデルにのみ小さな問題となることを示す。
統計的に分析し、どの要因が最も影響力があり、インタラクティブで、安定したかを示す。
論文 参考訳(メタデータ) (2023-10-20T13:25:24Z) - Leveraging Diffusion Disentangled Representations to Mitigate Shortcuts
in Underspecified Visual Tasks [92.32670915472099]
拡散確率モデル(DPM)を用いた合成カウンターファクトの生成を利用したアンサンブルの多様化フレームワークを提案する。
拡散誘導型分散化は,データ収集を必要とする従来の手法に匹敵するアンサンブル多様性を達成し,ショートカットからの注意を回避できることを示す。
論文 参考訳(メタデータ) (2023-10-03T17:37:52Z) - Towards Better Modeling with Missing Data: A Contrastive Learning-based
Visual Analytics Perspective [7.577040836988683]
データ不足は機械学習(ML)モデリングの課題となる可能性がある。
現在のアプローチは、特徴計算とラベル予測に分類される。
本研究は、観測データに欠落した値でモデル化するコントラスト学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-18T13:16:24Z) - Influence Tuning: Demoting Spurious Correlations via Instance
Attribution and Instance-Driven Updates [26.527311287924995]
インフルエンスチューニングは、データの急激なパターンからモデルを分解するのに役立ちます。
制御された設定では、インフルエンスチューニングは、データの急激なパターンからモデルを分解するのに役立ちます。
論文 参考訳(メタデータ) (2021-10-07T06:59:46Z) - Artificial Text Detection via Examining the Topology of Attention Maps [58.46367297712477]
トポロジカルデータ分析(TDA)に基づく3種類の解釈可能なトポロジカル特徴を提案する。
BERTモデルから派生した特徴が3つの共通データセットにおいて、カウントベースとニューラルベースベースラインを最大10%上回っていることを実証的に示す。
特徴の探索解析は表面に対する感度と構文的性質を明らかにしている。
論文 参考訳(メタデータ) (2021-09-10T12:13:45Z) - Paired Examples as Indirect Supervision in Latent Decision Models [109.76417071249945]
我々は、ペア化された例を活用して、潜在的な決定を学習するためのより強力な手がかりを提供する方法を紹介します。
DROPデータセット上のニューラルネットワークを用いた合成質問応答の改善に本手法を適用した。
論文 参考訳(メタデータ) (2021-04-05T03:58:30Z) - Explaining and Improving Model Behavior with k Nearest Neighbor
Representations [107.24850861390196]
モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。
我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。
以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
論文 参考訳(メタデータ) (2020-10-18T16:55:25Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳(メタデータ) (2020-04-20T02:47:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。