論文の概要: Counterfactual reasoning: Testing language models' understanding of
hypothetical scenarios
- arxiv url: http://arxiv.org/abs/2305.16572v1
- Date: Fri, 26 May 2023 01:42:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 17:30:22.473815
- Title: Counterfactual reasoning: Testing language models' understanding of
hypothetical scenarios
- Title（参考訳）: 反事実推論: 言語モデルの仮説的シナリオに対する理解
- Authors: Jiaxuan Li, Lang Yu, Allyson Ettinger
- Abstract要約: 事前学習された5つの言語モデルからの対実予測を探索する。
私たちは、モデルが反現実的なシナリオにおいて、現実世界の知識を一貫してオーバーライドできることに気付きました。
- 参考スコア（独自算出の注目度）: 11.393681326784849
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Current pre-trained language models have enabled remarkable improvements in
downstream tasks, but it remains difficult to distinguish effects of
statistical correlation from more systematic logical reasoning grounded on the
understanding of real world. We tease these factors apart by leveraging
counterfactual conditionals, which force language models to predict unusual
consequences based on hypothetical propositions. We introduce a set of tests
from psycholinguistic experiments, as well as larger-scale controlled datasets,
to probe counterfactual predictions from five pre-trained language models. We
find that models are consistently able to override real-world knowledge in
counterfactual scenarios, and that this effect is more robust in case of
stronger baseline world knowledge -- however, we also find that for most models
this effect appears largely to be driven by simple lexical cues. When we
mitigate effects of both world knowledge and lexical cues to test knowledge of
linguistic nuances of counterfactuals, we find that only GPT-3 shows
sensitivity to these nuances, though this sensitivity is also non-trivially
impacted by lexical associative factors.
- Abstract（参考訳）: 現在の事前学習型言語モデルは下流タスクにおいて顕著な改善を実現しているが、実世界の理解に基づくより体系的な論理的推論と統計的相関の影響を区別することは困難である。
我々は, 言語モデルに仮定的提案に基づく異常な結果の予測を強いる, 反事実的条件付けを活用し, それらの要因を区別する。
本稿では,心理言語学実験の一連のテストと大規模に制御されたデータセットを導入し,事前学習された5つの言語モデルからの偽りの予測について検討する。
私たちは、モデルが反事実的なシナリオで現実世界の知識を一貫してオーバーライドすることができ、より強固なベースラインの世界知識の場合、この効果はより強固であることが分かりました。
反事実の言語ニュアンスに関する知識をテストするために世界知識と語彙手がかりの両方の効果を緩和すると、gpt-3のみがこれらのニュアンスに対する感受性を示すことが分かるが、この感受性は語彙連想因子によって非自明に影響を受ける。
関連論文リスト
- On Uncertainty In Natural Language Processing [2.5076643086429993]
この論文は、自然言語処理における不確実性が言語的、統計的、神経的な観点からどのように特徴づけられるかを研究する。
本研究では,非交換不能な共形予測に基づく自然言語生成における校正サンプリング手法を提案する。
最後に,補助予測器を用いた大規模ブラックボックス言語モデルの信頼性の定量化手法を開発した。
論文 参考訳（メタデータ） (2024-10-04T14:08:02Z) - A generative framework to bridge data-driven models and scientific theories in language neuroscience [84.76462599023802]
脳内の言語選択性の簡潔な説明を生成するためのフレームワークである生成的説明媒介バリデーションを提案する。
本研究では,説明精度が基礎となる統計モデルの予測力と安定性と密接に関連していることを示す。
論文 参考訳（メタデータ） (2024-10-01T15:57:48Z) - Interpretable Imitation Learning with Dynamic Causal Relations [65.18456572421702]
得られた知識を有向非巡回因果グラフの形で公開することを提案する。
また、この因果発見プロセスを状態依存的に設計し、潜在因果グラフのダイナミクスをモデル化する。
提案するフレームワークは,動的因果探索モジュール,因果符号化モジュール,予測モジュールの3つの部分から構成され,エンドツーエンドで訓練される。
論文 参考訳（メタデータ） (2023-09-30T20:59:42Z) - Learn to Accumulate Evidence from All Training Samples: Theory and
Practice [7.257751371276488]
Evidential Deep Learningは、決定論的ニューラルネットワークの不確実性を認識するための、原則的かつ計算的に効率的な方法を提供する。
既存の明らかなアクティベーション関数はゼロエビデンス領域を生成するため、モデルがそのような領域に落ちてくるトレーニングサンプルから学ぶことができない。
我々の理論的基盤に基づく顕在的活性化関数のより深い分析は、新しい正則化器の設計を刺激する。
論文 参考訳（メタデータ） (2023-06-19T18:27:12Z) - Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。
提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。
複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
論文 参考訳（メタデータ） (2023-06-09T08:30:51Z) - Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。
我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。
モデルはこれらの評価セットに対して中程度から低い性能を示す。
論文 参考訳（メタデータ） (2023-05-24T06:41:09Z) - Explaining Language Models' Predictions with High-Impact Concepts [11.47612457613113]
概念ベースの解釈可能性手法をNLPに拡張するための完全なフレームワークを提案する。
出力予測が大幅に変化する特徴を最適化する。
本手法は, ベースラインと比較して, 予測的影響, ユーザビリティ, 忠実度に関する優れた結果が得られる。
論文 参考訳（メタデータ） (2023-05-03T14:48:27Z) - Counterfactual reasoning: Do language models need world knowledge for
causal understanding? [11.393681326784849]
我々は、様々な人気のある事前学習言語モデルから、対実予測を探索する。
私たちは、モデルが反現実的なシナリオにおいて、現実世界の知識を一貫してオーバーライドできることに気付きました。
また、ほとんどのモデルでは、この効果は主に単純な語彙的手がかりによって駆動されるように見える。
論文 参考訳（メタデータ） (2022-12-06T19:22:25Z) - Measuring Causal Effects of Data Statistics on Language Model's
`Factual' Predictions [59.284907093349425]
大量のトレーニングデータが、最先端のNLPモデルの高性能化の大きな理由の1つである。
トレーニングデータがどのように予測に影響を及ぼすかを記述するための言語を,因果的フレームワークを通じて提供する。
我々のフレームワークは、高価なモデルの再訓練の必要性を回避し、観測データのみに基づいて因果効果を推定することができる。
論文 参考訳（メタデータ） (2022-07-28T17:36:24Z) - Bayesian Modeling of Language-Evoked Event-Related Potentials [0.0]
本稿では, 単語素因とニューラル応答を関連づけた実験データを用いて, 事象関連電位を解析するためのベイズ的アプローチを提案する。
本モデルでは,単語代入が事象関連ポテンシャルのほとんどの構成要素に与える影響を推定し,よりリッチなデータ記述を提供する。
論文 参考訳（メタデータ） (2022-07-07T15:58:17Z) - Avoiding Inference Heuristics in Few-shot Prompt-based Finetuning [57.4036085386653]
文ペア分類タスクのプロンプトベースモデルでは,語彙重なりに基づく推論の一般的な落とし穴が依然として残っていることを示す。
そこで,プレトレーニングウェイトを保存する正規化を加えることは,この破壊的な微調整の傾向を緩和するのに有効であることを示す。
論文 参考訳（メタデータ） (2021-09-09T10:10:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。