論文の概要: Counterfactual reasoning: Do language models need world knowledge for causal understanding?

• arxiv url: http://arxiv.org/abs/2212.03278v1
• Date: Tue, 6 Dec 2022 19:22:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 15:48:27.230391
• Title: Counterfactual reasoning: Do language models need world knowledge for causal understanding?
• Title（参考訳）: 反事実推論: 言語モデルは因果理解のために世界知識を必要とするか?
• Authors: Jiaxuan Li, Lang Yu and Allyson Ettinger
• Abstract要約: 我々は、様々な人気のある事前学習言語モデルから、対実予測を探索する。 私たちは、モデルが反現実的なシナリオにおいて、現実世界の知識を一貫してオーバーライドできることに気付きました。 また、ほとんどのモデルでは、この効果は主に単純な語彙的手がかりによって駆動されるように見える。
• 参考スコア（独自算出の注目度）: 11.393681326784849
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current pre-trained language models have enabled remarkable improvements in downstream tasks, but it remains difficult to distinguish effects of statistical correlation from more systematic logical reasoning grounded on understanding of the real world. In this paper we tease these factors apart by leveraging counterfactual conditionals, which force language models to predict unusual consequences based on hypothetical propositions. We introduce a set of tests drawn from psycholinguistic experiments, as well as larger-scale controlled datasets, to probe counterfactual predictions from a variety of popular pre-trained language models. We find that models are consistently able to override real-world knowledge in counterfactual scenarios, and that this effect is more robust in case of stronger baseline world knowledge -- however, we also find that for most models this effect appears largely to be driven by simple lexical cues. When we mitigate effects of both world knowledge and lexical cues to test knowledge of linguistic nuances of counterfactuals, we find that only GPT-3 shows sensitivity to these nuances, though this sensitivity is also non-trivially impacted by lexical associative factors.
• Abstract（参考訳）: 現在の事前学習型言語モデルは下流タスクにおいて顕著な改善を実現しているが、実世界の理解に基づくより体系的な論理的推論と統計的相関の影響を区別することは困難である。 本稿では,これらの要因を,言語モデルに仮説的命題に基づく異常な結果の予測を強制する対実的条件の活用によって区別する。 本稿では,心理言語学的実験から得られた一連のテストと,大規模に制御されたデータセットを導入し,多種多様な訓練済み言語モデルからの偽りの予測について検討する。 私たちは、モデルが反事実的なシナリオで現実世界の知識を一貫してオーバーライドすることができ、より強固なベースラインの世界知識の場合、この効果はより強固であることが分かりました。 反事実の言語ニュアンスに関する知識をテストするために世界知識と語彙手がかりの両方の効果を緩和すると、gpt-3のみがこれらのニュアンスに対する感受性を示すことが分かるが、この感受性は語彙連想因子によって非自明に影響を受ける。

関連論文リスト

• A generative framework to bridge data-driven models and scientific theories in language neuroscience [84.76462599023802]
  脳内の言語選択性の簡潔な説明を生成するためのフレームワークである生成的説明媒介バリデーションを提案する。 本研究では,説明精度が基礎となる統計モデルの予測力と安定性と密接に関連していることを示す。
  論文  参考訳（メタデータ） (2024-10-01T15:57:48Z)
• Modulating Language Model Experiences through Frictions [56.17593192325438]
  言語モデルの過度な消費は、短期において未確認エラーを伝播し、長期的な批判的思考のために人間の能力を損なうリスクを出力する。 行動科学の介入にインスパイアされた言語モデル体験のための選択的摩擦を提案し,誤用を抑える。
  論文  参考訳（メタデータ） (2024-06-24T16:31:11Z)
• Serial Position Effects of Large Language Models [29.111115148808196]
  大規模言語モデル(LLM)は、ゼロショット学習アプリケーションにおいて顕著な能力を示している。 これは、従来の機械学習アプローチから大きく離れている。 これまでの研究では、LSMはプライマリシーやリレーシーバイアスのような連続的な位置効果を示す可能性があることが示されている。
  論文  参考訳（メタデータ） (2024-06-23T02:02:52Z)
• Interpretable Imitation Learning with Dynamic Causal Relations [65.18456572421702]
  得られた知識を有向非巡回因果グラフの形で公開することを提案する。 また、この因果発見プロセスを状態依存的に設計し、潜在因果グラフのダイナミクスをモデル化する。 提案するフレームワークは,動的因果探索モジュール,因果符号化モジュール,予測モジュールの3つの部分から構成され,エンドツーエンドで訓練される。
  論文  参考訳（メタデータ） (2023-09-30T20:59:42Z)
• Learning for Counterfactual Fairness from Observational Data [62.43249746968616]
  公正な機械学習は、人種、性別、年齢などの特定の保護された(感受性のある)属性によって記述されるある種のサブグループに対して、学習モデルのバイアスを取り除くことを目的としている。 カウンターファクトフェアネスを達成するための既存の手法の前提条件は、データに対する因果モデルの事前の人間の知識である。 本研究では,新しいフレームワークCLAIREを提案することにより,因果関係を付与せずに観測データから対実的に公正な予測を行う問題に対処する。
  論文  参考訳（メタデータ） (2023-07-17T04:08:29Z)
• Counterfactual reasoning: Testing language models' understanding of hypothetical scenarios [11.393681326784849]
  事前学習された5つの言語モデルからの対実予測を探索する。 私たちは、モデルが反現実的なシナリオにおいて、現実世界の知識を一貫してオーバーライドできることに気付きました。
  論文  参考訳（メタデータ） (2023-05-26T01:42:57Z)
• Evaluation of Induced Expert Knowledge in Causal Structure Learning by NOTEARS [1.5469452301122175]
  非パラメトリックNOTEARSモデルの定式化に使用される追加制約の形で、専門家の知識が因果関係に与える影響について検討する。 その結果, (i) NOTEARSモデルの誤りを正す知識は, 統計的に有意な改善をもたらすこと, (ii) アクティブエッジに対する制約は, 非アクティブエッジよりも因果発見に肯定的な影響を与えること, (iii) 意外なことに, (iii) 誘導された知識は, 平均的な不正確なアクティブエッジおよび/または非アクティブエッジに対して予想以上に正確でないことが判明した。
  論文  参考訳（メタデータ） (2023-01-04T20:39:39Z)
• Measuring Causal Effects of Data Statistics on Language Model's `Factual' Predictions [59.284907093349425]
  大量のトレーニングデータが、最先端のNLPモデルの高性能化の大きな理由の1つである。 トレーニングデータがどのように予測に影響を及ぼすかを記述するための言語を,因果的フレームワークを通じて提供する。 我々のフレームワークは、高価なモデルの再訓練の必要性を回避し、観測データのみに基づいて因果効果を推定することができる。
  論文  参考訳（メタデータ） (2022-07-28T17:36:24Z)
• Do Language Embeddings Capture Scales? [54.1633257459927]
  事前学習された言語モデルは、オブジェクトのスカラーサイズに関するかなりの量の情報を取得することを示す。 我々は,事前学習と数理化における文脈情報を,その性能に影響を及ぼす2つの重要な要因として認識する。
  論文  参考訳（メタデータ） (2020-10-11T21:11:09Z)
• CausaLM: Causal Model Explanation Through Counterfactual Language Models [33.29636213961804]
  CausaLMは、対実言語表現モデルを用いた因果モデル説明を作成するためのフレームワークである。 本稿では,BERT のような言語表現モデルが,ある意味ある概念に対する対実表現を効果的に学習できることを示す。 本手法の副産物は,テストされた概念の影響を受けない言語表現モデルである。
  論文  参考訳（メタデータ） (2020-05-27T15:06:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。