論文の概要: CRAB: Assessing the Strength of Causal Relationships Between Real-world Events

• arxiv url: http://arxiv.org/abs/2311.04284v1
• Date: Tue, 7 Nov 2023 19:00:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-09 17:53:02.728781
• Title: CRAB: Assessing the Strength of Causal Relationships Between Real-world Events
• Title（参考訳）: CRAB:実世界の出来事の因果関係の強さを評価する
• Authors: Angelika Romanou, Syrielle Montariol, Debjit Paul, Leo Laugier, Karl Aberer, Antoine Bosselut
• Abstract要約: 実世界の物語における出来事の因果的理解を評価するための新しい因果推論評価ベンチマークであるCRABを提案する。 いくつかの大規模言語モデルの性能を計測し、ほとんどのシステムがそのタスクにおいて性能が劣っていることを示す。 古典的因果関係の原理により、CRABにおける事象群の因果構造を解析し、複雑な因果構造からイベントが導出される場合、モデルが因果推論に悪影響を及ぼすことを見出した。
• 参考スコア（独自算出の注目度）: 20.74723427835013
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding narratives requires reasoning about the cause-and-effect relationships between events mentioned in the text. While existing foundation models yield impressive results in many NLP tasks requiring reasoning, it is unclear whether they understand the complexity of the underlying network of causal relationships of events in narratives. In this work, we present CRAB, a new Causal Reasoning Assessment Benchmark designed to evaluate causal understanding of events in real-world narratives. CRAB contains fine-grained, contextual causality annotations for ~2.7K pairs of real-world events that describe various newsworthy event timelines (e.g., the acquisition of Twitter by Elon Musk). Using CRAB, we measure the performance of several large language models, demonstrating that most systems achieve poor performance on the task. Motivated by classical causal principles, we also analyze the causal structures of groups of events in CRAB, and find that models perform worse on causal reasoning when events are derived from complex causal structures compared to simple linear causal chains. We make our dataset and code available to the research community.
• Abstract（参考訳）: 物語を理解するには、テキストで言及される出来事間の因果関係を推論する必要がある。 既存の基礎モデルは、多くのNLPタスクにおいて推論を必要とする印象的な結果をもたらすが、物語における出来事の因果関係のネットワークの複雑さを理解しているかどうかは不明である。 本研究では,現実世界の物語における出来事の因果的理解を評価するための新しい因果関係評価ベンチマークであるCRABを提案する。 CRABには、様々なニュースに値するイベントのタイムライン(例えば、イーロン・マスクによるTwitterの買収)を記述した、約2.7Kの実世界のイベントの詳細な因果アノテーションが含まれている。 CRABを用いて複数の大規模言語モデルの性能を計測し、ほとんどのシステムがタスクにおける性能の低下を実証する。 また, カニ類における事象群の因果構造を分析し, 単純な線形因果連鎖と比較して, 事象が複雑な因果構造に由来する場合の因果推論において, モデルがより良く作用することを示す。 データセットとコードを研究コミュニティに公開しています。

関連論文リスト

• Failure Modes of LLMs for Causal Reasoning on Narratives [51.19592551510628]
  本研究では,大言語モデル(LLM)の因果推論能力について,物語から因果関係を推定する代表的な問題から検討する。 最新の言語モデルでさえ、物語の提示とパラメトリック知識の両方において、信頼できないショートカットに依存していることがわかった。
  論文  参考訳（メタデータ） (2024-10-31T12:48:58Z)
• CELLO: Causal Evaluation of Large Vision-Language Models [9.928321287432365]
  因果推論は人間の知性の基本であり、現実世界の環境における効果的な意思決定に不可欠である。 我々は,人間と物体の相互作用を含む因果関係の微細で統一的な定義を導入する。 我々は,4段階の因果関係に関する14,094の因果関係質問からなる新しいデータセットであるCellOを構築した。
  論文  参考訳（メタデータ） (2024-06-27T12:34:52Z)
• Enhancing Event Causality Identification with Rationale and Structure-Aware Causal Question Answering [30.000134835133522]
  事象因果同定(DECI)は、文書中の2つの事象間の因果関係を特定することを目的としている。 近年の研究では、事前訓練された言語モデルを用いて事象因果関係を生成する傾向にある。 本稿では,合理的かつ構造を考慮した因果的質問応答による事象因果同定を強化するためのマルチタスク学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-17T07:41:58Z)
• Complex Reasoning over Logical Queries on Commonsense Knowledge Graphs [61.796960984541464]
  論理クエリをサンプリングして作成した新しいデータセットであるCOM2(COMplex COMmonsense)を提示する。 我々は、手書きのルールと大きな言語モデルを用いて、複数の選択とテキスト生成の質問に言語化します。 COM2でトレーニングされた言語モデルでは、複雑な推論能力が大幅に改善されている。
  論文  参考訳（メタデータ） (2024-03-12T08:13:52Z)
• Cause and Effect: Can Large Language Models Truly Understand Causality? [1.2334534968968969]
  本研究では,CARE CA(Content Aware Reasoning Enhancement with Counterfactual Analysis)フレームワークという新しいアーキテクチャを提案する。 提案するフレームワークには,ConceptNetと反ファクト文を備えた明示的な因果検出モジュールと,大規模言語モデルによる暗黙的な因果検出が組み込まれている。 ConceptNetの知識は、因果的発見、因果的識別、反事実的推論といった複数の因果的推論タスクのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2024-02-28T08:02:14Z)
• Inducing Causal Structure for Abstractive Text Summarization [76.1000380429553]
  要約データの因果構造を誘導する構造因果モデル(SCM)を導入する。 本稿では因果的要因を模倣できる因果的表現を学習するための因果性インスピレーション付き系列列列モデル(CI-Seq2Seq)を提案する。 2つの広く使われているテキスト要約データセットの実験結果は、我々のアプローチの利点を示している。
  論文  参考訳（メタデータ） (2023-08-24T16:06:36Z)
• COLA: Contextualized Commonsense Causal Reasoning from the Causal Inference Perspective [38.49046289133713]
  本稿では、イベントシーケンス中の2つのイベント間のコモンセンス因果関係(コンテキスト)を検出するための新しいタスクを提案する。 因果推論の観点からタスクを解決するために、COLA(Contextualized Commonsense Causality Reasoner)というゼロショットフレームワークも設計しています。 大規模な実験により,COLAは基準線よりも高精度にコモンセンス因果性を検出することができた。
  論文  参考訳（メタデータ） (2023-05-09T05:56:58Z)
• Causal schema induction for knowledge discovery [21.295680010103602]
  本稿では、時間構造、事象構造、因果構造を組み合わせたテキストグラフスキーマのデータセットであるTorquestraを紹介する。 データセットを3つの知識発見タスクにベンチマークし、それぞれのモデルの構築と評価を行います。 その結果、因果構造を利用するシステムは、類似の因果的意味成分を共有するテキストを特定するのに効果的であることがわかった。
  論文  参考訳（メタデータ） (2023-03-27T16:55:49Z)
• Active Bayesian Causal Inference [72.70593653185078]
  因果発見と推論を統合するための完全ベイズ能動学習フレームワークであるアクティブベイズ因果推論(ABCI)を提案する。 ABCIは因果関係のモデルと関心のクエリを共同で推論する。 我々のアプローチは、完全な因果グラフの学習のみに焦点を当てた、いくつかのベースラインよりも、よりデータ効率が高いことを示す。
  論文  参考訳（メタデータ） (2022-06-04T22:38:57Z)
• Causal Inference Principles for Reasoning about Commonsense Causality [93.19149325083968]
  コモンセンス因果推論(Commonsense causality reasoning)は、平均的な人によって妥当と見なされる自然言語記述における妥当な原因と影響を特定することを目的としている。 既存の作業は通常、深い言語モデルに全面的に依存しており、共起を混同する可能性がある。 古典的因果原理に触発され,我々はCCRの中心的問題を明確にし,観察研究と自然言語における人間の対象間の類似性を引き出す。 本稿では,時間信号をインシデント・インシデント・インシデント・インシデント・インシデントとして活用する新しいフレームワークであるROCKをReason O(A)bout Commonsense K(C)ausalityに提案する。
  論文  参考訳（メタデータ） (2022-01-31T06:12:39Z)
• Everything Has a Cause: Leveraging Causal Inference in Legal Text Analysis [62.44432226563088]
  因果推論は変数間の因果関係を捉えるプロセスである。 本論文では,事実記述から因果グラフを構築するための新たなグラフベース因果推論フレームワークを提案する。 GCIに含まれる因果知識を強力なニューラルネットワークに効果的に注入することで、パフォーマンスと解釈性が向上します。
  論文  参考訳（メタデータ） (2021-04-19T16:13:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。