論文の概要: Nuance Matters: Probing Epistemic Consistency in Causal Reasoning
- arxiv url: http://arxiv.org/abs/2409.00103v1
- Date: Tue, 27 Aug 2024 13:42:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-08 15:11:32.902380
- Title: Nuance Matters: Probing Epistemic Consistency in Causal Reasoning
- Title（参考訳）: Nuance Matters:Causal Reasoningにおけるてんかんの一貫性を探る
- Authors: Shaobo Cui, Junyou Li, Luca Mouchel, Yiyang Feng, Boi Faltings,
- Abstract要約: 因果推論の微妙な差異を伴う中間体を識別する際の大規模言語モデルの自己整合性について検討する。
本稿では,この領域で大規模言語モデルを評価するための新しいメトリクスセットを提案する。
我々の研究は、因果推論に関わる微粒な中間体に対する自己整合性を調べることによって、AI研究における重要なギャップを埋める。
- 参考スコア（独自算出の注目度）: 13.70981639567884
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To address this gap, our study introduces the concept of causal epistemic consistency, which focuses on the self-consistency of Large Language Models (LLMs) in differentiating intermediates with nuanced differences in causal reasoning. We propose a suite of novel metrics -- intensity ranking concordance, cross-group position agreement, and intra-group clustering -- to evaluate LLMs on this front. Through extensive empirical studies on 21 high-profile LLMs, including GPT-4, Claude3, and LLaMA3-70B, we have favoring evidence that current models struggle to maintain epistemic consistency in identifying the polarity and intensity of intermediates in causal reasoning. Additionally, we explore the potential of using internal token probabilities as an auxiliary tool to maintain causal epistemic consistency. In summary, our study bridges a critical gap in AI research by investigating the self-consistency over fine-grained intermediates involved in causal reasoning.
- Abstract（参考訳）: このギャップに対処するため,本研究では,大言語モデル(LLM)の自己整合性に着目し,因果推論の微妙な差異を伴う中間体を識別する因果認識整合性の概念を紹介した。
本稿では,この点においてLSMを評価するための新しい指標(強度ランキング一致,グループ間位置合意,グループ内クラスタリング)を提案する。
GPT-4、Claude3、LLaMA3-70Bを含む21の高分子膜に関する広範な実証研究を通じて、我々は、現在のモデルが因果推論における中間体の極性と強度の同定において、疫学的一貫性を維持するのに苦慮している証拠を好んでいる。
さらに,内因性てんかんの一貫性を維持する補助具として,内因性トークンの確率を用いる可能性についても検討した。
まとめると、我々の研究は、因果推論に関わる微粒な中間体に対する自己整合性を調べることによって、AI研究における重要なギャップを埋める。
関連論文リスト
- Improving Domain Generalization in Self-supervised Monocular Depth Estimation via Stabilized Adversarial Training [61.35809887986553]
我々は、SCAT(stabilized Conflict-Optimization Adversarial Training)という、汎用的な敵訓練フレームワークを提案する。
SCATは、安定性と一般化のバランスを達成するために、敵データ拡張を自己教師付きMDE手法に統合する。
5つのベンチマーク実験により、SCATは最先端の性能を達成でき、既存の自己監督型MDE法の一般化能力を大幅に向上できることが示された。
論文 参考訳（メタデータ） (2024-11-04T15:06:57Z) - Inter Observer Variability Assessment through Ordered Weighted Belief Divergence Measure in MAGDM Application to the Ensemble Classifier Feature Fusion [1.3586572110652486]
コンセンサス結果を得るために,多属性グループ意思決定(MAGDM)が広く導入されている。
本研究では,観測間の変動を評価し,不確実性に対処するEvidential MAGDM法を提案する。
論文 参考訳（メタデータ） (2024-09-13T00:53:00Z) - Calibrating Reasoning in Language Models with Internal Consistency [18.24350001344488]
大規模言語モデル(LLM)は、様々な推論タスクにおいて、チェーン・オブ・ソート(CoT)プロンプトのようなテクニックによって支援された印象的な機能を示している。
内部表現のレンズによるLLMにおけるCoT推論について検討する。
内部整合性の高い高重み付け推論経路によるCoT推論の校正手法を提案する。
論文 参考訳（メタデータ） (2024-05-29T02:44:12Z) - A General Causal Inference Framework for Cross-Sectional Observational Data [0.4972323953932129]
断面観測データに特化して設計された一般因果推論(GCI)フレームワーク。
本稿では,断面観測データを対象としたGCIフレームワークを提案する。
論文 参考訳（メタデータ） (2024-04-28T14:26:27Z) - Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
大規模言語モデル(LLM)は、システムの異なる部分への介入の下で因果効果を推定することができる。
LLMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを実証分析して評価する。
我々は、様々な因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成し、介入に基づく推論の研究を可能にする。
論文 参考訳（メタデータ） (2024-04-08T14:15:56Z) - Discovery of the Hidden World with Large Language Models [95.58823685009727]
本稿では,大きな言語モデル(LLM)を導入してギャップを埋めるCausal representatiOn AssistanT(COAT)を提案する。
LLMは世界中の大規模な観測に基づいて訓練されており、構造化されていないデータから重要な情報を抽出する優れた能力を示している。
COATはまた、特定変数間の因果関係を見つけるためにCDを採用し、提案された要因を反復的に洗練するためにLSMにフィードバックを提供する。
論文 参考訳（メタデータ） (2024-02-06T12:18:54Z) - SSL Framework for Causal Inconsistency between Structures and
Representations [23.035761299444953]
深層学習と因果発見のクロスポリン化は、画像、ビデオ、テキストなどの統計的でないデータ形式における因果関係の解明を目指す、急成長する研究分野を触媒している。
我々は、不確定データに適した介入戦略を理論的に開発し、因果一貫性条件(CCC)を導出する。
CCCは様々な分野で重要な役割を果たす可能性がある。
論文 参考訳（メタデータ） (2023-10-28T08:29:49Z) - Causal Representation Learning Made Identifiable by Grouping of Observational Variables [8.157856010838382]
因果表現学習(Causal Representation Learning)は、データ駆動型で隠れた機能の因果モデルを学ぶことを目的としている。
ここでは、新規で弱い制約に基づく識別可能性を示す。
また,モデルに整合した新たな自己教師付き推定フレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-24T10:38:02Z) - Identifiable Latent Polynomial Causal Models Through the Lens of Change [82.14087963690561]
因果表現学習は、観測された低レベルデータから潜在的な高レベル因果表現を明らかにすることを目的としている。
主な課題の1つは、識別可能性(identifiability)として知られるこれらの潜伏因果モデルを特定する信頼性の高い保証を提供することである。
論文 参考訳（メタデータ） (2023-10-24T07:46:10Z) - Towards CausalGPT: A Multi-Agent Approach for Faithful Knowledge Reasoning via Promoting Causal Consistency in LLMs [60.244412212130264]
Causal-Consistency Chain-of-Thoughtは、基礎モデルの忠実さと因果性を強化するために、マルチエージェントコラボレーションを活用する。
我々のフレームワークは、広範囲かつ包括的な評価を通じて、最先端の手法よりも大きな優位性を示す。
論文 参考訳（メタデータ） (2023-08-23T04:59:21Z) - Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。
本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。
自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
論文 参考訳（メタデータ） (2021-06-07T17:47:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。