論文の概要: Nuance Matters: Probing Epistemic Consistency in Causal Reasoning
- arxiv url: http://arxiv.org/abs/2409.00103v1
- Date: Tue, 27 Aug 2024 13:42:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-08 15:11:32.902380
- Title: Nuance Matters: Probing Epistemic Consistency in Causal Reasoning
- Title(参考訳): Nuance Matters:Causal Reasoningにおけるてんかんの一貫性を探る
- Authors: Shaobo Cui, Junyou Li, Luca Mouchel, Yiyang Feng, Boi Faltings,
- Abstract要約: 因果推論の微妙な差異を伴う中間体を識別する際の大規模言語モデルの自己整合性について検討する。
本稿では,この領域で大規模言語モデルを評価するための新しいメトリクスセットを提案する。
我々の研究は、因果推論に関わる微粒な中間体に対する自己整合性を調べることによって、AI研究における重要なギャップを埋める。
- 参考スコア(独自算出の注目度): 13.70981639567884
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To address this gap, our study introduces the concept of causal epistemic consistency, which focuses on the self-consistency of Large Language Models (LLMs) in differentiating intermediates with nuanced differences in causal reasoning. We propose a suite of novel metrics -- intensity ranking concordance, cross-group position agreement, and intra-group clustering -- to evaluate LLMs on this front. Through extensive empirical studies on 21 high-profile LLMs, including GPT-4, Claude3, and LLaMA3-70B, we have favoring evidence that current models struggle to maintain epistemic consistency in identifying the polarity and intensity of intermediates in causal reasoning. Additionally, we explore the potential of using internal token probabilities as an auxiliary tool to maintain causal epistemic consistency. In summary, our study bridges a critical gap in AI research by investigating the self-consistency over fine-grained intermediates involved in causal reasoning.
- Abstract(参考訳): このギャップに対処するため,本研究では,大言語モデル(LLM)の自己整合性に着目し,因果推論の微妙な差異を伴う中間体を識別する因果認識整合性の概念を紹介した。
本稿では,この点においてLSMを評価するための新しい指標(強度ランキング一致,グループ間位置合意,グループ内クラスタリング)を提案する。
GPT-4、Claude3、LLaMA3-70Bを含む21の高分子膜に関する広範な実証研究を通じて、我々は、現在のモデルが因果推論における中間体の極性と強度の同定において、疫学的一貫性を維持するのに苦慮している証拠を好んでいる。
さらに,内因性てんかんの一貫性を維持する補助具として,内因性トークンの確率を用いる可能性についても検討した。
まとめると、我々の研究は、因果推論に関わる微粒な中間体に対する自己整合性を調べることによって、AI研究における重要なギャップを埋める。
関連論文リスト
- Internal Consistency and Self-Feedback in Large Language Models: A Survey [20.32438354728608]
大型言語モデル(LLM)は、しばしば欠点のある推論や幻覚を生成する。
これらの問題に対処するため、自己整合性、自己改善性、自己改善性などの「自己-」の研究が開始されている。
本稿では,障害と幻覚を推論するための理論的枠組みである内部整合性(internal Consistency)を要約する。
論文 参考訳(メタデータ) (2024-07-19T17:59:03Z) - Fairness-Aware Meta-Learning via Nash Bargaining [63.44846095241147]
本稿では,機械学習におけるグループレベルの公平性の問題に対処する2段階のメタ学習フレームワークを提案する。
第1段階では、過度な競合を解決するためにNash Bargaining Solution(NBS)を使用して、モデルをステアリングする。
6つのキーフェアネスデータセットと2つの画像分類タスクにおいて、様々なフェアネス目標に対して経験的効果を示す。
論文 参考訳(メタデータ) (2024-06-11T07:34:15Z) - Calibrating Reasoning in Language Models with Internal Consistency [18.24350001344488]
大規模言語モデル(LLM)は、様々な推論タスクにおいて、チェーン・オブ・ソート(CoT)プロンプトのようなテクニックによって支援された印象的な機能を示している。
内部表現のレンズによるLLMにおけるCoT推論について検討する。
内部整合性の高い高重み付け推論経路によるCoT推論の校正手法を提案する。
論文 参考訳(メタデータ) (2024-05-29T02:44:12Z) - A General Causal Inference Framework for Cross-Sectional Observational Data [0.4972323953932129]
断面観測データに特化して設計された一般因果推論(GCI)フレームワーク。
本稿では,断面観測データを対象としたGCIフレームワークを提案する。
論文 参考訳(メタデータ) (2024-04-28T14:26:27Z) - Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
大規模言語モデル(LLM)は、システムの異なる部分への介入の下で因果効果を推定することができる。
LLMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを実証分析して評価する。
我々は、様々な因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成し、介入に基づく推論の研究を可能にする。
論文 参考訳(メタデータ) (2024-04-08T14:15:56Z) - SSL Framework for Causal Inconsistency between Structures and
Representations [23.035761299444953]
深層学習と因果発見のクロスポリン化は、画像、ビデオ、テキストなどの統計的でないデータ形式における因果関係の解明を目指す、急成長する研究分野を触媒している。
我々は、不確定データに適した介入戦略を理論的に開発し、因果一貫性条件(CCC)を導出する。
CCCは様々な分野で重要な役割を果たす可能性がある。
論文 参考訳(メタデータ) (2023-10-28T08:29:49Z) - Causal Representation Learning Made Identifiable by Grouping of Observational Variables [8.157856010838382]
因果表現学習(Causal Representation Learning)は、データ駆動型で隠れた機能の因果モデルを学ぶことを目的としている。
ここでは、新規で弱い制約に基づく識別可能性を示す。
また,モデルに整合した新たな自己教師付き推定フレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-24T10:38:02Z) - Identifiable Latent Polynomial Causal Models Through the Lens of Change [85.67870425656368]
因果表現学習は、観測された低レベルデータから潜在的な高レベル因果表現を明らかにすることを目的としている。
主な課題の1つは、識別可能性(identifiability)として知られるこれらの潜伏因果モデルを特定する信頼性の高い保証を提供することである。
論文 参考訳(メタデータ) (2023-10-24T07:46:10Z) - Measuring and Improving Chain-of-Thought Reasoning in Vision-Language Models [61.28463542324576]
視覚言語モデル(VLM)は近年,人間のような出力を生成できる視覚アシスタントとして,強力な有効性を示している。
我々は、既存の最先端のVLMを評価し、最高の性能モデルでさえ、強力な視覚的推論能力と一貫性を示すことができないことを発見した。
本稿では,VLMの推論性能と一貫性の向上を目的とした2段階トレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-08T17:49:44Z) - Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。
本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。
自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
論文 参考訳(メタデータ) (2021-06-07T17:47:16Z) - Disentangling Observed Causal Effects from Latent Confounders using
Method of Moments [67.27068846108047]
我々は、軽度の仮定の下で、識別性と学習可能性に関する保証を提供する。
我々は,線形制約付き結合テンソル分解に基づく効率的なアルゴリズムを開発し,スケーラブルで保証可能な解を得る。
論文 参考訳(メタデータ) (2021-01-17T07:48:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。