論文の概要: Words as Difference Makers: How Large Language Models Determine Causal Structure in Text

• arxiv url: http://arxiv.org/abs/2606.22430v1
• Date: Sun, 21 Jun 2026 10:40:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 18:19:46.97028
• Title: Words as Difference Makers: How Large Language Models Determine Causal Structure in Text
• Title（参考訳）: 違い要因としての単語:大言語モデルがテキストの因果構造をいかに決定するか
• Abstract要約: 私は、大きな言語モデル(LLM)は差分論理に基づく特定の帰納的アプローチを採用していると論じます。 LLMの特定のアーキテクチャ特性を分析し、変動誘導におけるそれらの役割を解明する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Because large language models (LLMs) are impressively successful in predicting text, it appears that they must have access to a 'world model' representing causal and definitional structure. However, the dominant formalisms of modern causal inference -- Judea Pearl's interventionist approach and the Neyman-Rubin potential outcomes framework -- struggle to illuminate how LLMs learn causal structure. I resolve this puzzle by arguing that LLMs employ a specific inductive approach based on a difference-making logic -- sometimes called variational induction. I demonstrate how central aspects of this logic are realized during training, where LLMs require enormous amounts of text data from a wide range of contexts to identify difference- and indifference-makers within word sequences. Furthermore, I analyze specific architectural features of LLMs -- such as token embeddings and self-attention -- to determine their roles in variational induction. The difference-making logic of LLMs fundamentally parallels the experimental method, where causal relations are derived by systematically varying individual circumstances to determine their influence on a phenomenon.
• Abstract（参考訳）: 大きな言語モデル(LLM)はテキストの予測に驚くほど成功したため、因果的構造と定義的構造を表す「世界モデル」にアクセスできなければならない。 しかし、現代の因果推論の卓越した形式主義(ジューデア・パールの介入主義的アプローチとナイマン・ルービンの潜在的な結果の枠組み)は、LLMが因果構造を学ぶ方法の解明に苦慮している。 LLMは、差分生成論理に基づく特定の帰納的アプローチ(時として変分帰納法と呼ばれる)を採用する、と論じることで、この問題を解決する。 この論理の中枢的な側面が、学習中にどのように実現されるかを示す。そこでは、LLMは、単語列内の差分と差分を識別するために、幅広い文脈から大量のテキストデータを必要とする。 さらに、トークン埋め込みや自己アテンションなど、LLMの特定のアーキテクチャの特徴を分析して、変分誘導におけるそれらの役割を判断します。 LLMの差分論理は、因果関係が系統的に異なる個別の状況によって引き起こされ、その現象への影響を決定する実験手法を根本的に平行にしている。

関連論文リスト

• The Periodic Table of LLM Reasoning: A Structured Survey of Reasoning Paradigms, Methods, and Failure Modes [55.42597391158023]
  この調査は、arXiv、Semantic Scholar、Google Scholar、Papers with Code、ACL Anthologyの300以上の最近の論文の体系的な分析を提供する。 本稿では、推論研究の構造的分類を導入し、チェーン・オブ・ソート推論、マルチホップ推論、数学的推論、常識推論、視覚的および時間的推論、コードとアルゴリズム的推論、検索強化推論、ツール強化およびエージェント的推論、強化学習に基づく推論について紹介する。 我々は、繰り返し発生する制限と失敗モードを合成する。例えば、幻覚の推論、脆い多段階推論、弱い因果的抽象、貧弱な交差などである。
  論文  参考訳（メタデータ） (2026-06-09T21:59:37Z)
• CausalFlip: A Benchmark for LLM Causal Judgment Beyond Semantic Matching [50.65932158912512]
  そこで我々は,新しい大言語モデルの開発を促進するために,因果推論ベンチマークCausalFlipを提案する。 CaulFlipは、イベントトリプル上に構築された因果判断の質問で構成されており、共同創設者、チェーン、コライダーの関係が異なっている。 回答のみのトレーニング,明示的なチェーン・オブ・ソート監視,そして内在型因果推論アプローチなどを含む,複数の訓練パラダイムによるLCMの評価を行った。
  論文  参考訳（メタデータ） (2026-02-23T18:06:15Z)
• LLMs Explain't: A Post-Mortem on Semantic Interpretability in Transformer Models [3.7965260744113163]
  大きな言語モデル(LLM)は、その汎用性と強力なパフォーマンスのために、広範にコンピューティングで人気が高まっている。 本稿では,LLMにおいて言語的抽象化がどのように現れるのかを考察し,異なるモジュール間で言語的抽象化を検出することを目的とする。 注意に基づく説明は、後層表現がトークンに対応しているというコア仮定をテストすると、崩壊します。 埋め込みに適用される特性推論法も、その高い予測スコアが、方法論的アーティファクトとデータセット構造によって駆動されたため失敗した。
  論文  参考訳（メタデータ） (2026-01-30T12:46:37Z)
• Human-Level Reasoning: A Comparative Study of Large Language Models on Logical and Abstract Reasoning [2.430913933033485]
  本研究では,Large Language Models (LLM) の論理的および抽象的推論スキルを8つのカスタム設計の推論質問を用いて比較した。 結果は、同じタスクにおける人間のパフォーマンスに対してベンチマークされ、大きな違いと、LLMが推論に苦しむ領域を示す。
  論文  参考訳（メタデータ） (2025-10-28T14:02:58Z)
• How LLMs Comprehend Temporal Meaning in Narratives: A Case Study in Cognitive Evaluation of LLMs [13.822169295436177]
  本研究では,人文研究に用いられた物語において,大規模言語モデル(LLM)が言語的側面の時間的意味をどう扱うかを検討する。 以上の結果から,LLMは原型性に過度に依存し,相反する側面判断を生じ,側面から派生した因果推論に苦慮することが明らかとなった。 これらの結果は,LLMのプロセスの側面が人間と根本的に異なり,ロバストな物語理解が欠如していることを示唆している。
  論文  参考訳（メタデータ） (2025-07-18T18:28:35Z)
• Computation Mechanism Behind LLM Position Generalization [59.013857707250814]
  大規模言語モデル(LLM)は、テキストの位置を扱う際の柔軟性を示す。 彼らは位置摂動のあるテキストを理解し、より長いテキストに一般化することができる。 この研究は言語現象とLLMの計算機構を結びつける。
  論文  参考訳（メタデータ） (2025-03-17T15:47:37Z)
• LogiDynamics: Unraveling the Dynamics of Inductive, Abductive and Deductive Logical Inferences in LLM Reasoning [74.0242521818214]
  本稿では,大言語モデル(LLM)におけるインダクティブ(システム1)と帰納的/帰納的(システム2)の推論の比較力学を体系的に検討する。 我々は、制御されたアナログ推論環境、多様度(テキスト、視覚、記号)、難易度、タスク形式(MCQ/フリーテキスト)を利用する。 我々の分析によると、System 2のパイプラインは一般的に、特に視覚的/象徴的なモダリティや難しいタスクにおいて優れており、System 1はテキストやより簡単な問題に対して競争力がある。
  論文  参考訳（メタデータ） (2025-02-16T15:54:53Z)
• Failure Modes of LLMs for Causal Reasoning on Narratives [51.19592551510628]
  世界の知識と論理的推論の相互作用について検討する。 最先端の大規模言語モデル(LLM)は、しばしば表面的な一般化に依存している。 タスクの単純な再構成により、より堅牢な推論行動が引き起こされることを示す。
  論文  参考訳（メタデータ） (2024-10-31T12:48:58Z)
• Evaluating the Correctness of Inference Patterns Used by LLMs for Judgment [53.17596274334017]
  我々は,LLMの詳細な推論パターンの正確さを,その正しい出力の裏側で評価した。 実験により、言語生成結果が正しそうであっても、LLMが法的な判断に用いた推論パターンのかなりの部分は、誤解を招く論理や無関係な論理を表す可能性があることが示された。
  論文  参考訳（メタデータ） (2024-10-06T08:33:39Z)
• Inductive Learning of Logical Theories with LLMs: An Expressivity-Graded Analysis [9.865771016218549]
  本研究は,Large Language Models(LLM)の機能と限界を分析するための,新しい体系的方法論を提案する。 この分析は、LLM性能に関する特定の推論課題の定量化を可能にする、複雑性グレードのw.r.t.ルール依存構造である。
  論文  参考訳（メタデータ） (2024-08-15T16:41:00Z)
• Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
  大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。 LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。 モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
  論文  参考訳（メタデータ） (2023-10-02T01:00:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。