論文の概要: CAT: Causal Attention Tuning For Injecting Fine-grained Causal Knowledge into Large Language Models

• arxiv url: http://arxiv.org/abs/2509.01535v2
• Date: Tue, 09 Sep 2025 04:01:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-10 12:33:22.786141
• Title: CAT: Causal Attention Tuning For Injecting Fine-grained Causal Knowledge into Large Language Models
• Title（参考訳）: CAT:大規模言語モデルに微細な因果知識を注入するための因果注意チューニング
• Authors: Kairong Han, Wenshuo Zhao, Ziyu Zhao, JunJian Ye, Lujia Pan, Kun Kuang,
• Abstract要約: 因果注意チューニング(Causal Attention Tuning, CAT)は、注意機構に微粒な因果知識を注入する新しいアプローチである。 トークンレベルの因果信号を自動的に生成するために,人間の先行情報を活用する自動パイプラインを提案する。 CatはSTGデータセットで5.76%、下流タスクで1.56%の平均的な改善を実現している。
• 参考スコア（独自算出の注目度）: 42.12079243701232
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have achieved remarkable success across various domains. However, a fundamental question remains: Can LLMs effectively utilize causal knowledge for prediction and generation? Through empirical studies, we find that LLMs trained directly on large-scale data often capture spurious correlations rather than true causal relationships, leading to suboptimal performance, especially in out-of-distribution (OOD) scenarios. To address this challenge, we propose Causal Attention Tuning (CAT), a novel approach that injects fine-grained causal knowledge into the attention mechanism. We propose an automated pipeline that leverages human priors to automatically generate token-level causal signals and introduce the Re-Attention mechanism to guide training, helping the model focus on causal structures while mitigating noise and biases in attention scores. Experimental results on our proposed Spurious Token Game (STG) benchmark and multiple downstream tasks demonstrate that our approach effectively leverages causal knowledge for prediction and remains robust in OOD scenarios. The CAT achieves an average improvement of 5.76% on the STG dataset and 1.56% on downstream tasks. Notably, the OOD performance of the Llama-3.1-8B model on STG_M increased from 64.5% to 90.5%, and Qwen's OOD performance on the STG_H dataset improved from 25.4% to 55.9%. Implementation details can be found at https://github.com/Kairong-Han/CAT.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な領域で大きな成功を収めています。 LLMは推論と生成に因果的知識を効果的に活用できるのか? 実験的な研究により、大規模データを直接訓練したLSMは、真の因果関係ではなく、急激な相関関係を捉え、特にアウト・オブ・ディストリビューション(OOD)のシナリオにおいて、最適以下の性能をもたらすことが判明した。 この課題に対処するために、注意機構に微粒な因果知識を注入する新しいアプローチであるCausal Attention Tuning (CAT)を提案する。 本稿では,人間の事前情報を利用してトークンレベルの因果信号を自動生成する自動パイプラインを提案し,学習指導のためのRe-Attention機構を導入し,ノイズや注意点の偏りを緩和しながら因果構造に着目したモデルを提案する。 提案したSpurious Token Game(STG)ベンチマークと複数のダウンストリームタスクによる実験結果から,本手法が予測に因果知識を効果的に活用し,OODシナリオで頑健であることが確認された。 CATは、STGデータセットで5.76%、下流タスクで1.56%の平均的な改善を実現している。 特に、STG_M上のLlama-3.1-8BモデルのOOD性能は64.5%から90.5%に向上し、STG_Hデータセット上のQwenのOOD性能は25.4%から55.9%に向上した。 実装の詳細はhttps://github.com/Kairong-Han/CAT.comで確認できる。

関連論文リスト

• Mitigating Spurious Correlations in LLMs via Causality-Aware Post-Training [57.03005244917803]
  大規模言語モデル (LLMs) は、事前学習中に得られた素早い相関関係により、アウト・オブ・ディストリビューション (OOD) のサンプルで失敗することが多い。 ここでは、因果認識後学習(CAPT)を通して、このような素因的相関を緩和することを目的とする。 公式因果推論ベンチマークCLadderと論理推論データセットPrOntoQAの実験により、CAPTで微調整された3Bスケールの言語モデルでは、従来のSFTおよびより大きなLLMを分散処理(ID)およびOODタスクで上回る結果が得られた。
  論文  参考訳（メタデータ） (2025-06-11T06:30:28Z)
• Fairness-Driven LLM-based Causal Discovery with Active Learning and Dynamic Scoring [1.5498930424110338]
  因果発見(英: Causal discovery, CD)は、様々な分野において観測される現象の根底にある因果関係を明らかにすることで、多くの科学分野において重要な役割を担っている。 CDアルゴリズムの大幅な進歩にもかかわらず、その応用は大規模データの高い計算要求と複雑さのために困難に直面している。 本稿では,CDにLarge Language Models(LLM)を活用するフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-21T22:58:26Z)
• Stop Overthinking: A Survey on Efficient Reasoning for Large Language Models [49.61246073215651]
  大規模言語モデル(LLM)は複雑なタスクにおいて顕著な機能を示した。 OpenAI o1とDeepSeek-R1の最近の進歩は、System-2推論ドメインのパフォーマンスをさらに改善した。 しかし、冗長な出力と冗長な出力による計算オーバーヘッドも大幅に発生する。
  論文  参考訳（メタデータ） (2025-03-20T17:59:38Z)
• Can Large Language Models Help Experimental Design for Causal Discovery? [94.66802142727883]
  Large Language Model Guided Intervention Targeting (LeGIT) は、LLMを効果的に組み込んだ堅牢なフレームワークであり、因果発見のための介入のための既存の数値的アプローチを強化する。 LeGITは、既存の方法よりも大幅な改善と堅牢性を示し、人間を超越している。
  論文  参考訳（メタデータ） (2025-03-03T03:43:05Z)
• From Pre-training Corpora to Large Language Models: What Factors Influence LLM Performance in Causal Discovery Tasks? [51.42906577386907]
  本研究では,因果発見タスクにおけるLarge Language Models(LLM)の性能に影響を与える要因について検討する。 因果関係の頻度が高いことは、より良いモデル性能と相関し、トレーニング中に因果関係の情報に広範囲に暴露することで、因果関係の発見能力を高めることを示唆している。
  論文  参考訳（メタデータ） (2024-07-29T01:45:05Z)
• Multi-modal Causal Structure Learning and Root Cause Analysis [67.67578590390907]
  根本原因局所化のためのマルチモーダル因果構造学習手法であるMulanを提案する。 ログ選択言語モデルを利用してログ表現学習を行い、ログシーケンスを時系列データに変換する。 また、モダリティの信頼性を評価し、最終因果グラフを共同学習するための新しいキーパフォーマンスインジケータ対応アテンション機構も導入する。
  論文  参考訳（メタデータ） (2024-02-04T05:50:38Z)
• PACE-LM: Prompting and Augmentation for Calibrated Confidence Estimation with GPT-4 in Cloud Incident Root Cause Analysis [17.362895895214344]
  大規模言語モデル(LLM)は、人間がクラウドインシデントの根本原因を特定するのに役立つ。 そこで本研究では,オンコール技術者がモデル予測を採用するかどうかの判断を支援するために,予測に対する信頼度推定を行うことを提案する。 提案手法は,推定された根本原因に対する校正された信頼度を推定し,検索した履歴データの有用性と促進戦略を検証できることを示す。
  論文  参考訳（メタデータ） (2023-09-11T21:24:00Z)
• Integrating Large Language Model for Improved Causal Discovery [25.50313039584238]
  大規模言語モデル(LLM)は、様々なドメイン固有のシナリオの因果解析に使われてきた。 エラー耐性 LLM による因果発見フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-29T12:48:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。