論文の概要: When Helpfulness Overrides Causal Caution: Context-Dependent Suppression and Recovery in LLMs
- arxiv url: http://arxiv.org/abs/2606.24370v1
- Date: Tue, 23 Jun 2026 10:00:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-24 22:16:48.895815
- Title: When Helpfulness Overrides Causal Caution: Context-Dependent Suppression and Recovery in LLMs
- Title(参考訳): 覚醒剤が因果性障害を克服する時--LDMの文脈依存的抑制と回復
- Authors: Hiroshi Okumura,
- Abstract要約: 因果因果関係は、実証的証拠が不十分な場合に因果判断を控える正当性である。
本研究では,LSMが学術的から実践的な助言的文脈に移行した際の因果因果関係の系統的抑制について検討した。
有用性指向性反応パターンは, 実践的助言的文脈における因果因果関係の発現を抑制する可能性が示唆された。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are increasingly integrated into decision-support roles in business and policy contexts. While prior benchmark studies have primarily evaluated LLMs' causal reasoning capabilities, a more fundamental epistemic dimension has been overlooked: Causal Caution, defined as the propensity to refrain from causal judgment when empirical evidence is insufficient. This study examines the systematic suppression of Causal Caution that occurs when LLMs shift from academic to practical advisory contexts. Using an evaluation rubric inspired by Pearl's Causal Hierarchy (the PCH score), we conducted experiments on four high-performance LLMs -- Claude Sonnet 4.6, Claude Opus 4.7, GPT 5.5, and Gemini 3.1 Pro -- across 480 trials. Causal Caution maintenance rates were 91.7--100.0% in academic contexts but dropped to 6.7--18.3% in practical advisory contexts (Fisher's exact test, p < .001 across all models). Furthermore, when restricted to practical prompts requesting concrete recommendations or explanatory rationales, only 1 of 200 responses (0.5%) maintained Causal Caution. A brief self-correction prompt -- "Please reconsider this judgment from the perspective of causal relationships" -- restored the expression of Causal Caution to maintenance rates of 71.4--100.0% (McNemar's test, p < .001 across all models). These results suggest that helpfulness-oriented response patterns may suppress the expression of Causal Caution in practical advisory contexts, with important implications for organizational governance. The findings indicate that this suppression reflects context-dependent variation in expression rather than an underlying capability limitation, suggesting that multi-agent architectures that separate proposal generation from causal auditing may offer a promising governance design.
- Abstract(参考訳): 大規模言語モデル(LLM)は、ビジネスやポリシーの文脈において、意思決定支援の役割にますます統合されています。
以前のベンチマーク研究は主にLSMの因果推論能力を評価してきたが、より基本的な疫学的な次元は見過ごされている: 因果判定が不十分な場合、因果判断を控える確率として定義される因果因果因果因果因果因果因果関係(Causal Caution)。
本研究では,LSMが学術的から実践的な助言的文脈に移行した際の因果因果関係の系統的抑制について検討した。
パールのCausal Hierarchy(PCHスコア)にインスパイアされた評価ルーリックを用いて、480回の試験で4つの高性能LCM(Claude Sonnet 4.6, Claude Opus 4.7, GPT 5.5, Gemini 3.1 Pro)の実験を行った。
カスタル・カウションの維持率は、学術的な文脈では91.7--100.0%であったが、実践的な助言の文脈では6.7--18.3%に低下した(フィッシャーの正確な試験、全モデルでp < .001)。
さらに、具体的な勧告や説明的根拠を求める実践的なプロンプトに制限された場合、カウスカル・カウティオンを維持しているのは200件中1件(0.5%)であった。
短い自己補正プロンプト -- 「因果関係の観点からこの判断を再考する」 -- は、因果因果関係の表現を71.4~100.0%(McNemarのテスト、全モデルでp < .001)に復元した。
これらの結果は, 組織ガバナンスに重要な意味を持つ, 実践的な助言的文脈における因果因果関係の表現を, 有用性指向の応答パターンが抑制する可能性が示唆された。
その結果, この抑制は, 基礎となる能力制限ではなく, 表現の文脈依存的な変化を反映し, 因果監査から提案生成を分離するマルチエージェントアーキテクチャが, 有望なガバナンス設計をもたらす可能性が示唆された。
関連論文リスト
- Perception Without Engagement: Dissecting the Causal Discovery Deficit in LMMs [68.58207076756237]
本稿では,結果評価からメカニズム診断へ移行する摂動に基づく評価プロトコルProCauEvalを紹介する。
因果推論において,ビデオコンテンツは体系的に過小評価されている。
教師のネガティブなアライメントに基づく強化学習フレームワークであるADPOを提案する。
論文 参考訳(メタデータ) (2026-05-10T08:48:58Z) - Task Complexity Matters: An Empirical Study of Reasoning in LLMs for Sentiment Analysis [2.1036545320600095]
推論能力を持つ大規模言語モデル(LLM)は、推論が言語タスク全体のパフォーマンスを普遍的に改善する、という魅力的な物語を生み出している。
7つのモデルファミリーにまたがる504構成を包括的に評価することで,この主張を検証した。
その結果, 推論の有効性は, タスク依存的であり, 課題の多い仮定であることが明らかとなった。
論文 参考訳(メタデータ) (2026-02-27T14:49:05Z) - CausalFlip: A Benchmark for LLM Causal Judgment Beyond Semantic Matching [50.65932158912512]
そこで我々は,新しい大言語モデルの開発を促進するために,因果推論ベンチマークCausalFlipを提案する。
CaulFlipは、イベントトリプル上に構築された因果判断の質問で構成されており、共同創設者、チェーン、コライダーの関係が異なっている。
回答のみのトレーニング,明示的なチェーン・オブ・ソート監視,そして内在型因果推論アプローチなどを含む,複数の訓練パラダイムによるLCMの評価を行った。
論文 参考訳(メタデータ) (2026-02-23T18:06:15Z) - Causality is Key for Interpretability Claims to Generalise [35.833847356014154]
大規模言語モデル(LLM)の解釈可能性の研究は、モデル行動に関する重要な洞察をもたらした。
繰り返し発生する落とし穴: 一般化しない発見と、証拠を突破する因果解釈。
パールの因果的階層は、解釈可能性の研究が正当化できることを明確にする。
論文 参考訳(メタデータ) (2026-02-18T18:45:04Z) - CausalT5K: Diagnosing and Informing Refusal for Trustworthy Causal Reasoning of Skepticism, Sycophancy, Detection-Correction, and Rung Collapse [1.4608214000864057]
CausalT5Kは10ドメインにわたる5000以上のケースの診断ベンチマークである。
合成ベンチマークとは異なり、CausalT5Kはリアルな物語に因果トラップを埋め込んでいる。
予備的な実験では、静的監査ポリシーが普遍的に失敗する4段階のコントロールランドスケープが示される。
論文 参考訳(メタデータ) (2026-02-09T17:36:56Z) - Encyclo-K: Evaluating LLMs with Dynamically Composed Knowledge Statements [78.87065404966002]
既存のベンチマークは、主に質問レベルで質問をキュレートする。
ベンチマーク構築をゼロから再考するステートメントベースのベンチマークであるEncyclo-Kを提案する。
論文 参考訳(メタデータ) (2025-12-31T13:55:54Z) - From Facts to Conclusions : Integrating Deductive Reasoning in Retrieval-Augmented LLMs [5.838119242443381]
本稿では,3段階にまたがる構造的,解釈可能な推論を付加する推論トレース拡張RAGフレームワークを提案する。
矛盾認識信頼スコア(CATS)パイプラインを導入し、基礎性、事実的正確性、拒絶精度、紛争行動アライメントを評価する。
論文 参考訳(メタデータ) (2025-12-18T17:27:51Z) - From Harm to Help: Turning Reasoning In-Context Demos into Assets for Reasoning LMs [58.02809208460186]
デモとしてDeepSeek-R1の高品質なトレースを使って、このパラドックスを再検討する。
デモが最適であっても、より多くの例を加えることで、常に精度が低下することがわかった。
デモを明示的で再利用可能な洞察に変換するシーケンシャルなテストタイム手順であるInsight-to-solve(I2S)を紹介します。
論文 参考訳(メタデータ) (2025-09-27T08:59:31Z) - Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
大規模言語モデル(LLM)は意思決定タスクを自動化するために使用される。
本稿では,LPMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを評価する。
さまざまな因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成します。
これらのベンチマークにより、LLMが事実を記憶したり、他のショートカットを見つけたりすることで、変化を正確に予測する能力を切り離すことができます。
論文 参考訳(メタデータ) (2024-04-08T14:15:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。