論文の概要: Large Language Models as Nondeterministic Causal Models
- arxiv url: http://arxiv.org/abs/2509.22297v1
- Date: Fri, 26 Sep 2025 12:59:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-29 20:57:54.436525
- Title: Large Language Models as Nondeterministic Causal Models
- Title（参考訳）: 非決定論的因果モデルとしての大規模言語モデル
- Authors: Sander Beckers,
- Abstract要約: Chatzi et al. と Ravfogel et al. による最近の研究は、確率的大言語モデルの反事実を生成する手法を初めて開発した。
既存の手法は LLM の曖昧な解釈に依存していると私は主張する。
非決定論的因果モデルとして表現することで、LLMの意図した解釈に基づく、より単純な偽物を生成する方法を提案する。
- 参考スコア（独自算出の注目度）: 5.079136838868448
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent work by Chatzi et al. and Ravfogel et al. has developed, for the first time, a method for generating counterfactuals of probabilistic Large Language Models. Such counterfactuals tell us what would - or might - have been the output of an LLM if some factual prompt ${\bf x}$ had been ${\bf x}^*$ instead. The ability to generate such counterfactuals is an important necessary step towards explaining, evaluating, and comparing, the behavior of LLMs. I argue, however, that the existing method rests on an ambiguous interpretation of LLMs: it does not interpret LLMs literally, for the method involves the assumption that one can change the implementation of an LLM's sampling process without changing the LLM itself, nor does it interpret LLMs as intended, for the method involves explicitly representing a nondeterministic LLM as a deterministic causal model. I here present a much simpler method for generating counterfactuals that is based on an LLM's intended interpretation by representing it as a nondeterministic causal model instead. The advantage of my simpler method is that it is directly applicable to any black-box LLM without modification, as it is agnostic to any implementation details. The advantage of the existing method, on the other hand, is that it directly implements the generation of a specific type of counterfactuals that is useful for certain purposes, but not for others. I clarify how both methods relate by offering a theoretical foundation for reasoning about counterfactuals in LLMs based on their intended semantics, thereby laying the groundwork for novel application-specific methods for generating counterfactuals.
- Abstract（参考訳）: Chatzi et al と Ravfogel et al による最近の研究は、確率的大言語モデルの反事実を生成する手法を初めて開発した。
そのような反事実は、実際に${\bf x}$ が ${\bf x}^*$ であった場合、 LLM の出力がどうなるか(あるいは、可能かもしれない)を教えてくれる。
このような反事実を生成する能力は、LCMの振る舞いを説明し、評価し、比較するための重要なステップである。
しかし, 従来の手法は, LLM の曖昧な解釈に基づいており, LLM 自体を変えることなく LLM のサンプリングプロセスの実装を変更できるという仮定や, 非決定論的 LLM を決定論的因果モデルとして明示的に表現する手法など, LLM の実装を変更できるという仮定は含まない。
本稿では,LLMを非決定論的因果モデルとして表現することで,LLMの意図した解釈に基づく反事実を生成する方法を提案する。
私の単純な手法の利点は、いかなる実装の詳細にも依存しないので、変更せずにどんなブラックボックスのLCMにも直接適用できることです。
既存の手法の利点は、特定の目的に役立ちながら、他の目的には向かない特定の種類の偽物を生成することにある。
両手法の関連性を明らかにするため,LLMにおける対物論の理論的基礎を意図した意味論に基づいて提供し,対物論を創出するための新たな応用特化手法の土台を築き上げた。
関連論文リスト
- DIF: A Framework for Benchmarking and Verifying Implicit Bias in LLMs [1.89915151018241]
我々は、Large Language Models(LLMs)における暗黙のバイアスは倫理的な問題であるだけでなく、技術的な問題でもあると主張している。
我々は、容易に解釈可能なベンチマークDIF(Demographic Implicit Fairness)の計算方法を開発した。
論文 参考訳（メタデータ） (2025-05-15T06:53:37Z) - Bayesian Teaching Enables Probabilistic Reasoning in Large Language Models [50.16340812031201]
我々は,大規模言語モデル (LLM) がベイジアンフレームワークから期待されているように,その信念を更新しないことを示す。
我々は、最適ベイズモデルの予測を模倣するように訓練することで、ベイズ的な推論をLLMに教える。
論文 参考訳（メタデータ） (2025-03-21T20:13:04Z) - Order Matters in Hallucination: Reasoning Order as Benchmark and Reflexive Prompting for Large-Language-Models [0.0]
大規模言語モデル(LLM)は、その誕生以来、様々な学術分野や産業分野にまたがって大きな注目を集めてきた。
LLMはしばしば「ハロシン化問題」に悩まされるが、出力は文法的にも論理的にも一貫性があり、事実の正確性に欠ける。
論文 参考訳（メタデータ） (2024-08-09T14:34:32Z) - Potential and Limitations of LLMs in Capturing Structured Semantics: A Case Study on SRL [78.80673954827773]
大きな言語モデル(LLM)は、言語理解を高め、解釈可能性を改善し、バイアスを減らすために構造化セマンティクスをキャプチャする上で重要な役割を果たす。
セマンティック・ロール・ラベルリング(SRL)を,構造化意味論を抽出するLLMの能力を探るための基本課題として用いることを提案する。
LLMは実際にセマンティック構造をキャプチャすることができ、スケールアップは常にポテンシャルを反映するわけではない。
エラーのかなりの重複は、LLMと訓練されていない人間の両方によって行われ、全てのエラーの約30%を占めることに私たちは驚いています。
論文 参考訳（メタデータ） (2024-05-10T11:44:05Z) - $\forall$uto$\exists$val: Autonomous Assessment of LLMs in Formal Synthesis and Interpretation Tasks [21.12437562185667]
本稿では,形式構文を自然言語に翻訳する際のLLM評価のスケールアップ手法を提案する。
我々は、文脈自由文法(CFG)を用いて、その場で配布外のデータセットを生成する。
我々はまた、このパラダイムの実現可能性と拡張性を示すために、複数のSOTAクローズドおよびオープンソースLCMの評価を行う。
論文 参考訳（メタデータ） (2024-03-27T08:08:00Z) - LLM Maybe LongLM: Self-Extend LLM Context Window Without Tuning [67.39585115936329]
LLMには、微調整なしで長いコンテキストを処理できる固有の能力がある、と我々は主張する。
バイレベルアテンション情報を構築することで,LLMのコンテキストウィンドウを拡張するためのSelfExtendを提案する。
複数のベンチマークで包括的な実験を行い、その結果、既存のLLMのコンテキストウィンドウ長を効果的に拡張できることが示されている。
論文 参考訳（メタデータ） (2024-01-02T18:30:51Z) - CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。
このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。
LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
論文 参考訳（メタデータ） (2023-11-29T08:29:54Z) - Rephrase and Respond: Let Large Language Models Ask Better Questions for Themselves [57.974103113675795]
本稿では,Rephrase and Respond'(RaR)という手法を提案する。
RaRは、パフォーマンスを改善するためのシンプルだが効果的なプロンプト方法として機能する。
また,RaRは理論的にも経験的にも,一般的なChain-of-Thought(CoT)法と相補的であることを示す。
論文 参考訳（メタデータ） (2023-11-07T18:43:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。