論文の概要: Language Models as Causal Effect Generators
- arxiv url: http://arxiv.org/abs/2411.08019v1
- Date: Tue, 12 Nov 2024 18:50:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-13 13:19:37.737300
- Title: Language Models as Causal Effect Generators
- Title（参考訳）: 因果効果発生器としての言語モデル
- Authors: Lucius E. J. Bynum, Kyunghyun Cho,
- Abstract要約: 制御可能な因果構造を持つ大規模言語モデル(LLM)に基づくデータ生成のためのフレームワークを提案する。
我々は、任意の言語モデルと有向非巡回グラフ(DAG)をシーケンス駆動構造因果モデル(SD-SCM)に変換する手順を定義する。
- 参考スコア（独自算出の注目度）: 44.820140872666435
- License:
- Abstract: We present a framework for large language model (LLM) based data generation with controllable causal structure. In particular, we define a procedure for turning any language model and any directed acyclic graph (DAG) into a sequence-driven structural causal model (SD-SCM). Broadly speaking, an SD-SCM is a causal model with user-defined structure and LLM-defined structural equations. We characterize how an SD-SCM allows sampling from observational, interventional, and counterfactual distributions according to the desired causal structure. We then leverage this procedure to propose a new type of benchmark for causal inference methods, generating individual-level counterfactual data without needing to manually specify functional relationships between variables. We create an example benchmark consisting of thousands of datasets, and test a suite of popular estimation methods on these datasets for average, conditional average, and individual treatment effect estimation, both with and without hidden confounding. Apart from generating data, the same procedure also allows us to test for the presence of a causal effect that might be encoded in an LLM. This procedure can underpin auditing LLMs for misinformation, discrimination, or otherwise undesirable behavior. We believe SD-SCMs can serve as a useful tool in any application that would benefit from sequential data with controllable causal structure.
- Abstract（参考訳）: 制御可能な因果構造を持つ大規模言語モデル(LLM)に基づくデータ生成のためのフレームワークを提案する。
特に,任意の言語モデルと有向非巡回グラフ(DAG)をシーケンス駆動型構造因果モデル(SD-SCM)に変換する手順を定義する。
SD-SCMは、ユーザ定義構造とLCM定義構造方程式を持つ因果モデルである。
我々は,SD-SCMが観察,介入,反ファクト分布からのサンプリングを,所望の因果構造に従ってどのように行うかを特徴付ける。
次に,この手法を利用して因果推論のための新しいタイプのベンチマークを提案し,変数間の機能的関係を手動で指定することなく,個別レベルの逆ファクトデータを生成する。
数千のデータセットからなるサンプルベンチマークを作成し、これらのデータセットに対して、平均、条件平均、個々の処理効果推定のための一般的な推定方法のスイートをテストする。
また、データ生成とは別に、LLMにエンコードされる可能性のある因果効果の有無の検証も行えます。
この手順は、誤情報、識別、その他の望ましくない行動の監査を補助することができる。
SD-SCMは、制御可能な因果構造を持つシーケンシャルデータから恩恵を受けるであろうアプリケーションにおいて有用なツールとして機能すると考えています。
関連論文リスト
- Induced Covariance for Causal Discovery in Linear Sparse Structures [55.2480439325792]
因果モデルでは、観測データから変数間の因果関係を解き明かそうとしている。
本稿では,変数が線形に疎結合な関係を示す設定のための新しい因果探索アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-10-02T04:01:38Z) - Standardizing Structural Causal Models [80.21199731817698]
ベンチマークアルゴリズムのための内部標準構造因果モデル(iSCM)を提案する。
構成上、iSCMは$operatornameVar$-sortableではなく、実験的に示すように、$operatornameR2$-sortableではない。
論文 参考訳（メタデータ） (2024-06-17T14:52:21Z) - Can LLMs Separate Instructions From Data? And What Do We Even Mean By That? [60.50127555651554]
大規模言語モデル(LLM)は、多くの実用的なアプリケーションにおいて印象的な結果を示すが、基本的な安全性機能は欠如している。
これにより、間接的なプロンプトインジェクションのような操作に脆弱になり、一般に安全クリティカルなタスクには適さない。
モデル出力から計算可能な命令データ分離の形式的尺度と経験的変量を導入する。
論文 参考訳（メタデータ） (2024-03-11T15:48:56Z) - iSCAN: Identifying Causal Mechanism Shifts among Nonlinear Additive
Noise Models [48.33685559041322]
本稿では,同一変数集合上の2つ以上の関連するデータセットにおける因果メカニズムシフトの同定に焦点をあてる。
提案手法を実装したコードはオープンソースであり、https://github.com/kevinsbello/iSCAN.comで公開されている。
論文 参考訳（メタデータ） (2023-06-30T01:48:11Z) - Representation Disentaglement via Regularization by Causal
Identification [3.9160947065896803]
本稿では,不整合表現学習における基礎となるデータ生成過程の仮定を記述するために,因果コライダー構造モデルを提案する。
そこで本研究では,大規模生成モデルの挙動を因果同定によって課される絡み合った制約に整合させるモジュール型正規化エンジンReIを提案する。
論文 参考訳（メタデータ） (2023-02-28T23:18:54Z) - Variable Importance Matching for Causal Inference [73.25504313552516]
これらの目標を達成するためのModel-to-Matchと呼ばれる一般的なフレームワークについて説明する。
Model-to-Matchは、距離メートル法を構築するために変数重要度測定を使用する。
LASSO を用いて Model-to-Match フレームワークを運用する。
論文 参考訳（メタデータ） (2023-02-23T00:43:03Z) - Learning Latent Structural Causal Models [31.686049664958457]
機械学習タスクでは、画像ピクセルや高次元ベクトルのような低レベルのデータを扱うことが多い。
本稿では,潜在構造因果モデルの因果変数,構造,パラメータについて共同推論を行う,抽出可能な近似推定手法を提案する。
論文 参考訳（メタデータ） (2022-10-24T20:09:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。