論文の概要: Causal Representation Learning with Generative Artificial Intelligence: Application to Texts as Treatments

• arxiv url: http://arxiv.org/abs/2410.00903v1
• Date: Tue, 1 Oct 2024 17:46:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 00:19:53.325871
• Title: Causal Representation Learning with Generative Artificial Intelligence: Application to Texts as Treatments
• Title（参考訳）: 生成的人工知能を用いた因果表現学習 : テキスト・アズ・ア・トリートへの応用
• Authors: Kosuke Imai, Kentaro Nakamura,
• Abstract要約: テキストなどの非構造的高次元処理による因果推論の有効性を高める方法について述べる。 本稿では,大規模言語モデル(LLM)のような深層生成モデルを用いて治療を効率的に生成することを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we demonstrate how to enhance the validity of causal inference with unstructured high-dimensional treatments like texts, by leveraging the power of generative Artificial Intelligence. Specifically, we propose to use a deep generative model such as large language models (LLMs) to efficiently generate treatments and use their internal representation for subsequent causal effect estimation. We show that the knowledge of this true internal representation helps separate the treatment features of interest, such as specific sentiments and certain topics, from other possibly unknown confounding features. Unlike the existing methods, our proposed approach eliminates the need to learn causal representation from the data and hence produces more accurate and efficient estimates. We formally establish the conditions required for the nonparametric identification of the average treatment effect, propose an estimation strategy that avoids the violation of the overlap assumption, and derive the asymptotic properties of the proposed estimator through the application of double machine learning. Finally, using an instrumental variables approach, we extend the proposed methodology to the settings, in which the treatment feature is based on human perception rather than is assumed to be fixed given the treatment object. We conduct simulation studies using the generated text data with an open-source LLM, Llama3, to illustrate the advantages of our estimator over the state-of-the-art causal representation learning algorithms.
• Abstract（参考訳）: 本稿では,生成人工知能の力を生かして,テキストなどの非構造的高次元処理による因果推論の有効性を高める方法について述べる。 具体的には,大規模言語モデル(LLM)のような深層生成モデルを用いて治療を効率よく生成し,その内部表現をその後の因果効果推定に用いることを提案する。 この真の内部表現の知識は、特定の感情や特定の話題などの関心事の特徴を、他の未知の特徴と区別するのに役立ちます。 既存の手法と異なり,提案手法ではデータから因果表現を学習する必要がなく,より正確で効率的な推定結果が得られる。 我々は,平均処理効果の非パラメトリック同定に必要な条件を正式に確立し,重なり合う仮定の違反を避けるための推定戦略を提案し,二重機械学習の適用により提案した推定器の漸近特性を導出する。 最後に, 機器変数を用いた手法を用いて, 提案手法を, 治療対象が固定されていると仮定されるのではなく, 人間の知覚に基づくものであるような設定に拡張する。 我々は,オープンソースのLLMであるLlama3を用いて生成したテキストデータを用いてシミュレーションを行い,最先端の因果表現学習アルゴリズムに対する推定器の利点を説明する。

関連論文リスト

• Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
  言語モデルの性能の効果的な指標としての可能性を示す。 提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-11-12T13:14:09Z)
• Interpretable Medical Diagnostics with Structured Data Extraction by Large Language Models [59.89454513692417]
  タブラルデータはしばしばテキストに隠され、特に医学的診断報告に使用される。 本稿では,TEMED-LLM と呼ばれるテキスト医療報告から構造化表状データを抽出する手法を提案する。 本手法は,医学診断における最先端のテキスト分類モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-08T09:12:28Z)
• Neuroevolutionary Feature Representations for Causal Inference [0.0]
  本稿では,条件付き平均処理効果(CATE)の推定を支援する特徴表現の学習手法を提案する。 本手法は,特徴量から得られる結果を予測するために訓練されたニューラルネットワークの中間層に焦点をあてる。
  論文  参考訳（メタデータ） (2022-05-21T09:13:04Z)
• Information-Theoretic Odometry Learning [83.36195426897768]
  生体計測推定を目的とした学習動機付け手法のための統合情報理論フレームワークを提案する。 提案フレームワークは情報理論言語の性能評価と理解のためのエレガントなツールを提供する。
  論文  参考訳（メタデータ） (2022-03-11T02:37:35Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)
• Generative Counterfactuals for Neural Networks via Attribute-Informed Perturbation [51.29486247405601]
  AIP(Attribute-Informed Perturbation)の提案により,生データインスタンスの反事実を生成するフレームワークを設計する。 異なる属性を条件とした生成モデルを利用することで、所望のラベルとの反事実を効果的かつ効率的に得ることができる。 実世界のテキストや画像に対する実験結果から, 設計したフレームワークの有効性, サンプル品質, および効率が示された。
  論文  参考訳（メタデータ） (2021-01-18T08:37:13Z)
• PermuteAttack: Counterfactual Explanation of Machine Learning Credit Scorecards [0.0]
  本稿では、金融における小売クレジットスコアリングに使用される機械学習(ML)モデルの検証と説明のための新しい方向性と方法論について述べる。 提案するフレームワークは人工知能(AI)のセキュリティと敵MLの分野からモチベーションを引き出す。
  論文  参考訳（メタデータ） (2020-08-24T00:05:13Z)
• Robust Q-learning [0.0]
  データ適応手法を用いてニュアンスパラメータを推定できる頑健なQ-ラーニング手法を提案する。 本研究は,提案手法の必要性と有用性を明らかにするためのシミュレーション研究である。
  論文  参考訳（メタデータ） (2020-03-27T14:10:38Z)
• A logic-based relational learning approach to relation extraction: The OntoILPER system [0.9176056742068812]
  論理に基づく関係学習手法OntoILPERを提案する。 OntoILPERは、例のリッチなリレーショナル表現の利益を享受し、欠点を軽減することができる。 提案手法は統計的手法よりも関係抽出に適していると考えられる。
  論文  参考訳（メタデータ） (2020-01-13T12:47:49Z)
• Localized Debiased Machine Learning: Efficient Inference on Quantile Treatment Effects and Beyond [69.83813153444115]
  因果推論における(局所)量子化処理効果((L)QTE)の効率的な推定式を検討する。 Debiased Machine Learning (DML)は、高次元のニュアンスを推定するデータ分割手法である。 本稿では、この負担のかかるステップを避けるために、局所的脱バイアス機械学習(LDML)を提案する。
  論文  参考訳（メタデータ） (2019-12-30T14:42:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。