論文の概要: Causal Inference on Outcomes Learned from Text
- arxiv url: http://arxiv.org/abs/2503.00725v1
- Date: Sun, 02 Mar 2025 04:36:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-05 19:21:44.521125
- Title: Causal Inference on Outcomes Learned from Text
- Title(参考訳): テキストから学習した結果に対する因果推論
- Authors: Iman Modarressi, Jann Spiess, Amar Venugopal,
- Abstract要約: ランダム化試行において,テキストの因果推論を行う機械学習ツールを提案する。
簡単なエコノメトリの枠組みに基づいて、我々の手順は3つの疑問に対処する: 第一に、治療によって影響を受けるテキストは? 第二に、どの結果が影響するか? そして第三に、因果効果の完全な説明はどれくらい完全か?
- 参考スコア(独自算出の注目度): 1.283555556182245
- License:
- Abstract: We propose a machine-learning tool that yields causal inference on text in randomized trials. Based on a simple econometric framework in which text may capture outcomes of interest, our procedure addresses three questions: First, is the text affected by the treatment? Second, which outcomes is the effect on? And third, how complete is our description of causal effects? To answer all three questions, our approach uses large language models (LLMs) that suggest systematic differences across two groups of text documents and then provides valid inference based on costly validation. Specifically, we highlight the need for sample splitting to allow for statistical validation of LLM outputs, as well as the need for human labeling to validate substantive claims about how documents differ across groups. We illustrate the tool in a proof-of-concept application using abstracts of academic manuscripts.
- Abstract(参考訳): ランダム化試行において,テキストの因果推論を行う機械学習ツールを提案する。
テキストが関心の結果を捉えうる単純な計量的枠組みに基づいて、我々の手順は3つの疑問に対処する。
次に、どの結果が影響しますか?
そして第3に,因果関係についての説明はどの程度完了していますか?
3つの質問にすべて答えるために,本手法では,2つの文書群間で体系的な差異を示唆する大規模言語モデル (LLM) を用いて,コストのかかる検証に基づく有効な推論を行う。
具体的には、LCM出力の統計的検証を可能にするサンプル分割の必要性と、文書がグループ間でどのように異なるかという実体的主張を人間ラベルで検証する必要性を強調した。
本稿では,学術論文の要約を用いた概念実証のツールについて解説する。
関連論文リスト
- ExaGPT: Example-Based Machine-Generated Text Detection for Human Interpretability [62.285407189502216]
LLM(Large Language Models)によって生成されたテキストの検出は、誤った判断によって致命的な誤りを引き起こす可能性がある。
本稿では,人間の意思決定プロセスに根ざした解釈可能な検出手法であるExaGPTを紹介する。
以上の結果から,ExaGPTは従来の強力な検出器よりも最大で40.9ポイントの精度を1%の偽陽性率で大きく上回っていることが明らかとなった。
論文 参考訳(メタデータ) (2025-02-17T01:15:07Z) - Procedural Knowledge in Pretraining Drives Reasoning in Large Language Models [30.066436019078164]
推論タスクを行う際に,大規模言語モデルが採用する一般化戦略について検討する。
以上の結果から, モデルを用いた推論手法は検索と異なり, より一般化可能な戦略であることが示唆された。
論文 参考訳(メタデータ) (2024-11-19T15:47:12Z) - Interactive Analysis of LLMs using Meaningful Counterfactuals [22.755345889167934]
カウンターファクト例は、機械学習モデルの意思決定境界を探索するのに有用である。
LLMの分析・説明に反事実的手法をどう適用すればいいのか?
本稿では,完全かつ意味のあるテキストの反事実のバッチを生成するための新しいアルゴリズムを提案する。
我々の実験では、カウンターファクトの97.2%が文法的に正しい。
論文 参考訳(メタデータ) (2024-04-23T19:57:03Z) - Enhancing Argument Structure Extraction with Efficient Leverage of
Contextual Information [79.06082391992545]
本稿では,コンテキスト情報を完全に活用する効率的なコンテキスト認識モデル(ECASE)を提案する。
文脈情報や議論情報を集約するために,シーケンスアテンションモジュールと距離重み付き類似度損失を導入する。
各種ドメインの5つのデータセットに対する実験により,我々のモデルが最先端の性能を達成することを示す。
論文 参考訳(メタデータ) (2023-10-08T08:47:10Z) - ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for
Document Information Extraction [56.790794611002106]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、文脈内学習による顕著な結果を示している。
ICL-D3IEと呼ばれるシンプルだが効果的なテキスト内学習フレームワークを提案する。
具体的には、ハードトレーニング文書から最も困難で独特なセグメントをハードデモとして抽出する。
論文 参考訳(メタデータ) (2023-03-09T06:24:50Z) - Revisiting text decomposition methods for NLI-based factuality scoring
of summaries [9.044665059626958]
細粒度分解が必ずしも事実性スコアの勝利戦略であるとは限らないことを示す。
また,従来提案されていたエンテーメントに基づくスコアリング手法の小さな変更により,性能が向上することを示した。
論文 参考訳(メタデータ) (2022-11-30T09:54:37Z) - Complementary Explanations for Effective In-Context Learning [77.83124315634386]
大規模言語モデル (LLM) は、説明のインプロンプトから学習する際、顕著な能力を示した。
この研究は、文脈内学習に説明が使用されるメカニズムをよりよく理解することを目的としている。
論文 参考訳(メタデータ) (2022-11-25T04:40:47Z) - Dense Paraphrasing for Textual Enrichment [7.6233489924270765]
文構造において(必要に)表現されない意味論をDense Paraphrasing(DP)として明示しつつ、曖昧さを低減させるような文表現(レキセムやフレーズ)を書き換えるプロセスを定義する。
我々は、最初の完全なDPデータセットを構築し、アノテーションタスクのスコープと設計を提供し、このDPプロセスがどのようにソーステキストを豊かにし、推論とQAタスクのパフォーマンスを改善するかを示す。
論文 参考訳(メタデータ) (2022-10-20T19:58:31Z) - Textual Entailment Recognition with Semantic Features from Empirical
Text Representation [60.31047947815282]
テキストが仮説を包含するのは、仮説の真の価値がテキストに従う場合に限る。
本稿では,テキストと仮説のテキストの包含関係を同定する新しい手法を提案する。
本手法では,テキスト・ハイブリッド・ペア間の意味的含意関係を識別できる要素ワイド・マンハッタン距離ベクトルベースの特徴を用いる。
論文 参考訳(メタデータ) (2022-10-18T10:03:51Z) - GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。
FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
論文 参考訳(メタデータ) (2022-04-12T03:49:35Z) - Generating Fact Checking Summaries for Web Claims [8.980876474818153]
本稿では,テキスト文書の形での証拠に基づくテキストクレームの正当性を確立するために,ニューラルアテンションに基づくアプローチを提案する。
政治・医療・環境問題に関するデータセットに対するアプローチの有効性を示す。
論文 参考訳(メタデータ) (2020-10-16T18:10:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。