論文の概要: Discovery of the Hidden World with Large Language Models
- arxiv url: http://arxiv.org/abs/2402.03941v1
- Date: Tue, 6 Feb 2024 12:18:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 15:09:13.120286
- Title: Discovery of the Hidden World with Large Language Models
- Title(参考訳): 大規模言語モデルによる隠れ世界の発見
- Authors: Chenxi Liu, Yongqiang Chen, Tongliang Liu, Mingming Gong, James Cheng,
Bo Han, Kun Zhang
- Abstract要約: COAT: Causal representatiOn AssistanTについて紹介する。
COATは、非構造化データから潜在的な因果因子を抽出する因子プロジェクタとしてLLMを組み込んでいる。
LLMはデータ値の収集に使用される追加情報を提供するよう指示することもできる。
- 参考スコア(独自算出の注目度): 100.38157787218044
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Science originates with discovering new causal knowledge from a combination
of known facts and observations. Traditional causal discovery approaches mainly
rely on high-quality measured variables, usually given by human experts, to
find causal relations. However, the causal variables are usually unavailable in
a wide range of real-world applications. The rise of large language models
(LLMs) that are trained to learn rich knowledge from the massive observations
of the world, provides a new opportunity to assist with discovering high-level
hidden variables from the raw observational data. Therefore, we introduce COAT:
Causal representatiOn AssistanT. COAT incorporates LLMs as a factor proposer
that extracts the potential causal factors from unstructured data. Moreover,
LLMs can also be instructed to provide additional information used to collect
data values (e.g., annotation criteria) and to further parse the raw
unstructured data into structured data. The annotated data will be fed to a
causal learning module (e.g., the FCI algorithm) that provides both rigorous
explanations of the data, as well as useful feedback to further improve the
extraction of causal factors by LLMs. We verify the effectiveness of COAT in
uncovering the underlying causal system with two case studies of review rating
analysis and neuropathic diagnosis.
- Abstract(参考訳): 科学は既知の事実と観察の組み合わせから新しい因果知識を発見することから始まる。
因果関係を見つけるために、従来の因果関係発見アプローチは、主に人間の専門家によって与えられる高品質な測定変数に依存している。
しかし、因果変数は通常、広い範囲の現実世界のアプリケーションでは利用できない。
世界の大規模な観測から豊富な知識を学ぶために訓練された大規模言語モデル(LLM)の台頭は、生の観測データから高いレベルの隠れた変数を発見する新しい機会を提供する。
そこで、COAT: Causal representatiOn AssistanTを紹介する。
COATは、非構造化データから潜在的な因果因子を抽出する因子プロジェクタとしてLLMを組み込んでいる。
さらに、LCMは、データ値(例えば、アノテーション基準)の収集に使用される追加情報を提供し、生の非構造化データを構造化データに解析するように指示することもできる。
注釈付きデータは因果学習モジュール(例えば、FCIアルゴリズム)に供給され、データの厳密な説明とLLMによる因果要因の抽出をさらに改善するための有用なフィードバックが提供される。
基礎的因果系を明らかにするためのCOATの有効性を,レビュー評価分析と神経因果診断の2症例で検証した。
関連論文リスト
- Causal Graph Discovery with Retrieval-Augmented Generation based Large
Language Models [25.14578008156799]
本稿では,科学文献の大規模コーパスに含まれる広範な知識を利用して,一般的な因果グラフ回復タスクにおける因果関係を推定する手法を提案する。
本手法はまず,文献から関連テキストのチャンクを抽出し,各因子の関連性を識別し,ラベル付けする。
本手法は,文献のみからよく知られたSACHSデータセット上で,高品質な因果グラフを構築することができることを示す。
論文 参考訳(メタデータ) (2024-02-23T13:02:10Z) - ExaRanker-Open: Synthetic Explanation for IR using Open-Source LLMs [60.81649785463651]
ExaRanker-Openを導入し、オープンソース言語モデルを適用して、説明を生成する。
以上の結果から,LLMのサイズが大きくなるにつれて,説明の組み込みが神経ランク付けを継続的に促進することが明らかとなった。
論文 参考訳(メタデータ) (2024-02-09T11:23:14Z) - Causal disentanglement of multimodal data [1.589226862328831]
因果関係を持つ重要な特徴を発見するために,マルチモーダルデータと既知の物理を利用する因果表現学習アルゴリズム(causalPIMA)を導入する。
本研究は,完全教師なし環境下で重要な特徴を同時に発見しながら,解釈可能な因果構造を学習する能力を示すものである。
論文 参考訳(メタデータ) (2023-10-27T20:30:11Z) - Inducing Causal Structure for Abstractive Text Summarization [76.1000380429553]
要約データの因果構造を誘導する構造因果モデル(SCM)を導入する。
本稿では因果的要因を模倣できる因果的表現を学習するための因果性インスピレーション付き系列列列モデル(CI-Seq2Seq)を提案する。
2つの広く使われているテキスト要約データセットの実験結果は、我々のアプローチの利点を示している。
論文 参考訳(メタデータ) (2023-08-24T16:06:36Z) - From Query Tools to Causal Architects: Harnessing Large Language Models
for Advanced Causal Discovery from Data [19.264745484010106]
大規模言語モデル (LLM) は、多くの社会的影響のある領域における概念間の因果解析の優れた能力を示す。
様々な因果発見および推論タスクにおけるLLM性能に関する最近の研究は、因果関係の古典的な3段階の枠組みに新たなはしごを生じさせている。
本稿では,知識に基づくLLM因果解析とデータ駆動因果構造学習を組み合わせた新しい枠組みを提案する。
論文 参考訳(メタデータ) (2023-06-29T12:48:00Z) - Evaluation of Induced Expert Knowledge in Causal Structure Learning by
NOTEARS [1.5469452301122175]
非パラメトリックNOTEARSモデルの定式化に使用される追加制約の形で、専門家の知識が因果関係に与える影響について検討する。
その結果, (i) NOTEARSモデルの誤りを正す知識は, 統計的に有意な改善をもたらすこと, (ii) アクティブエッジに対する制約は, 非アクティブエッジよりも因果発見に肯定的な影響を与えること, (iii) 意外なことに, (iii) 誘導された知識は, 平均的な不正確なアクティブエッジおよび/または非アクティブエッジに対して予想以上に正確でないことが判明した。
論文 参考訳(メタデータ) (2023-01-04T20:39:39Z) - Learning Latent Structural Causal Models [31.686049664958457]
機械学習タスクでは、画像ピクセルや高次元ベクトルのような低レベルのデータを扱うことが多い。
本稿では,潜在構造因果モデルの因果変数,構造,パラメータについて共同推論を行う,抽出可能な近似推定手法を提案する。
論文 参考訳(メタデータ) (2022-10-24T20:09:44Z) - Federated Causal Discovery [74.37739054932733]
本稿では,DAG-Shared Federated Causal Discovery (DS-FCD) という勾配学習フレームワークを開発する。
ローカルデータに直接触れることなく因果グラフを学習し、データの不均一性を自然に扱うことができる。
合成および実世界の両方のデータセットに対する大規模な実験により,提案手法の有効性が検証された。
論文 参考訳(メタデータ) (2021-12-07T08:04:12Z) - Systematic Evaluation of Causal Discovery in Visual Model Based
Reinforcement Learning [76.00395335702572]
AIと因果関係の中心的な目標は、抽象表現と因果構造を共同で発見することである。
因果誘導を研究するための既存の環境は、複雑なタスク固有の因果グラフを持つため、この目的には適していない。
本研究の目的は,高次変数の学習表現と因果構造の研究を促進することである。
論文 参考訳(メタデータ) (2021-07-02T05:44:56Z) - CausalVAE: Structured Causal Disentanglement in Variational Autoencoder [52.139696854386976]
変分オートエンコーダ(VAE)の枠組みは、観測から独立した因子をアンタングルするために一般的に用いられる。
本稿では, 因果内因性因子を因果内因性因子に変換する因果層を含むVOEベースの新しいフレームワークCausalVAEを提案する。
その結果、CausalVAEが学習した因果表現は意味論的に解釈可能であり、DAG(Directed Acyclic Graph)としての因果関係は精度良く同定された。
論文 参考訳(メタデータ) (2020-04-18T20:09:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。