論文の概要: Latent Causal Probing: A Formal Perspective on Probing with Causal Models of Data

• arxiv url: http://arxiv.org/abs/2407.13765v1
• Date: Thu, 18 Jul 2024 17:59:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-19 14:12:02.259932
• Title: Latent Causal Probing: A Formal Perspective on Probing with Causal Models of Data
• Title（参考訳）: 潜在因果探索:データ因果モデルによる因果探索の形式的視点
• Authors: Charles Jin,
• Abstract要約: 構造因果モデル(SCM)を用いた探索の形式的視点を開発する。 我々は,合成グリッドワールドナビゲーションタスクの文脈において,最近のLMの研究を拡張した。 本手法は,LMがテキストの根底にある因果的概念を学習できることを示す,堅牢な実証的証拠を提供する。
• 参考スコア（独自算出の注目度）: 3.988614978933934
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As language models (LMs) deliver increasing performance on a range of NLP tasks, probing classifiers have become an indispensable technique in the effort to better understand their inner workings. A typical setup involves (1) defining an auxiliary task consisting of a dataset of text annotated with labels, then (2) supervising small classifiers to predict the labels from the representations of a pretrained LM as it processed the dataset. A high probing accuracy is interpreted as evidence that the LM has learned to perform the auxiliary task as an unsupervised byproduct of its original pretraining objective. Despite the widespread usage of probes, however, the robust design and analysis of probing experiments remains a challenge. We develop a formal perspective on probing using structural causal models (SCM). Specifically, given an SCM which explains the distribution of tokens observed during training, we frame the central hypothesis as whether the LM has learned to represent the latent variables of the SCM. Empirically, we extend a recent study of LMs in the context of a synthetic grid-world navigation task, where having an exact model of the underlying causal structure allows us to draw strong inferences from the result of probing experiments. Our techniques provide robust empirical evidence for the ability of LMs to learn the latent causal concepts underlying text.
• Abstract（参考訳）: 言語モデル(LM)は、様々なNLPタスクにおいてパフォーマンスが向上するにつれて、内部動作をよりよく理解するために、分類器の探索は必須の手法となっている。 典型的な設定では、(1)ラベルに注釈付けされたテキストのデータセットからなる補助タスクを定義し、(2)データセットを処理する際に、事前訓練されたLMの表現からラベルを予測するための小さな分類器を監督する。 高い探索精度は、LMが元の事前訓練対象の教師なし副産物として補助タスクを実行することを学習した証拠として解釈される。 しかし、プローブが広く使われているにもかかわらず、探査実験の頑健な設計と分析は依然として課題である。 構造因果モデル (SCM) を用いた探索の形式的視点を開発する。 具体的には、トレーニング中に観測されたトークンの分布を説明するSCMを考慮し、LMがSCMの潜伏変数を表すことを学習したかどうかを中心仮説とする。 実験により,本研究は,基礎となる因果構造の正確なモデルを持つことで,探索実験の結果から強い推論を導き出すことができる,合成グリッドワールドナビゲーションタスクの文脈における最近のLMの研究を拡張した。 本手法は,LMがテキストの根底にある因果的概念を学習できることを示す,堅牢な実証的証拠を提供する。

関連論文リスト

• What Do Language Models Learn in Context? The Structured Task Hypothesis [89.65045443150889]
  大規模言語モデル(LLM)は、インコンテキスト学習(ICL)と呼ばれるデモで提示されたインコンテキストの例から新しいタスクを学習する 一般的な仮説の一つは、タスク選択によるICLの説明である。 もう一つの一般的な仮説は、ICLはメタ学習の一形態である、すなわち、モデルが事前学習時に学習アルゴリズムを学習し、それを実演に適用する、というものである。
  論文  参考訳（メタデータ） (2024-06-06T16:15:34Z)
• Unveiling LLMs: The Evolution of Latent Representations in a Temporal Knowledge Graph [15.129079475322637]
  大規模言語モデル(LLM)は、幅広い事実知識情報を思い出すための印象的な能力を示している。 LLMの潜伏空間に埋め込まれた事実知識を共同で復号するエンド・ツー・エンドのフレームワークを提案する。 本稿では,2つのクレーム検証データセットを用いた局所的および大域的解釈可能性分析を行った。
  論文  参考訳（メタデータ） (2024-04-04T17:45:59Z)
• The Common Stability Mechanism behind most Self-Supervised Learning Approaches [64.40701218561921]
  自己指導型学習手法の安定性のメカニズムを説明するための枠組みを提供する。 我々は,BYOL,SWAV,SimSiam,Barlow Twins,DINOなどの非コントラスト技術であるSimCLRの動作メカニズムについて議論する。 私たちは異なる仮説を定式化し、Imagenet100データセットを使ってそれらをテストします。
  論文  参考訳（メタデータ） (2024-02-22T20:36:24Z)
• From Understanding to Utilization: A Survey on Explainability for Large Language Models [27.295767173801426]
  この調査は、Large Language Models (LLMs) における説明可能性の向上を示唆している。 主に、トレーニング済みの Transformer ベースの LLM に重点を置いています。 説明可能性の活用を考える際に、モデル編集、制御生成、モデル拡張に集中するいくつかの魅力的な方法を検討する。
  論文  参考訳（メタデータ） (2024-01-23T16:09:53Z)
• Understanding Self-Supervised Learning of Speech Representation via Invariance and Redundancy Reduction [0.45060992929802207]
  自己教師付き学習(SSL)は、ラベルのないデータから柔軟な音声表現を学習するための有望なパラダイムとして登場した。 本研究は,人間の知覚における冗長性低下の理論に触発されたSSL技術であるBarlow Twins(BT)を実証分析した。
  論文  参考訳（メタデータ） (2023-09-07T10:23:59Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• Beyond Distributional Hypothesis: Let Language Models Learn Meaning-Text Correspondence [45.9949173746044]
  大規模事前学習言語モデル (PLM) が論理否定特性 (LNP) を満たさないことを示す。 そこで本研究では,意味テキスト対応を直接学習するための新しい中間訓練課題である「意味マッチング」を提案する。 このタスクにより、PLMは語彙意味情報を学習することができる。
  論文  参考訳（メタデータ） (2022-05-08T08:37:36Z)
• Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
  マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。 本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。 以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
  論文  参考訳（メタデータ） (2021-04-14T06:30:36Z)
• Paired Examples as Indirect Supervision in Latent Decision Models [109.76417071249945]
  我々は、ペア化された例を活用して、潜在的な決定を学習するためのより強力な手がかりを提供する方法を紹介します。 DROPデータセット上のニューラルネットワークを用いた合成質問応答の改善に本手法を適用した。
  論文  参考訳（メタデータ） (2021-04-05T03:58:30Z)
• oLMpics -- On what Language Model Pre-training Captures [84.60594612120173]
  本研究では,比較,協調,合成などの操作を必要とする8つの推論タスクを提案する。 基本的な課題は、タスク上でのLMのパフォーマンスが、事前訓練された表現やタスクデータの微調整のプロセスに起因すべきかどうかを理解することである。
  論文  参考訳（メタデータ） (2019-12-31T12:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。