論文の概要: Measuring Causal Effects of Data Statistics on Language Model's `Factual' Predictions

• arxiv url: http://arxiv.org/abs/2207.14251v2
• Date: Fri, 24 Mar 2023 07:18:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-27 18:41:13.620205
• Title: Measuring Causal Effects of Data Statistics on Language Model's `Factual' Predictions
• Title（参考訳）: 言語モデルの「実」予測に対するデータ統計量の因果効果の測定
• Authors: Yanai Elazar, Nora Kassner, Shauli Ravfogel, Amir Feder, Abhilasha Ravichander, Marius Mosbach, Yonatan Belinkov, Hinrich Sch\"utze, Yoav Goldberg
• Abstract要約: 大量のトレーニングデータが、最先端のNLPモデルの高性能化の大きな理由の1つである。 トレーニングデータがどのように予測に影響を及ぼすかを記述するための言語を,因果的フレームワークを通じて提供する。 我々のフレームワークは、高価なモデルの再訓練の必要性を回避し、観測データのみに基づいて因果効果を推定することができる。
• 参考スコア（独自算出の注目度）: 59.284907093349425
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large amounts of training data are one of the major reasons for the high performance of state-of-the-art NLP models. But what exactly in the training data causes a model to make a certain prediction? We seek to answer this question by providing a language for describing how training data influences predictions, through a causal framework. Importantly, our framework bypasses the need to retrain expensive models and allows us to estimate causal effects based on observational data alone. Addressing the problem of extracting factual knowledge from pretrained language models (PLMs), we focus on simple data statistics such as co-occurrence counts and show that these statistics do influence the predictions of PLMs, suggesting that such models rely on shallow heuristics. Our causal framework and our results demonstrate the importance of studying datasets and the benefits of causality for understanding NLP models.
• Abstract（参考訳）: 大量のトレーニングデータが、最先端のNLPモデルの高性能化の大きな理由の1つである。 しかし、トレーニングデータの何がモデルに特定の予測をさせるのか? 私たちは、トレーニングデータが予測にどのように影響するかを、因果フレームワークを通じて記述する言語を提供することで、この質問に答えたいと考えています。 重要なのは、フレームワークが高価なモデルを再トレーニングする必要を回避し、観測データのみに基づいて因果効果を推定できることです。 事前学習された言語モデル(PLM)から事実知識を抽出する問題に対処し、共起数などの単純なデータ統計に焦点をあて、これらの統計がPLMの予測に影響を及ぼすことを示す。 本研究の因果関係は,NLPモデルを理解する上で,データセットの学習の重要性と因果関係の利点を示すものである。

関連論文リスト

• Data Shapley in One Training Run [88.59484417202454]
  Data Shapleyは、機械学習コンテキストにおけるデータのコントリビューションに寄与するための、原則化されたフレームワークを提供する。 既存のアプローチでは、計算集約的な異なるデータサブセット上の再学習モデルが必要である。 本稿では、対象とするデータモデルに対するスケーラブルなデータ属性を提供することにより、これらの制限に対処するIn-Run Data Shapleyを紹介する。
  論文  参考訳（メタデータ） (2024-06-16T17:09:24Z)
• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• C-XGBoost: A tree boosting model for causal effect estimation [8.246161706153805]
  因果効果推定は、平均処理効果と、治療の条件平均処理効果を、利用可能なデータから得られる結果に推定することを目的としている。 本稿では,C-XGBoost という新たな因果推論モデルを提案する。
  論文  参考訳（メタデータ） (2024-03-31T17:43:37Z)
• Measuring and Improving Attentiveness to Partial Inputs with Counterfactuals [91.59906995214209]
  我々は,新しい評価手法であるCAT(Facterfactual Attentiveness Test)を提案する。 CATは、入力の一部を別の例から別の例に置き換えることで、予測を変更する注意深いモデルを期待することで、反事実を使用する。 実験データの精度が向上する一方, GPT3 は実演回数の増加により注意力の低下がみられた。
  論文  参考訳（メタデータ） (2023-11-16T06:27:35Z)
• Understanding Influence Functions and Datamodels via Harmonic Analysis [36.86262318584668]
  個々のデータポイントがテストデータに対するモデルの予測に与える影響を推定する。 それらは、データ中毒の検出、有用で有害な例の検出、データポイントのグループの影響などに使われる。 近年、Ilyasら[2022]は、データモデルと呼ばれる線形回帰手法を導入し、テストデータに対するトレーニングポイントの効果を予測した。 本稿では,このような興味深い経験的現象の理論的理解を深めることを目的とする。
  論文  参考訳（メタデータ） (2022-10-03T16:45:33Z)
• Impact of Pretraining Term Frequencies on Few-Shot Reasoning [51.990349528930125]
  事前学習された言語モデルが、事前学習データにおいてあまり頻度の低い用語でどの程度理にかなっているかを検討する。 我々は,様々な数値推論タスクにおいて,GPTに基づく言語モデルに対して,この相関関係の強さを計測する。 LMは数秒の数値推論タスクにおいて高い性能を示すが,本研究の結果は,事前学習データを超えるモデルが実際にどれだけ一般化されるのかという疑問を提起する。
  論文  参考訳（メタデータ） (2022-02-15T05:43:54Z)
• Causal Knowledge Guided Societal Event Forecasting [24.437437565689393]
  本稿では,因果効果推定をイベント予測に組み込むディープラーニングフレームワークを提案する。 機能再重み付けモジュールと近似損失を含む2つの頑健な学習モジュールを導入し、事前の知識注入を可能にする。
  論文  参考訳（メタデータ） (2021-12-10T17:41:02Z)
• A Causal Lens for Peeking into Black Box Predictive Models: Predictive Model Interpretation via Causal Attribution [3.3758186776249928]
  予測モデルがブラックボックスであるような設定でこの問題に対処することを目指している。 我々は、ブラックボックス予測モデルをモデル出力に対する各モデル入力の因果効果を推定する問題と比較する。 モデル入力に対するモデル出力に対する責任の因果関係が、予測モデルを解釈し、その予測を説明するためにどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2020-08-01T23:20:57Z)
• CausaLM: Causal Model Explanation Through Counterfactual Language Models [33.29636213961804]
  CausaLMは、対実言語表現モデルを用いた因果モデル説明を作成するためのフレームワークである。 本稿では,BERT のような言語表現モデルが,ある意味ある概念に対する対実表現を効果的に学習できることを示す。 本手法の副産物は,テストされた概念の影響を受けない言語表現モデルである。
  論文  参考訳（メタデータ） (2020-05-27T15:06:35Z)
• How Training Data Impacts Performance in Learning-based Control [67.7875109298865]
  本稿では,トレーニングデータの密度と制御性能の関係を考察する。 データセットの品質尺度を定式化し、$rho$-gap と呼ぶ。 フィードバック線形化制御法に$rho$-gapを適用する方法を示す。
  論文  参考訳（メタデータ） (2020-05-25T12:13:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。