論文の概要: When Can Models Learn From Explanations? A Formal Framework for
Understanding the Roles of Explanation Data
- arxiv url: http://arxiv.org/abs/2102.02201v1
- Date: Wed, 3 Feb 2021 18:57:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-04 17:53:26.081732
- Title: When Can Models Learn From Explanations? A Formal Framework for
Understanding the Roles of Explanation Data
- Title（参考訳）: モデルはいつ説明から学べるのか?
説明データの役割を理解するための形式的枠組み
- Authors: Peter Hase, Mohit Bansal
- Abstract要約: 個々のデータポイントの説明がモデリング性能を向上させる状況について検討する。
e-SNLI、TACRED、SemEvalの3つの既存のデータセットを使って説明します。
- 参考スコア（独自算出の注目度）: 84.87772675171412
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many methods now exist for conditioning model outputs on task instructions,
retrieved documents, and user-provided explanations and feedback. Rather than
relying solely on examples of task inputs and outputs, these approaches allow
for valuable additional data to be used in modeling with the purpose of
improving model correctness and aligning learned models with human priors.
Meanwhile, a growing body of evidence suggests that some language models can
(1) store a large amount of knowledge in their parameters, and (2) perform
inference over tasks in unstructured text to solve new tasks at test time.
These results raise the possibility that, for some tasks, humans cannot explain
to a model any more about the task than it already knows or could infer on its
own. In this paper, we study the circumstances under which explanations of
individual data points can (or cannot) improve modeling performance. In order
to carefully control important properties of the data and explanations, we
introduce a synthetic dataset for experiments, and we also make use of three
existing datasets with explanations: e-SNLI, TACRED, SemEval. We first give a
formal framework for the available modeling approaches, in which explanation
data can be used as model inputs, as labels, or as a prior. After arguing that
the most promising role for explanation data is as model inputs, we propose to
use a retrieval-based method and show that it solves our synthetic task with
accuracies upwards of 95%, while baselines without explanation data achieve
below 65% accuracy. We then identify properties of datasets for which
retrieval-based modeling fails. With the three existing datasets, we find no
improvements from explanation retrieval. Drawing on our findings from our
synthetic task, we suggest that at least one of six preconditions for
successful modeling fails to hold with these datasets.
- Abstract（参考訳）: タスク命令のモデル出力のコンディショニング、ドキュメントの取得、ユーザが提供する説明とフィードバックのための多くのメソッドが現在存在している。
これらの手法は、タスク入力やアウトプットの例にのみ依存するのではなく、モデルの正確性を改善し、学習したモデルを人間の事前と整合させることを目的として、モデリングに貴重な追加データを使用できる。
一方,いくつかの言語モデルでは,(1)パラメータに大量の知識を格納し,(2)非構造化テキストにおけるタスクを推測することで,新しいタスクをテスト時に解くことが可能であることが示唆されている。
これらの結果は、一部のタスクでは、人間が既に知っている、あるいは自分で推測できる以上のタスクについてモデルに説明できない可能性を示しています。
本論文では,個々のデータポイントの説明がモデリング性能を向上できる(あるいは改善できない)状況について検討する。
データと説明の重要な特性を慎重に制御するために、実験用の合成データセットを導入し、e-SNLI、TACRED、SemEvalの3つの既存のデータセットも使用しています。
まず,説明データをモデル入力として,ラベルとして,あるいは事前として使用できる,利用可能なモデリングアプローチのための形式的フレームワークを提示する。
説明データの最も有望な役割はモデル入力であるとの議論を経て,検索に基づく手法を用いて,説明データを持たないベースラインが65%未満の精度で,95%以上の精度で合成タスクを解くことを提案する。
次に、検索に基づくモデリングが失敗するデータセットの特性を特定する。
既存の3つのデータセットでは,説明検索による改善は見られない。
総合的なタスクから得られた知見から,モデリング成功のための6つの前提条件のうち,少なくとも1つがこれらのデータセットを保持できないことを示唆する。
関連論文リスト
- Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。
本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
論文 参考訳（メタデータ） (2024-10-22T06:43:28Z) - Learning-based Models for Vulnerability Detection: An Extensive Study [3.1317409221921144]
我々は、最先端の学習ベースアプローチの2つのタイプを広範かつ包括的に調査する。
本稿では,シーケンスベースモデルの優先度と,グラフベースモデルの限定能力について実験的に検証する。
論文 参考訳（メタデータ） (2024-08-14T13:01:30Z) - Numerical Literals in Link Prediction: A Critical Examination of Models and Datasets [2.5999037208435705]
数値リテラルを組み込んだリンク予測モデルは、既存のベンチマークデータセットに対してわずかに改善されている。
モデルが数値リテラルを使用するのに実際に優れているのか、あるいはグラフ構造を利用するのに優れているのかは、不明である。
本稿では,数値リテラルを組み込んだLPモデルの評価手法を提案する。
論文 参考訳（メタデータ） (2024-07-25T17:55:33Z) - Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。
本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
論文 参考訳（メタデータ） (2023-11-29T05:33:28Z) - CHORUS: Foundation Models for Unified Data Discovery and Exploration [6.85448651843431]
基礎モデルは,データ発見およびデータ探索領域に適用可能であることを示す。
基礎モデルに基づくアプローチは,タスク固有のモデルよりも優れており,その技術の現状を示す。
これは、異なるデータ管理タスクを基礎モデルの下で統一できる将来的な方向性を示唆している。
論文 参考訳（メタデータ） (2023-06-16T03:58:42Z) - AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。
本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。
我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
論文 参考訳（メタデータ） (2023-03-29T17:03:21Z) - Synthetic Model Combination: An Instance-wise Approach to Unsupervised
Ensemble Learning [92.89846887298852]
ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。
専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
論文 参考訳（メタデータ） (2022-10-11T10:20:31Z) - Representing Knowledge by Spans: A Knowledge-Enhanced Model for
Information Extraction [7.077412533545456]
本稿では,エンティティとリレーションの両方の表現を同時に学習する事前学習モデルを提案する。
スパンをスパンモジュールで効率的に符号化することで、私たちのモデルはエンティティとそれらの関係を表現できますが、既存のモデルよりもパラメータが少なくなります。
論文 参考訳（メタデータ） (2022-08-20T07:32:25Z) - Turning Tables: Generating Examples from Semi-structured Tables for
Endowing Language Models with Reasoning Skills [32.55545292360155]
本稿では,半構造化テーブルを活用し,大規模質問とパラグラフのペアを自動的に生成する手法を提案する。
16種類の推論スキルを必要とする例を含む、この合成データに対する事前学習のステップを追加します。
我々のモデルであるPReasMは、トレーニング済みエンコーダ-デコーダモデルであるT5を大幅に上回っていることを示す。
論文 参考訳（メタデータ） (2021-07-15T11:37:14Z) - Model-agnostic multi-objective approach for the evolutionary discovery
of mathematical models [55.41644538483948]
現代のデータ科学では、どの部分がより良い結果を得るために置き換えられるかというモデルの性質を理解することがより興味深い。
合成データ駆動型モデル学習において,多目的進化最適化を用いてアルゴリズムの所望特性を求める。
論文 参考訳（メタデータ） (2021-07-07T11:17:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。