論文の概要: When Can Models Learn From Explanations? A Formal Framework for
Understanding the Roles of Explanation Data
- arxiv url: http://arxiv.org/abs/2102.02201v1
- Date: Wed, 3 Feb 2021 18:57:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-04 17:53:26.081732
- Title: When Can Models Learn From Explanations? A Formal Framework for
Understanding the Roles of Explanation Data
- Title（参考訳）: モデルはいつ説明から学べるのか?
説明データの役割を理解するための形式的枠組み
- Authors: Peter Hase, Mohit Bansal
- Abstract要約: 個々のデータポイントの説明がモデリング性能を向上させる状況について検討する。
e-SNLI、TACRED、SemEvalの3つの既存のデータセットを使って説明します。
- 参考スコア（独自算出の注目度）: 84.87772675171412
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many methods now exist for conditioning model outputs on task instructions,
retrieved documents, and user-provided explanations and feedback. Rather than
relying solely on examples of task inputs and outputs, these approaches allow
for valuable additional data to be used in modeling with the purpose of
improving model correctness and aligning learned models with human priors.
Meanwhile, a growing body of evidence suggests that some language models can
(1) store a large amount of knowledge in their parameters, and (2) perform
inference over tasks in unstructured text to solve new tasks at test time.
These results raise the possibility that, for some tasks, humans cannot explain
to a model any more about the task than it already knows or could infer on its
own. In this paper, we study the circumstances under which explanations of
individual data points can (or cannot) improve modeling performance. In order
to carefully control important properties of the data and explanations, we
introduce a synthetic dataset for experiments, and we also make use of three
existing datasets with explanations: e-SNLI, TACRED, SemEval. We first give a
formal framework for the available modeling approaches, in which explanation
data can be used as model inputs, as labels, or as a prior. After arguing that
the most promising role for explanation data is as model inputs, we propose to
use a retrieval-based method and show that it solves our synthetic task with
accuracies upwards of 95%, while baselines without explanation data achieve
below 65% accuracy. We then identify properties of datasets for which
retrieval-based modeling fails. With the three existing datasets, we find no
improvements from explanation retrieval. Drawing on our findings from our
synthetic task, we suggest that at least one of six preconditions for
successful modeling fails to hold with these datasets.
- Abstract（参考訳）: タスク命令のモデル出力のコンディショニング、ドキュメントの取得、ユーザが提供する説明とフィードバックのための多くのメソッドが現在存在している。
これらの手法は、タスク入力やアウトプットの例にのみ依存するのではなく、モデルの正確性を改善し、学習したモデルを人間の事前と整合させることを目的として、モデリングに貴重な追加データを使用できる。
一方,いくつかの言語モデルでは,(1)パラメータに大量の知識を格納し,(2)非構造化テキストにおけるタスクを推測することで,新しいタスクをテスト時に解くことが可能であることが示唆されている。
これらの結果は、一部のタスクでは、人間が既に知っている、あるいは自分で推測できる以上のタスクについてモデルに説明できない可能性を示しています。
本論文では,個々のデータポイントの説明がモデリング性能を向上できる(あるいは改善できない)状況について検討する。
データと説明の重要な特性を慎重に制御するために、実験用の合成データセットを導入し、e-SNLI、TACRED、SemEvalの3つの既存のデータセットも使用しています。
まず,説明データをモデル入力として,ラベルとして,あるいは事前として使用できる,利用可能なモデリングアプローチのための形式的フレームワークを提示する。
説明データの最も有望な役割はモデル入力であるとの議論を経て,検索に基づく手法を用いて,説明データを持たないベースラインが65%未満の精度で,95%以上の精度で合成タスクを解くことを提案する。
次に、検索に基づくモデリングが失敗するデータセットの特性を特定する。
既存の3つのデータセットでは,説明検索による改善は見られない。
総合的なタスクから得られた知見から,モデリング成功のための6つの前提条件のうち,少なくとも1つがこれらのデータセットを保持できないことを示唆する。
関連論文リスト
- CHORUS: Foundation Models for Unified Data Discovery and Exploration [12.409057371310924]
ファンデーションモデルは、トレーニングとは無関係なさまざまなタスクにおいて、有望なパフォーマンスを示す大きな言語モデルである。
これらのモデルは、データ発見およびデータ探索領域に非常に適用可能であることを示す。
これら3つの課題において,基礎モデルに基づくアプローチがタスク固有のモデルよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-06-16T03:58:42Z) - USB: A Unified Summarization Benchmark Across Tasks and Domains [57.49503148357634]
要約の多次元的理解を必要とする8つのタスクからなるベンチマークを導入する。
このベンチマークで様々な手法を比較し、複数のタスクにおいて、中程度の大きさの微調整されたモデルが、より大きな数発の言語モデルよりも一貫して優れていることを発見した。
論文 参考訳（メタデータ） (2023-05-23T17:39:54Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳（メタデータ） (2022-11-09T18:58:29Z) - Synthetic Model Combination: An Instance-wise Approach to Unsupervised
Ensemble Learning [92.89846887298852]
ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。
専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
論文 参考訳（メタデータ） (2022-10-11T10:20:31Z) - Generalization Properties of Retrieval-based Models [50.35325326050263]
検索ベースの機械学習手法は、幅広い問題で成功をおさめた。
これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。
本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
論文 参考訳（メタデータ） (2022-10-06T00:33:01Z) - Representing Knowledge by Spans: A Knowledge-Enhanced Model for
Information Extraction [7.077412533545456]
本稿では,エンティティとリレーションの両方の表現を同時に学習する事前学習モデルを提案する。
スパンをスパンモジュールで効率的に符号化することで、私たちのモデルはエンティティとそれらの関係を表現できますが、既存のモデルよりもパラメータが少なくなります。
論文 参考訳（メタデータ） (2022-08-20T07:32:25Z) - A Case for Dataset Specific Profiling [0.9023847175654603]
データ駆動科学は、科学的な発見が、リッチで規律固有のデータセットに対する計算AIモデルの実行に依存する、新興パラダイムである。
現代的な機械学習フレームワークを使用することで、誰でも科学的応用を可能にするデータに隠された概念を明らかにする計算モデルを開発し、実行することができる。
重要で広く使われているデータセットでは、データセットに対して実行できるすべての計算モデルのパフォーマンスを計算することは、クラウドリソースの点でコストを禁ずる。
論文 参考訳（メタデータ） (2022-08-01T18:38:05Z) - What Makes Data-to-Text Generation Hard for Pretrained Language Models? [17.07349898176898]
構造化された事実や関係(D2T)の自然言語記述を表現することで、構造化された知識リポジトリのアクセシビリティが向上する。
従来の研究は、タスク固有のトレーニングデータを大幅に微調整した後、事前学習された言語モデル(PLM)が、このタスクに対して驚くほどうまく機能していることを示している。
DARTマルチドメインD2Tデータセット上で、微調整と自動回帰PLMの両方について実証的研究を行う。
論文 参考訳（メタデータ） (2022-05-23T17:58:39Z) - Turning Tables: Generating Examples from Semi-structured Tables for
Endowing Language Models with Reasoning Skills [32.55545292360155]
本稿では,半構造化テーブルを活用し,大規模質問とパラグラフのペアを自動的に生成する手法を提案する。
16種類の推論スキルを必要とする例を含む、この合成データに対する事前学習のステップを追加します。
我々のモデルであるPReasMは、トレーニング済みエンコーダ-デコーダモデルであるT5を大幅に上回っていることを示す。
論文 参考訳（メタデータ） (2021-07-15T11:37:14Z) - Model-agnostic multi-objective approach for the evolutionary discovery
of mathematical models [55.41644538483948]
現代のデータ科学では、どの部分がより良い結果を得るために置き換えられるかというモデルの性質を理解することがより興味深い。
合成データ駆動型モデル学習において,多目的進化最適化を用いてアルゴリズムの所望特性を求める。
論文 参考訳（メタデータ） (2021-07-07T11:17:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。