論文の概要: Information-Theoretic Probing with Minimum Description Length
- arxiv url: http://arxiv.org/abs/2003.12298v1
- Date: Fri, 27 Mar 2020 09:35:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-19 05:04:42.483079
- Title: Information-Theoretic Probing with Minimum Description Length
- Title（参考訳）: 最小記述長を用いた情報理論探索
- Authors: Elena Voita, Ivan Titov
- Abstract要約: 我々は,最小記述長 (MDL) を持つ情報理論探索法である標準プローブの代替案を提案する。
MDL Probingでは、ラベルを予測するためのプローブのトレーニングが、データを効果的に送信するための教えとして再キャストされる。
これらの手法は結果に一致し、標準プローブよりも情報的かつ安定であることを示す。
- 参考スコア（独自算出の注目度）: 74.29846942213445
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To measure how well pretrained representations encode some linguistic
property, it is common to use accuracy of a probe, i.e. a classifier trained to
predict the property from the representations. Despite widespread adoption of
probes, differences in their accuracy fail to adequately reflect differences in
representations. For example, they do not substantially favour pretrained
representations over randomly initialized ones. Analogously, their accuracy can
be similar when probing for genuine linguistic labels and probing for random
synthetic tasks. To see reasonable differences in accuracy with respect to
these random baselines, previous work had to constrain either the amount of
probe training data or its model size. Instead, we propose an alternative to
the standard probes, information-theoretic probing with minimum description
length (MDL). With MDL probing, training a probe to predict labels is recast as
teaching it to effectively transmit the data. Therefore, the measure of
interest changes from probe accuracy to the description length of labels given
representations. In addition to probe quality, the description length evaluates
"the amount of effort" needed to achieve the quality. This amount of effort
characterizes either (i) size of a probing model, or (ii) the amount of data
needed to achieve the high quality. We consider two methods for estimating MDL
which can be easily implemented on top of the standard probing pipelines:
variational coding and online coding. We show that these methods agree in
results and are more informative and stable than the standard probes.
- Abstract（参考訳）: 事前訓練された表現が言語特性をコード化しているかを測定するために、プローブの精度、すなわち表現からその特性を予測するために訓練された分類器を使うのが一般的である。
プローブが広く採用されているにもかかわらず、その精度の差は表現の相違を適切に反映することができない。
例えば、ランダムに初期化された表現よりも事前訓練された表現をかなり好まない。
対照的に、それらの精度は、真の言語ラベルの探索とランダムな合成タスクの探索と類似している。
これらのランダムなベースラインに対する精度の合理的な違いを見極めるために、以前の研究はプローブトレーニングデータの量またはモデルサイズを制限しなければならなかった。
代わりに、最小記述長(mdl)を持つ情報理論的プローブの代替案を提案する。
mdl probingでは、ラベルを予測するためのプローブのトレーニングを、効果的にデータを送信するように教えるために再キャストする。
したがって、興味の尺度はプローブの精度から与えられた表現のラベルの記述長へと変化する。
プローブの品質に加えて、記述長は品質を達成するのに必要な「努力の量」を評価する。
この努力の量には特徴がある。
(i)探究モデルのサイズ、又は
(ii)高品質を達成するのに必要なデータ量。
標準探索パイプライン上で容易に実装可能なmdl推定手法として,変分符号化とオンラインコーディングの2つを検討した。
これらの手法は結果に一致し、標準プローブよりも情報的かつ安定であることを示す。
関連論文リスト
- Optimal Algorithms for Augmented Testing of Discrete Distributions [25.818433126197036]
予測器は3つのプロパティテストタスクすべてに必要なサンプル数を実際に削減できることを示す。
我々のアルゴリズムの重要な利点は、予測の精度への適応性である。
アルゴリズムによって達成されるサンプルの複雑さの改善は、情報理論的に最適であることを示すために、より低い境界を提供する。
論文 参考訳（メタデータ） (2024-12-01T21:31:22Z) - Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。
DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。
10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
論文 参考訳（メタデータ） (2024-07-20T01:34:13Z) - Embroid: Unsupervised Prediction Smoothing Can Improve Few-Shot
Classification [20.85088711770188]
ラベル付きデータを追加せずに即時学習を改善することができることを示す。
組込み関数の異なるデータセットの複数の表現を演算するEmbroidを提案する。
Embroidはオリジナルのプロンプトよりも性能が大幅に向上することがわかった。
論文 参考訳（メタデータ） (2023-07-20T17:07:28Z) - Learning Disentangled Textual Representations via Statistical Measures
of Similarity [35.74568888409149]
トレーニングを必要としない不整合表現を学習するための正規化器のファミリーを導入する。
我々の新しい正規化器は、追加のトレーニングを必要とせず、より速く、追加のチューニングを伴わない。
論文 参考訳（メタデータ） (2022-05-07T08:06:22Z) - Few-shot Instruction Prompts for Pretrained Language Models to Detect
Social Biases [55.45617404586874]
我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。
大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
論文 参考訳（メタデータ） (2021-12-15T04:19:52Z) - Comparing Text Representations: A Theory-Driven Approach [2.893558866535708]
我々は、テキストデータセットの特定の特徴に適合するように、計算学習理論から一般的なツールを適応させる。
本稿では,表現とタスクの整合性を評価する手法を提案する。
この方法は、分類に基づくNLPタスクの難易度を校正し、定量的に測定する。
論文 参考訳（メタデータ） (2021-09-15T17:48:19Z) - Do Syntactic Probes Probe Syntax? Experiments with Jabberwocky Probing [45.834234634602566]
学習データにおける意味的手がかりは,構文的プローブが適切に構文を分離しないことを意味する。
私たちは、いくつかの人気のある言語モデルでプローブをトレーニングします。
論文 参考訳（メタデータ） (2021-06-04T15:46:39Z) - Evaluating representations by the complexity of learning low-loss
predictors [55.94170724668857]
下流タスクの解決に使用されるデータの表現を評価することの問題点を考察する。
本稿では,関心のあるタスクにおける低損失を実現する表現の上に,予測器を学習する複雑性によって表現の質を測定することを提案する。
論文 参考訳（メタデータ） (2020-09-15T22:06:58Z) - Pre-training Is (Almost) All You Need: An Application to Commonsense
Reasoning [61.32992639292889]
事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。
そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。
提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
論文 参考訳（メタデータ） (2020-04-29T10:54:40Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。