論文の概要: Probing the Probing Paradigm: Does Probing Accuracy Entail Task Relevance?

• arxiv url: http://arxiv.org/abs/2005.00719v3
• Date: Sun, 7 Mar 2021 18:38:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 12:25:01.252687
• Title: Probing the Probing Paradigm: Does Probing Accuracy Entail Task Relevance?
• Title（参考訳）: Probing Paradigm: Probingの正確性にはタスク関連性があるか?
• Authors: Abhilasha Ravichander, Yonatan Belinkov, Eduard Hovy
• Abstract要約: モデルが訓練されたタスクに必要のないモデルでも,言語特性の符号化を学習できることが示される。 ランダムノイズとしてデータに分散しても,これらの特性を確率レベルよりかなり上まで符号化できることを示す。
• 参考スコア（独自算出の注目度）: 27.64235687067883
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although neural models have achieved impressive results on several NLP benchmarks, little is understood about the mechanisms they use to perform language tasks. Thus, much recent attention has been devoted to analyzing the sentence representations learned by neural encoders, through the lens of `probing' tasks. However, to what extent was the information encoded in sentence representations, as discovered through a probe, actually used by the model to perform its task? In this work, we examine this probing paradigm through a case study in Natural Language Inference, showing that models can learn to encode linguistic properties even if they are not needed for the task on which the model was trained. We further identify that pretrained word embeddings play a considerable role in encoding these properties rather than the training task itself, highlighting the importance of careful controls when designing probing experiments. Finally, through a set of controlled synthetic tasks, we demonstrate models can encode these properties considerably above chance-level even when distributed in the data as random noise, calling into question the interpretation of absolute claims on probing tasks.
• Abstract（参考訳）: ニューラルモデルはいくつかのNLPベンチマークで印象的な結果を得たが、言語タスクの実行に使用するメカニズムについてはほとんど理解されていない。 このように、近年の注目は、ニューラルエンコーダが'プローブ'タスクのレンズを通して学んだ文表現の分析に向けられている。 しかし、プローブによって発見された文表現にエンコードされた情報は、実際にモデルがタスクを実行するために実際にどの程度使われたのか? 本研究では,自然言語推論のケーススタディを通じて,モデルが訓練されたタスクに必要とされない場合でも,モデルが言語特性をエンコードすることを学ぶことができることを示す。 さらに,事前学習された単語埋め込みが,学習タスク自体よりもこれらの特性をエンコーディングする上で重要な役割を担っていることも確認し,探索実験の設計における注意深い制御の重要性を強調した。 最後に、制御された合成タスクのセットを通じて、ランダムノイズとしてデータに分散しても、モデルがこれらの特性をかなり高い確率レベルに符号化できることを示し、探索タスクにおける絶対的なクレームの解釈を疑問視する。

関連論文リスト

• Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
  言語モデルの性能の効果的な指標としての可能性を示す。 提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-11-12T13:14:09Z)
• Topic Aware Probing: From Sentence Length Prediction to Idiom Identification how reliant are Neural Language Models on Topic? [1.816169926868157]
  本研究では,トランスフォーマーベースモデル (BERT と RoBERTa の) の性能が,英語における探索課題に与える影響について検討する。 その結果,トランスフォーマーを用いたモデルでは,中間層におけるトピック情報と非トピック情報をエンコードしていることがわかった。 他の標準探索タスクにおけるこれらのモデルの性能分析は、トピック情報に比較的敏感なタスクもまた、これらのモデルにとって比較的難しいタスクであることを示している。
  論文  参考訳（メタデータ） (2024-03-04T13:10:08Z)
• An Exploration of Prompt Tuning on Generative Spoken Language Model for Speech Processing Tasks [112.1942546460814]
  生成音声言語モデル(GSLM)に基づく音声処理タスクの即時チューニングパラダイムの最初の検討について報告する。 実験結果から, 学習可能なパラメータが少ない音声分類タスクにおいて, 高精度なダウンストリームモデルよりも, 即時チューニング手法が競合性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2022-03-31T03:26:55Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• AStitchInLanguageModels: Dataset and Methods for the Exploration of Idiomaticity in Pre-Trained Language Models [7.386862225828819]
  本研究は、MWEを含む自然発生文のデータセットを、細かな意味の集合に手作業で分類する。 我々は,このデータセットを,idiomを含む文の表現生成における言語モデルの有効性と,idiomを用いた言語モデルの有効性を検証するために,2つのタスクで使用する。
  論文  参考訳（メタデータ） (2021-09-09T16:53:17Z)
• Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
  マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。 本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。 以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
  論文  参考訳（メタデータ） (2021-04-14T06:30:36Z)
• An Investigation of Language Model Interpretability via Sentence Editing [5.492504126672887]
  我々は、事前学習言語モデル(PLM)の解釈可能性をテストするテストベッドとして、文編集データセットを再使用した。 これにより、PLMの解釈可能性に関する一連の質問に対して、系統的な調査を行うことができる。 この調査は、例えば、一般的な理解とは対照的に、注意重みが人間の合理性とよく相関しているという新たな洞察を生み出す。
  論文  参考訳（メタデータ） (2020-11-28T00:46:43Z)
• Information-Theoretic Probing for Linguistic Structure [74.04862204427944]
  本稿では,相互情報を推定するための情報理論による探索運用手法を提案する。 我々は,NLP研究でしばしば不足している10の型的多様言語について評価した。
  論文  参考訳（メタデータ） (2020-04-07T01:06:36Z)
• Parameter Space Factorization for Zero-Shot Learning across Tasks and Languages [112.65994041398481]
  本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。 タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。 我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
  論文  参考訳（メタデータ） (2020-01-30T16:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。