論文の概要: Probing as Quantifying the Inductive Bias of Pre-trained Representations

• arxiv url: http://arxiv.org/abs/2110.08388v1
• Date: Fri, 15 Oct 2021 22:01:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-21 22:31:18.291956
• Title: Probing as Quantifying the Inductive Bias of Pre-trained Representations
• Title（参考訳）: 事前学習表現の帰納バイアスの定量化
• Authors: Alexander Immer, Lucas Torroba Hennigen, Vincent Fortuin, Ryan Cotterell
• Abstract要約: 本稿では,特定のタスクに対する表現の帰納的バイアスを評価することを目的とした,探索のための新しいフレームワークを提案する。 トークン、アーク、文レベルの一連のタスクに我々のフレームワークを適用します。
• 参考スコア（独自算出の注目度）: 99.93552997506438
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained contextual representations have led to dramatic performance improvements on a range of downstream tasks. This has motivated researchers to quantify and understand the linguistic information encoded in them. In general, this is done by probing, which consists of training a supervised model to predict a linguistic property from said representations. Unfortunately, this definition of probing has been subject to extensive criticism, and can lead to paradoxical or counter-intuitive results. In this work, we present a novel framework for probing where the goal is to evaluate the inductive bias of representations for a particular task, and provide a practical avenue to do this using Bayesian inference. We apply our framework to a series of token-, arc-, and sentence-level tasks. Our results suggest that our framework solves problems of previous approaches and that fastText can offer a better inductive bias than BERT in certain situations.
• Abstract（参考訳）: 事前訓練されたコンテキスト表現は、下流タスクで劇的なパフォーマンス改善をもたらした。 これは研究者に、それらのエンコードされた言語情報を定量化し、理解させる動機となった。 一般には、このような表現から言語特性を予測するために教師付きモデルを訓練する探索によって行われる。 残念ながら、この探索の定義は広範な批判を受けており、パラドックス的あるいは反直観的な結果をもたらす可能性がある。 本研究では,特定のタスクに対する表現の帰納的バイアスを評価することを目的として,ベイズ的推論を用いてこれを行うための実践的な方法を提案する。 トークン、アーク、文レベルの一連のタスクに我々のフレームワークを適用します。 我々のフレームワークは,従来のアプローチの問題を解消し,ある状況下では,fastTextの方がBERTよりも優れた帰納バイアスを提供できることを示唆している。

関連論文リスト

• Manual Verbalizer Enrichment for Few-Shot Text Classification [1.860409237919611]
  acrshortmaveは、クラスラベルの豊か化による動詞化のためのアプローチである。 本モデルでは, 資源を著しく減らしながら, 最先端の成果が得られている。
  論文  参考訳（メタデータ） (2024-10-08T16:16:47Z)
• How Interpretable are Reasoning Explanations from Prompting Large Language Models? [34.4659592398593]
  本稿では,多面的解釈可能性の評価を包括的かつ多面的に行い,信頼度だけでなく,コモンセンス推論ベンチマークにおける堅牢性や有用性についても検討する。 さらに,複数次元の解釈可能性に70%以上の改善をもたらす自己包括的アライメント・アライメント・オブ・シント(Self-Entailment-Alignment Chain-of-Thought)と呼ばれる,単純な解釈可能性アライメント手法を導入する。
  論文  参考訳（メタデータ） (2024-02-19T06:11:28Z)
• Reasoning or Reciting? Exploring the Capabilities and Limitations of Language Models Through Counterfactual Tasks [71.19560970717495]
  最近の言語モデルは、幅広いタスクで印象的なパフォーマンスを示している。 これらのスキルは一般的で、移行可能か、あるいは事前トレーニング中に見られる特定のタスクに特化していますか? 本稿では,標準タスクの既定前提から逸脱する「数値的」タスク変種に基づく評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-05T17:50:42Z)
• Counterfactuals of Counterfactuals: a back-translation-inspired approach to analyse counterfactual editors [3.4253416336476246]
  我々は、反事実的、対照的な説明の分析に焦点をあてる。 本稿では,新しい逆翻訳に基づく評価手法を提案する。 本研究では, 予測モデルと説明モデルの両方の振る舞いについて, 反事実を反復的に説明者に与えることで, 価値ある洞察を得ることができることを示す。
  論文  参考訳（メタデータ） (2023-05-26T16:04:28Z)
• Inverse Dynamics Pretraining Learns Good Representations for Multitask Imitation [66.86987509942607]
  このようなパラダイムを模倣学習でどのように行うべきかを評価する。 本稿では,事前学習コーパスがマルチタスクのデモンストレーションから成り立つ環境について考察する。 逆動力学モデリングはこの設定に適していると主張する。
  論文  参考訳（メタデータ） (2023-05-26T14:40:46Z)
• Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
  インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。 ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。 そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
  論文  参考訳（メタデータ） (2023-03-23T12:28:25Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• Avoiding Inference Heuristics in Few-shot Prompt-based Finetuning [57.4036085386653]
  文ペア分類タスクのプロンプトベースモデルでは,語彙重なりに基づく推論の一般的な落とし穴が依然として残っていることを示す。 そこで,プレトレーニングウェイトを保存する正規化を加えることは,この破壊的な微調整の傾向を緩和するのに有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-09T10:10:29Z)
• Improved Speech Representations with Multi-Target Autoregressive Predictive Coding [23.424410568555547]
  我々は、将来のフレームを正確に予測できる隠された状態が、多くの下流タスクに有用な表現である、という仮説を拡張した。 本稿では、将来のフレーム予測タスクの一般化を改善するための正規化として機能する補助的目的を提案する。
  論文  参考訳（メタデータ） (2020-04-11T01:09:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。