論文の概要: Probing BERT's priors with serial reproduction chains

• arxiv url: http://arxiv.org/abs/2202.12226v1
• Date: Thu, 24 Feb 2022 17:42:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-25 17:00:51.881039
• Title: Probing BERT's priors with serial reproduction chains
• Title（参考訳）: シリアル再生鎖を用いたBERTの前駆体探索
• Authors: Takateru Yamakoshi, Robert D. Hawkins, Thomas L. Griffiths
• Abstract要約: 我々はシリアル再生チェーンを用いてBERTの先行を探索する。 接地構造継手分布の特異かつ一貫した推定器を得ることができる。 得られた先行分布から得られた文の語彙的・統語的統計値と,接地真実コーパス分布の語彙的・統語的統計値を比較する。
• 参考スコア（独自算出の注目度）: 8.250374560598493
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We can learn as much about language models from what they say as we learn from their performance on targeted benchmarks. Sampling is a promising bottom-up method for probing, but generating samples from successful models like BERT remains challenging. Taking inspiration from theories of iterated learning in cognitive science, we explore the use of serial reproduction chains to probe BERT's priors. Although the masked language modeling objective does not guarantee a consistent joint distribution, we observe that a unique and consistent estimator of the ground-truth joint distribution may be obtained by a GSN sampler, which randomly selects which word to mask and reconstruct on each step. We compare the lexical and syntactic statistics of sentences from the resulting prior distribution against those of the ground-truth corpus distribution and elicit a large empirical sample of naturalness judgments to investigate how, exactly, the model deviates from human speakers. Our findings suggest the need to move beyond top-down evaluation methods toward bottom-up probing to capture the full richness of what has been learned about language.
• Abstract（参考訳）: ターゲットとするベンチマークのパフォーマンスから学んだことから、言語モデルについて多くを学ぶことができます。 サンプリングは有望なボトムアップ手法であるが、bertのような成功したモデルからサンプルを生成することは依然として困難である。 認知科学における反復学習の理論からインスピレーションを得て,シリアル再生連鎖を用いて,BERTの先行を探索する。 マスキング言語モデリングの目的は, 一貫したジョイント分布を保証しないが, gsnサンプラーによって一意かつ一貫した接地分布推定器が得られ, 各ステップでどの単語をマスキングし, 再構築するかをランダムに選択する。 結果から得られた文の語彙的・統語的統計を,基礎構造コーパス分布のそれと比較し,自然性判断の大規模なサンプルを抽出し,そのモデルがどのように人間の話者から逸脱するかを正確に検討する。 以上の結果から,トップダウン評価手法を超えてボトムアップ探索を行い,言語について学んだことの完全な豊かさを捉える必要性が示唆された。

関連論文リスト

• Structured Voronoi Sampling [61.629198273926676]
  本稿では,勾配に基づく手法を用いた言語モデルから抽出する原理的アプローチの構築に向けて重要な一歩を踏み出す。 我々は勾配に基づく構造ヴォロノイサンプリング(Structured Voronoi Smpling, SVS)と呼ぶ。 制御された生成タスクでは、SVSは流動的で多様なサンプルを生成できるが、制御対象は他の方法よりもはるかに優れている。
  論文  参考訳（メタデータ） (2023-06-05T17:32:35Z)
• Uncertainty Estimation for Language Reward Models [5.33024001730262]
  言語モデルは、テキストコーパスの教師なしトレーニングからさまざまな能力を学ぶことができる。 人間がラベル付きデータを提供するよりも選択肢を選択する方が簡単であり、事前の作業はそのような選好比較から報酬モデルをトレーニングすることで最先端のパフォーマンスを達成した。 能動的学習とリスク-逆強化学習を用いてサンプル効率とロバスト性を向上させる不確実性推定によるこれらの問題に対処することを模索する。
  論文  参考訳（メタデータ） (2022-03-14T20:13:21Z)
• Self-Normalized Importance Sampling for Neural Language Modeling [97.96857871187052]
  本研究では, 自己正規化重要度サンプリングを提案し, これまでの研究と比較すると, 本研究で考慮された基準は自己正規化されており, さらに修正を行う必要はない。 提案する自己正規化重要度サンプリングは,研究指向と生産指向の両方の自動音声認識タスクにおいて競合することを示す。
  論文  参考訳（メタデータ） (2021-11-11T16:57:53Z)
• Empowering Language Understanding with Counterfactual Reasoning [141.48592718583245]
  本稿では,反現実的思考を模倣した反現実的推論モデルを提案する。 特に,各実例に対して代表的対実サンプルを生成する生成モジュールを考案し,その対実サンプルと実例サンプルを比較してモデル予測を振り返るレトロスペクティブモジュールを考案した。
  論文  参考訳（メタデータ） (2021-06-06T06:36:52Z)
• On Sampling-Based Training Criteria for Neural Language Modeling [97.35284042981675]
  我々はモンテカルロサンプリング、重要サンプリング、補償部分和と呼ばれる新しい方法、およびノイズコントラスト推定を検討する。 対象のクラス後部確率を補正しさえすれば,これらすべてのサンプリング手法が同等に動作可能であることを示す。 Switchboard と LibriSpeech における言語モデリングと音声認識の実験結果が,我々の主張を支持した。
  論文  参考訳（メタデータ） (2021-04-21T12:55:52Z)
• On the Sentence Embeddings from Pre-trained Language Models [78.45172445684126]
  本稿では,BERT埋め込みにおける意味情報が完全に活用されていないことを論じる。 BERTは常に文の非滑らかな異方性意味空間を誘導し,その意味的類似性を損なう。 本稿では,非教師対象で学習した正規化フローにより,異方性文の埋め込み分布を滑らかで等方性ガウス分布に変換することを提案する。
  論文  参考訳（メタデータ） (2020-11-02T13:14:57Z)
• On Robustness and Bias Analysis of BERT-based Relation Extraction [40.64969232497321]
  我々は,関係抽出を用いて異なる視点から細調整されたBERTモデルを解析する。 BERTは, ランダム化, 対角的, 対実的テスト, バイアスによって, 頑健性のボトルネックに悩まされている。
  論文  参考訳（メタデータ） (2020-09-14T05:24:28Z)
• Syntactic Structure Distillation Pretraining For Bidirectional Encoders [49.483357228441434]
  本稿では,BERTプレトレーニングに構文バイアスを注入するための知識蒸留手法を提案する。 我々は,構文的 LM から単語の周辺分布を抽出する。 本研究は,大量のデータを利用する表現学習者においても,構文バイアスの利点を示すものである。
  論文  参考訳（メタデータ） (2020-05-27T16:44:01Z)
• HypoNLI: Exploring the Artificial Patterns of Hypothesis-only Bias in Natural Language Inference [38.14399396661415]
  仮説のみのバイアスの観点から、逆例を導出する。 このような仮説のみのバイアスを軽減するために、人工パターンモデリングを利用する2つのデバイアス手法について検討する。
  論文  参考訳（メタデータ） (2020-03-05T16:46:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。