論文の概要: Learning a Word-Level Language Model with Sentence-Level Noise
Contrastive Estimation for Contextual Sentence Probability Estimation
- arxiv url: http://arxiv.org/abs/2103.07875v1
- Date: Sun, 14 Mar 2021 09:17:37 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-17 06:23:03.801614
- Title: Learning a Word-Level Language Model with Sentence-Level Noise
Contrastive Estimation for Contextual Sentence Probability Estimation
- Title（参考訳）: 文脈的確率推定のための文レベルのノイズコントラスト推定による単語レベルの言語モデル学習
- Authors: Heewoong Park, Sukhyun Cho, Jonghun Park
- Abstract要約: 文や単語列の確率分布を推測することは自然言語処理の重要なプロセスである。
単語レベルの言語モデル(LM)は、単語列の共同確率を計算するために広く採用されているが、文確率推定(SPE)に十分長いコンテキストの取得が困難である。
最近の研究は、リカレントニューラルネットワーク(RNN)を用いた文レベルノイズコントラスト推定(NCE)を用いたトレーニング手法を導入している。
本手法を単純な単語レベルのRNN LMに適用し,ネットワークアーキテクチャではなく文レベルのNCEトレーニングの効果に着目した。
- 参考スコア（独自算出の注目度）: 3.1040192682787415
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Inferring the probability distribution of sentences or word sequences is a
key process in natural language processing. While word-level language models
(LMs) have been widely adopted for computing the joint probabilities of word
sequences, they have difficulty in capturing a context long enough for sentence
probability estimation (SPE). To overcome this, recent studies introduced
training methods using sentence-level noise-contrastive estimation (NCE) with
recurrent neural networks (RNNs). In this work, we attempt to extend it for
contextual SPE, which aims to estimate a conditional sentence probability given
a previous text. The proposed NCE samples negative sentences independently of a
previous text so that the trained model gives higher probabilities to the
sentences that are more consistent with \textcolor{blue}{the} context. We apply
our method to a simple word-level RNN LM to focus on the effect of the
sentence-level NCE training rather than on the network architecture. The
quality of estimation was evaluated against multiple-choice cloze-style
questions including both human and automatically generated questions. The
experimental results show that the proposed method improved the SPE quality for
the word-level RNN LM.
- Abstract（参考訳）: 文や単語列の確率分布を推測することは自然言語処理の重要なプロセスである。
単語系列の結合確率を計算するために単語レベル言語モデル(lms)が広く採用されているが、文確率推定(spe)に十分な長さの文脈を捉えるのが困難である。
これを解決するために、近年の研究では、リカレントニューラルネットワーク(RNN)を用いた文レベルノイズコントラスト推定(NCE)を用いたトレーニング手法を導入している。
本研究では,前文の条件文確率を推定することを目的とした文脈的SPEの拡張を試みる。
提案されたNCEは、前のテキストとは無関係にネガティブな文をサンプリングするため、訓練されたモデルは、より一貫性のある文により高い確率を与える。
本手法を単純な単語レベルのRNN LMに適用し,ネットワークアーキテクチャではなく文レベルのNCEトレーニングの効果に着目した。
推定の質は,人間と自動生成した質問を含む複数項目のクローゼ型質問に対して評価した。
実験結果は,提案手法が単語レベルRNN LMのSPE品質を改善することを示した。
関連論文リスト
- Pretraining Data Detection for Large Language Models: A Divergence-based Calibration Method [108.56493934296687]
本研究では,乱数から発散する概念に触発された偏差に基づくキャリブレーション手法を導入し,プリトレーニングデータ検出のためのトークン確率のキャリブレーションを行う。
我々は,中国語テキスト上でのLLMの検出手法の性能を評価するために,中国語のベンチマークであるPatentMIAを開発した。
論文 参考訳（メタデータ） (2024-09-23T07:55:35Z) - A Simple Contrastive Learning Objective for Alleviating Neural Text
Degeneration [56.64703901898937]
本稿では,クロスエントロピーと異種訓練の利点を継承する,新しい対照的なトークン学習目標を提案する。
言語モデリングとオープンドメイン対話生成タスクに関する総合的な実験は、提案したコントラストトークンの目的がより繰り返しの少ないテキストを生成することを示す。
論文 参考訳（メタデータ） (2022-05-05T08:50:50Z) - Detecting Textual Adversarial Examples Based on Distributional
Characteristics of Data Representations [11.93653349589025]
逆の例は、正しく分類された入力に小さな非ランダムな摂動を加えることで構成される。
自然言語タスクにおける敵対的攻撃へのアプローチは、文字レベル、単語レベル、フレーズレベルの摂動を用いて、過去5年間にブームとなった。
我々はこのギャップを埋めるために,NLPのための2つの新しいリアクティブ手法を提案する。
適応 LID と MDRE は、IMDB データセットに対する文字レベル、単語レベル、フレーズレベルの攻撃に対して、最先端の結果を得る。
論文 参考訳（メタデータ） (2022-04-29T02:32:02Z) - Evaluating Distributional Distortion in Neural Language Modeling [81.83408583979745]
稀な事象の重みは、言語における分布の総確率質量のかなりの量を占める。
パープレキシティなどの標準言語モデリングメトリクスは、集約された言語モデル(LM)のパフォーマンスを定量化する。
自然言語を人工言語として訓練した生成モデルを用いた制御評価手法を開発した。
論文 参考訳（メタデータ） (2022-03-24T01:09:46Z) - Probing BERT's priors with serial reproduction chains [8.250374560598493]
我々はシリアル再生チェーンを用いてBERTの先行を探索する。
接地構造継手分布の特異かつ一貫した推定器を得ることができる。
得られた先行分布から得られた文の語彙的・統語的統計値と,接地真実コーパス分布の語彙的・統語的統計値を比較する。
論文 参考訳（メタデータ） (2022-02-24T17:42:28Z) - Self-Normalized Importance Sampling for Neural Language Modeling [97.96857871187052]
本研究では, 自己正規化重要度サンプリングを提案し, これまでの研究と比較すると, 本研究で考慮された基準は自己正規化されており, さらに修正を行う必要はない。
提案する自己正規化重要度サンプリングは,研究指向と生産指向の両方の自動音声認識タスクにおいて競合することを示す。
論文 参考訳（メタデータ） (2021-11-11T16:57:53Z) - A New Sentence Ordering Method Using BERT Pretrained Model [2.1793134762413433]
本稿では,訓練段階を必要とせず,学習のための大きなコーパスを必要とする文順序付け手法を提案する。
提案手法は,5文ストーリーのコーパスであるROCStoriesの他のベースラインよりも優れていた。
この方法の他の利点の1つは、言語知識に対する解釈可能性と不要性である。
論文 参考訳（メタデータ） (2021-08-26T18:47:15Z) - $k$-Neighbor Based Curriculum Sampling for Sequence Prediction [22.631763991832862]
言語モデルにおける多段階予測は、トレーニングとテスト時間プロセスの相違により困難である。
教師方針を段階的に変更するカリキュラム学習に基づく手法であるtextitNearest-Neighbor Replacement Samplingを提案する。
本研究では, 2つの言語モデリングベンチマークについて報告し, スケジュールされたサンプリングと併用することで, 性能をさらに向上させる方法を提案する。
論文 参考訳（メタデータ） (2021-01-22T20:07:29Z) - Narrative Incoherence Detection [76.43894977558811]
本稿では,文間セマンティック理解のための新たなアリーナとして,物語不整合検出の課題を提案する。
複数文の物語を考えると、物語の流れに意味的な矛盾があるかどうかを決定します。
論文 参考訳（メタデータ） (2020-12-21T07:18:08Z) - An Investigation of Language Model Interpretability via Sentence Editing [5.492504126672887]
我々は、事前学習言語モデル(PLM)の解釈可能性をテストするテストベッドとして、文編集データセットを再使用した。
これにより、PLMの解釈可能性に関する一連の質問に対して、系統的な調査を行うことができる。
この調査は、例えば、一般的な理解とは対照的に、注意重みが人間の合理性とよく相関しているという新たな洞察を生み出す。
論文 参考訳（メタデータ） (2020-11-28T00:46:43Z) - Toward Better Storylines with Sentence-Level Language Models [54.91921545103256]
本稿では,文章中の次の文を選択する文レベル言語モデルを提案する。
教師なしストーリークローゼタスクにおける最先端の精度によるアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2020-05-11T16:54:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。