Fugu-MT 論文翻訳(概要): Focused Contrastive Training for Test-based Constituency Analysis

論文の概要: Focused Contrastive Training for Test-based Constituency Analysis

arxiv url: http://arxiv.org/abs/2109.15159v1
Date: Thu, 30 Sep 2021 14:22:15 GMT
ステータス: 処理完了
システム内更新日: 2021-10-01 15:10:19.477628
Title: Focused Contrastive Training for Test-based Constituency Analysis
Title（参考訳）: テストベース構成分析のためのコントラスト訓練
Authors: Benjamin Roth, Erion \c{C}ano
Abstract要約: 本稿では,言語実験に基づく選挙区分析のための文法モデルの自己学習手法を提案する。事前学習された言語モデルは、コーパスから文法文を対照的に推定し、構文テストによって摂動された非文法文を微調整する。
参考スコア（独自算出の注目度）: 7.312581661832785
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose a scheme for self-training of grammaticality models for constituency analysis based on linguistic tests. A pre-trained language model is fine-tuned by contrastive estimation of grammatical sentences from a corpus, and ungrammatical sentences that were perturbed by a syntactic test, a transformation that is motivated by constituency theory. We show that consistent gains can be achieved if only certain positive instances are chosen for training, depending on whether they could be the result of a test transformation. This way, the positives, and negatives exhibit similar characteristics, which makes the objective more challenging for the language model, and also allows for additional markup that indicates the position of the test application within the sentence.
Abstract（参考訳）: 言語検査に基づく構成分析のための文法モデルの自己学習手法を提案する。事前学習された言語モデルは、コーパスから文法文を対比的に推定し、構文テストによって乱される非文法文によって微調整される。テスト変換の結果になるかどうかによって、トレーニングにポジティブなインスタンスだけを選んだ場合、一貫性のあるゲインが達成できることを示した。このようにして、正と負は同じ特性を示し、これは言語モデルにとって目標をより困難にし、また文内のテストアプリケーションの位置を示す追加のマークアップを可能にする。

関連論文リスト

Distilling Monolingual and Crosslingual Word-in-Context Representations [18.87665111304974]
本研究では,単言語と言語間の両方の設定において,事前学習した言語モデルから文脈における単語の意味表現を除去する手法を提案する。本手法では,事前学習したモデルのコーパスやパラメータの更新は不要である。本手法は,事前学習したモデルの異なる隠れ層の出力を自己注意を用いて組み合わせることから学習する。
論文参考訳（メタデータ） (2024-09-13T11:10:16Z)
Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language Modelling [70.23876429382969]
本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
論文参考訳（メタデータ） (2023-07-16T15:18:25Z)
ChatGPT as a Text Simplification Tool to Remove Bias [0.0]
特定のサブグループに特有の言語信号の存在は、訓練中に言語モデルによって拾うことができる。テキストの簡易化という形でバイアス緩和の可能性を探る。
論文参考訳（メタデータ） (2023-05-09T13:10:23Z)
Not another Negation Benchmark: The NaN-NLI Test Suite for Sub-clausal Negation [59.307534363825816]
否定は現在の言語モデルでは不十分だが、この問題の範囲は広く理解されていない。自然言語推論(NLI)テストスイートを導入し,NLP手法の能力を検証した。
論文参考訳（メタデータ） (2022-10-06T23:39:01Z)
Discontinuous Constituency and BERT: A Case Study of Dutch [0.20305676256390934]
オランダ語で起きているような,非文脈自由パターンの評価体系におけるBERTの統語能力の定量化を行う。我々は、文脈に敏感な形式主義に基づくテストスイートを考案し、そこから、制御動詞のネストと動詞の上昇の言語的現象を捉えた文法を導出する。分析結果から,調査対象の依存関係の暗黙的取得に失敗する可能性が示唆された。
論文参考訳（メタデータ） (2022-03-02T12:30:21Z)
Self-Normalized Importance Sampling for Neural Language Modeling [97.96857871187052]
本研究では, 自己正規化重要度サンプリングを提案し, これまでの研究と比較すると, 本研究で考慮された基準は自己正規化されており, さらに修正を行う必要はない。提案する自己正規化重要度サンプリングは,研究指向と生産指向の両方の自動音声認識タスクにおいて競合することを示す。
論文参考訳（メタデータ） (2021-11-11T16:57:53Z)
Empowering Language Understanding with Counterfactual Reasoning [141.48592718583245]
本稿では,反現実的思考を模倣した反現実的推論モデルを提案する。特に,各実例に対して代表的対実サンプルを生成する生成モジュールを考案し,その対実サンプルと実例サンプルを比較してモデル予測を振り返るレトロスペクティブモジュールを考案した。
論文参考訳（メタデータ） (2021-06-06T06:36:52Z)
Refining Targeted Syntactic Evaluation of Language Models [6.991281327290524]
英語における主語数合意の目標構文評価(TSE) 言語モデルが各文法文を非文法文よりも高い確率で評価するかどうかを評価する。 TSEは、言語モデルの体系性を過大評価しているが、モデルが予測する動詞のスコアが40%向上することは、文脈において起こりそうだ。
論文参考訳（メタデータ） (2021-04-19T20:55:13Z)
Unsupervised Parsing via Constituency Tests [49.42244463346612]
本稿では,選挙区検定の言語的概念に基づく教師なし解析手法を提案する。文を与えられた木を生成するために,各木をその選挙区試験判定値の集計によりスコアし,最大スコアの2進木を選択する。洗練されたモデルはPenn Treebankテストセット上で62.8 F1を達成する。
論文参考訳（メタデータ） (2020-10-07T04:05:01Z)
Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。言語モデルのための完全合成出力埋め込み層を提案する。我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
論文参考訳（メタデータ） (2020-09-24T07:21:14Z)
Recurrent Neural Network Language Models Always Learn English-Like Relative Clause Attachment [17.995905582226463]
英語とスペイン語のモデル性能を比較し,RNN LMにおける非言語的バイアスが英語の構文構造と有利に重なることを示す。英語モデルは人間に似た構文的嗜好を習得しているように見えるが、スペイン語で訓練されたモデルは、同等の人間的な嗜好を取得できない。
論文参考訳（メタデータ） (2020-05-01T01:21:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。