論文の概要: A computational psycholinguistic evaluation of the syntactic abilities
of Galician BERT models at the interface of dependency resolution and
training time
- arxiv url: http://arxiv.org/abs/2206.02440v1
- Date: Mon, 6 Jun 2022 09:03:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-07 16:30:13.114152
- Title: A computational psycholinguistic evaluation of the syntactic abilities
of Galician BERT models at the interface of dependency resolution and
training time
- Title（参考訳）: 差分分解能とトレーニング時間の界面におけるガリシアBERTモデルの統語能力の計算的心理言語学的評価
- Authors: Iria de-Dios-Flores, Marcos Garcia
- Abstract要約: 我々は,ルアーとして機能するアトラクタ名詞の存在とともに,係り受け長を操作できる単語予測実験を行った。
ガリシア語に対する既存の単言語モデルと多言語モデルの全体的な性能を評価する。
本研究は, 契約予測タスクを用いて, 長距離依存を解決するためにトランスフォーマーモデルが必要とするトレーニングステップの数について, 興味深い知見を提供する類似研究によって, 過去の知見を裏付けるものである。
- 参考スコア（独自算出の注目度）: 7.6146285961466
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This paper explores the ability of Transformer models to capture subject-verb
and noun-adjective agreement dependencies in Galician. We conduct a series of
word prediction experiments in which we manipulate dependency length together
with the presence of an attractor noun that acts as a lure. First, we evaluate
the overall performance of the existing monolingual and multilingual models for
Galician. Secondly, to observe the effects of the training process, we compare
the different degrees of achievement of two monolingual BERT models at
different training points. We also release their checkpoints and propose an
alternative evaluation metric. Our results confirm previous findings by similar
works that use the agreement prediction task and provide interesting insights
into the number of training steps required by a Transformer model to solve
long-distance dependencies.
- Abstract（参考訳）: 本稿では,ガリシア語における主語・動詞・名詞・形容詞の係り受けを取り込むトランスフォーマーモデルの能力について検討する。
我々は, ルアーとして作用するアトラクタ名詞の存在とともに, 係り受け長を操作する一連の単語予測実験を行う。
まず,ガリシア語の既存の単言語モデルと多言語モデルの全体的な性能を評価する。
次に,訓練過程の効果を観察するために,異なる訓練点における2つの単言語bertモデルの達成度を比較した。
また、チェックポイントをリリースし、代替評価基準を提案します。
本研究は, 合意予測タスクを用いて, 長距離依存を解決するためにトランスフォーマモデルが要求する訓練ステップ数に関する興味深い知見を提供する同様の研究により, これまでの知見を裏付けるものである。
関連論文リスト
- How Language Models Prioritize Contextual Grammatical Cues? [3.9790222241649587]
複数のジェンダーキュー語が存在する場合、言語モデルがジェンダー合意をどのように扱うかを検討する。
この結果から,エンコーダベースのモデルとデコーダベースのモデルでは,予測にコンテキスト情報を優先し,使用する方法に顕著な違いが認められた。
論文 参考訳（メタデータ） (2024-10-04T14:09:05Z) - Distilling Monolingual and Crosslingual Word-in-Context Representations [18.87665111304974]
本研究では,単言語と言語間の両方の設定において,事前学習した言語モデルから文脈における単語の意味表現を除去する手法を提案する。
本手法では,事前学習したモデルのコーパスやパラメータの更新は不要である。
本手法は,事前学習したモデルの異なる隠れ層の出力を自己注意を用いて組み合わせることから学習する。
論文 参考訳（メタデータ） (2024-09-13T11:10:16Z) - Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language
Modelling [70.23876429382969]
本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。
ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。
また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
論文 参考訳（メタデータ） (2023-07-16T15:18:25Z) - A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。
本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。
提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
論文 参考訳（メタデータ） (2022-04-11T18:31:53Z) - Interpreting Language Models Through Knowledge Graph Extraction [42.97929497661778]
BERTに基づく言語モデルを,学習過程の逐次的な段階において取得した知識のスナップショットを通じて比較する。
本稿では, クローズイン・ザ・ブランク文から知識グラフを抽出し, 知識獲得のタイムラインを提示する手法を提案する。
この分析を, BERTモデル(DistilBERT, BERT-base, RoBERTa)の事前学習変化の比較に拡張する。
論文 参考訳（メタデータ） (2021-11-16T15:18:01Z) - Consistency Regularization for Cross-Lingual Fine-Tuning [61.08704789561351]
整合性正規化による言語間微調整の改善を提案する。
具体的には、例の整合性正規化を用いて、予測感度を4種類のデータ拡張にペナルティ化する。
XTREMEベンチマークの実験結果から,本手法は様々なタスクにおける言語間微調整を大幅に改善することが示された。
論文 参考訳（メタデータ） (2021-06-15T15:35:44Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳（メタデータ） (2020-10-24T11:55:28Z) - Cross-lingual Spoken Language Understanding with Regularized
Representation Alignment [71.53159402053392]
外部リソースを使わずに言語間で単語レベルの表現と文レベルの表現を整列する正規化手法を提案する。
言語間言語理解タスクの実験により、我々のモデルは、数ショットとゼロショットの両方のシナリオにおいて、最先端の手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2020-09-30T08:56:53Z) - CNRL at SemEval-2020 Task 5: Modelling Causal Reasoning in Language with
Multi-Head Self-Attention Weights based Counterfactual Detection [0.15229257192293202]
我々は、事前学習されたトランスフォーマーモデルを用いて、テキストからコンテキスト埋め込みと自己注意重みを抽出する。
これらの自己注意重みからタスク固有の特徴を抽出するために畳み込み層を用いることを示す。
論文 参考訳（メタデータ） (2020-05-31T21:02:25Z) - Exploring Fine-tuning Techniques for Pre-trained Cross-lingual Models
via Continual Learning [74.25168207651376]
訓練済みの言語モデルから下流の言語間タスクへの微調整は、有望な結果を示している。
ダウンストリームタスクに微調整する場合、継続学習を活用して、事前学習したモデルの言語間能力を維持する。
提案手法は、ゼロショット言語間タグ付けや名前付きエンティティ認識タスクにおいて、他の微調整ベースラインよりも優れた性能を実現する。
論文 参考訳（メタデータ） (2020-04-29T14:07:18Z) - An Empirical Investigation of Pre-Trained Transformer Language Models
for Open-Domain Dialogue Generation [23.343006562849126]
本稿では,オープンドメイン対話生成作業のための事前学習型トランスフォーマーに基づく自動回帰言語モデルについて実験的に検討する。
事前訓練と微調整の訓練パラダイムは、学習を行うために使用される。
実験は、Weibo、Douban、Reddit、DailyDialog、Persona-Chatといった典型的なシングルターンとマルチターンの対話コーパスで行われる。
論文 参考訳（メタデータ） (2020-03-09T15:20:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。