論文の概要: A computational psycholinguistic evaluation of the syntactic abilities
of Galician BERT models at the interface of dependency resolution and
training time
- arxiv url: http://arxiv.org/abs/2206.02440v1
- Date: Mon, 6 Jun 2022 09:03:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-07 16:30:13.114152
- Title: A computational psycholinguistic evaluation of the syntactic abilities
of Galician BERT models at the interface of dependency resolution and
training time
- Title(参考訳): 差分分解能とトレーニング時間の界面におけるガリシアBERTモデルの統語能力の計算的心理言語学的評価
- Authors: Iria de-Dios-Flores, Marcos Garcia
- Abstract要約: 我々は,ルアーとして機能するアトラクタ名詞の存在とともに,係り受け長を操作できる単語予測実験を行った。
ガリシア語に対する既存の単言語モデルと多言語モデルの全体的な性能を評価する。
本研究は, 契約予測タスクを用いて, 長距離依存を解決するためにトランスフォーマーモデルが必要とするトレーニングステップの数について, 興味深い知見を提供する類似研究によって, 過去の知見を裏付けるものである。
- 参考スコア(独自算出の注目度): 7.6146285961466
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This paper explores the ability of Transformer models to capture subject-verb
and noun-adjective agreement dependencies in Galician. We conduct a series of
word prediction experiments in which we manipulate dependency length together
with the presence of an attractor noun that acts as a lure. First, we evaluate
the overall performance of the existing monolingual and multilingual models for
Galician. Secondly, to observe the effects of the training process, we compare
the different degrees of achievement of two monolingual BERT models at
different training points. We also release their checkpoints and propose an
alternative evaluation metric. Our results confirm previous findings by similar
works that use the agreement prediction task and provide interesting insights
into the number of training steps required by a Transformer model to solve
long-distance dependencies.
- Abstract(参考訳): 本稿では,ガリシア語における主語・動詞・名詞・形容詞の係り受けを取り込むトランスフォーマーモデルの能力について検討する。
我々は, ルアーとして作用するアトラクタ名詞の存在とともに, 係り受け長を操作する一連の単語予測実験を行う。
まず,ガリシア語の既存の単言語モデルと多言語モデルの全体的な性能を評価する。
次に,訓練過程の効果を観察するために,異なる訓練点における2つの単言語bertモデルの達成度を比較した。
また、チェックポイントをリリースし、代替評価基準を提案します。
本研究は, 合意予測タスクを用いて, 長距離依存を解決するためにトランスフォーマモデルが要求する訓練ステップ数に関する興味深い知見を提供する同様の研究により, これまでの知見を裏付けるものである。
関連論文リスト
- Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language
Modelling [70.23876429382969]
本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。
ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。
また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
論文 参考訳(メタデータ) (2023-07-16T15:18:25Z) - Boosting Cross-lingual Transferability in Multilingual Models via
In-Context Learning [1.2234742322758418]
本稿では,新たな言語間移動促進手法であるIn-CLTを提案する。
我々は,質問応答タスクに着目し,多言語ベンチマークの評価を行う。
実験結果から,In-CLTは多言語モデルの言語間移動性を向上するだけでなく,目立たない言語一般化能力も示している。
論文 参考訳(メタデータ) (2023-05-24T15:14:49Z) - A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。
本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。
提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
論文 参考訳(メタデータ) (2022-04-11T18:31:53Z) - Interpreting Language Models Through Knowledge Graph Extraction [42.97929497661778]
BERTに基づく言語モデルを,学習過程の逐次的な段階において取得した知識のスナップショットを通じて比較する。
本稿では, クローズイン・ザ・ブランク文から知識グラフを抽出し, 知識獲得のタイムラインを提示する手法を提案する。
この分析を, BERTモデル(DistilBERT, BERT-base, RoBERTa)の事前学習変化の比較に拡張する。
論文 参考訳(メタデータ) (2021-11-16T15:18:01Z) - Consistency Regularization for Cross-Lingual Fine-Tuning [61.08704789561351]
整合性正規化による言語間微調整の改善を提案する。
具体的には、例の整合性正規化を用いて、予測感度を4種類のデータ拡張にペナルティ化する。
XTREMEベンチマークの実験結果から,本手法は様々なタスクにおける言語間微調整を大幅に改善することが示された。
論文 参考訳(メタデータ) (2021-06-15T15:35:44Z) - Verdi: Quality Estimation and Error Detection for Bilingual [23.485380293716272]
Verdiはバイリンガルコーパスのための単語レベルおよび文レベルの後編集作業推定のための新しいフレームワークである。
バイリンガルコーパスの対称性を活用し,NMT予測器にモデルレベル二重学習を適用した。
我々の手法は競争の勝者を圧倒し、他の基準法よりも大きなマージンで上回る。
論文 参考訳(メタデータ) (2021-05-31T11:04:13Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳(メタデータ) (2020-10-24T11:55:28Z) - Cross-lingual Spoken Language Understanding with Regularized
Representation Alignment [71.53159402053392]
外部リソースを使わずに言語間で単語レベルの表現と文レベルの表現を整列する正規化手法を提案する。
言語間言語理解タスクの実験により、我々のモデルは、数ショットとゼロショットの両方のシナリオにおいて、最先端の手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2020-09-30T08:56:53Z) - CNRL at SemEval-2020 Task 5: Modelling Causal Reasoning in Language with
Multi-Head Self-Attention Weights based Counterfactual Detection [0.15229257192293202]
我々は、事前学習されたトランスフォーマーモデルを用いて、テキストからコンテキスト埋め込みと自己注意重みを抽出する。
これらの自己注意重みからタスク固有の特徴を抽出するために畳み込み層を用いることを示す。
論文 参考訳(メタデータ) (2020-05-31T21:02:25Z) - Exploring Fine-tuning Techniques for Pre-trained Cross-lingual Models
via Continual Learning [74.25168207651376]
訓練済みの言語モデルから下流の言語間タスクへの微調整は、有望な結果を示している。
ダウンストリームタスクに微調整する場合、継続学習を活用して、事前学習したモデルの言語間能力を維持する。
提案手法は、ゼロショット言語間タグ付けや名前付きエンティティ認識タスクにおいて、他の微調整ベースラインよりも優れた性能を実現する。
論文 参考訳(メタデータ) (2020-04-29T14:07:18Z) - An Empirical Investigation of Pre-Trained Transformer Language Models
for Open-Domain Dialogue Generation [23.343006562849126]
本稿では,オープンドメイン対話生成作業のための事前学習型トランスフォーマーに基づく自動回帰言語モデルについて実験的に検討する。
事前訓練と微調整の訓練パラダイムは、学習を行うために使用される。
実験は、Weibo、Douban、Reddit、DailyDialog、Persona-Chatといった典型的なシングルターンとマルチターンの対話コーパスで行われる。
論文 参考訳(メタデータ) (2020-03-09T15:20:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。