Fugu-MT 論文翻訳(概要): Probing the Category of Verbal Aspect in Transformer Language Models

論文の概要: Probing the Category of Verbal Aspect in Transformer Language Models

arxiv url: http://arxiv.org/abs/2406.02335v1
Date: Tue, 4 Jun 2024 14:06:03 GMT
ステータス: 処理完了
システム内更新日: 2024-06-05 16:00:43.796766
Title: Probing the Category of Verbal Aspect in Transformer Language Models
Title（参考訳）: 変圧器言語モデルにおける動詞アスペクトのカテゴリーの探索
Authors: Anisia Katinskaia, Roman Yangarber,
Abstract要約: 事前訓練された言語モデルがロシア語のアスペクトの文法的カテゴリーをどう符号化するかを検討する。代替および非代替的な文脈でBERTとRoBERTaを用いて探索を行う。実験ではBERTとRoBERTaがアスペクトをエンコードしている。
参考スコア（独自算出の注目度）: 0.4757470449749875
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: We investigate how pretrained language models (PLM) encode the grammatical category of verbal aspect in Russian. Encoding of aspect in transformer LMs has not been studied previously in any language. A particular challenge is posed by "alternative contexts": where either the perfective or the imperfective aspect is suitable grammatically and semantically. We perform probing using BERT and RoBERTa on alternative and non-alternative contexts. First, we assess the models' performance on aspect prediction, via behavioral probing. Next, we examine the models' performance when their contextual representations are substituted with counterfactual representations, via causal probing. These counterfactuals alter the value of the "boundedness" feature--a semantic feature, which characterizes the action in the context. Experiments show that BERT and RoBERTa do encode aspect--mostly in their final layers. The counterfactual interventions affect perfective and imperfective in opposite ways, which is consistent with grammar: perfective is positively affected by adding the meaning of boundedness, and vice versa. The practical implications of our probing results are that fine-tuning only the last layers of BERT on predicting aspect is faster and more effective than fine-tuning the whole model. The model has high predictive uncertainty about aspect in alternative contexts, which tend to lack explicit hints about the boundedness of the described action.
Abstract（参考訳）: 言語モデル(PLM)がロシア語の言語的側面の文法的カテゴリをどのように符号化するかを検討する。トランス LM におけるアスペクトの符号化は、これまでどんな言語でも研究されていない。特定の課題は「代替的な文脈」によって引き起こされる: 完全性または不完全な側面が文法的に、意味的に適している。代替および非代替的な文脈でBERTとRoBERTaを用いて探索を行う。まず、行動探索を用いて、アスペクト予測に基づくモデルの性能を評価する。次に、因果探索を通して、文脈表現を反事実表現に置き換えた際のモデルの性能について検討する。これらのカウンターファクトは、コンテキスト内のアクションを特徴付けるセマンティックな特徴である「バウンドネス」機能の価値を変更します。実験では、BERTとRoBERTaがアスペクトをエンコードしていることが示されています。反事実的介入は、反対の方法で完璧で不完全であり、文法と一致する:完全性は有界性の意味を加えることによって肯定的に影響され、その逆も影響する。その結果,BERTの最終層のみをモデル全体の微調整よりも高速かつ効果的に微調整できることが示唆された。このモデルは、他の文脈におけるアスペクトに関する高い予測的不確実性を持ち、記述されたアクションの有界性に関する明確なヒントを欠く傾向がある。

関連論文リスト

Panoptic Scene Graph Generation with Semantics-Prototype Learning [23.759498629378772]
Panoptic Scene Graph Generation (PSG)は、オブジェクトを解析し、それらの関係(述語)を予測し、人間の言語と視覚シーンを結びつける。アノテーションの言語選好と述語間の意味的な重複は、偏りのある述語アノテーションにつながる。そこで我々はADTransという新しいフレームワークを提案し、バイアス付き述語アノテーションを情報化と統一化に適応的に転送する。
論文参考訳（メタデータ） (2023-07-28T14:04:06Z)
Towards preserving word order importance through Forced Invalidation [80.33036864442182]
事前学習された言語モデルは単語の順序に敏感であることを示す。我々は,単語順序の重要性を維持するために強制的無効化を提案する。実験の結果,強制的無効化は単語順に対するモデルの感度を著しく向上させることがわかった。
論文参考訳（メタデータ） (2023-04-11T13:42:10Z)
Towards Fine-Grained Information: Identifying the Type and Location of Translation Errors [80.22825549235556]
既存のアプローチでは、エラーの位置と型を同期的に考慮することはできない。我々はtextbf の追加と textbfomission エラーを予測するために FG-TED モデルを構築した。実験により,本モデルではエラータイプと位置の同時同定が可能であり,最先端の結果が得られた。
論文参考訳（メタデータ） (2023-02-17T16:20:33Z)
Naturalistic Causal Probing for Morpho-Syntax [76.83735391276547]
スペインにおける実世界のデータに対する入力レベルの介入に対する自然主義的戦略を提案する。提案手法を用いて,共同設立者から文章中の形態・症状の特徴を抽出する。本研究では,事前学習したモデルから抽出した文脈化表現に対する性別と数字の因果効果を解析するために,本手法を適用した。
論文参考訳（メタデータ） (2022-05-14T11:47:58Z)
Unnatural Language Inference [48.45003475966808]
我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
論文参考訳（メタデータ） (2020-12-30T20:40:48Z)
On the Sentence Embeddings from Pre-trained Language Models [78.45172445684126]
本稿では,BERT埋め込みにおける意味情報が完全に活用されていないことを論じる。 BERTは常に文の非滑らかな異方性意味空間を誘導し,その意味的類似性を損なう。本稿では,非教師対象で学習した正規化フローにより,異方性文の埋め込み分布を滑らかで等方性ガウス分布に変換することを提案する。
論文参考訳（メタデータ） (2020-11-02T13:14:57Z)
On the Interplay Between Fine-tuning and Sentence-level Probing for Linguistic Knowledge in Pre-trained Transformers [24.858283637038422]
本稿では,BERT,RoBERTa,ALBERTの3種類の事前学習モデルについて検討する。探究タスクの微調整によって精度が大幅に変化することを発見した。ファインチューニングは、実際に事前訓練されたモデルの表現を変えるが、ごく少数のケースでのみ、ファインチューニングは探索精度に肯定的な影響を及ぼす。
論文参考訳（メタデータ） (2020-10-06T10:54:00Z)
On the Robustness of Language Encoders against Grammatical Errors [66.05648604987479]
我々は、非ネイティブ話者から実際の文法的誤りを収集し、これらの誤りをクリーンテキストデータ上でシミュレートするために敵攻撃を行う。結果,全ての試験モデルの性能は影響するが,影響の程度は異なることがわかった。
論文参考訳（メタデータ） (2020-05-12T11:01:44Z)
What Happens To BERT Embeddings During Fine-tuning? [19.016185902256826]
細調整がBERTモデルの表現に与える影響について検討する。微調整は主にBERTの上位層に影響を与えるが、タスク間で注目すべきバリエーションがある。特に、依存関係解析はモデルのほとんどを再構成するが、SQuADとMNLIはより浅い処理を伴っているように見える。
論文参考訳（メタデータ） (2020-04-29T19:46:26Z)
Adv-BERT: BERT is not robust on misspellings! Generating nature adversarial samples on BERT [95.88293021131035]
しかし、悪意のある敵のインスタンスがしばしば存在するのではなく、テクトナチュラルなシナリオでモデルがどのように機能するかは定かではない。この研究は、NLPにおける最先端のTransformerスタイルモデルであるBERTの、ノイズの多いデータを扱うための頑健さを体系的に探求する。
論文参考訳（メタデータ） (2020-02-27T22:07:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。