論文の概要: Evaluating the Effectiveness of Linguistic Knowledge in Pretrained Language Models: A Case Study of Universal Dependencies

• arxiv url: http://arxiv.org/abs/2506.04887v1
• Date: Thu, 05 Jun 2025 11:10:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.672267
• Title: Evaluating the Effectiveness of Linguistic Knowledge in Pretrained Language Models: A Case Study of Universal Dependencies
• Title（参考訳）: 事前学習言語モデルにおける言語知識の有効性の評価:普遍的依存を事例として
• Authors: Wenxi Li,
• Abstract要約: 普遍依存(UD)は、言語間シンタクティック表現において最も成功した言語フレームワークとみなされている。 本稿では, 言語間対数パラフレーズ識別タスクにおいて, UDが性能を向上できるかどうかを評価する。
• 参考スコア（独自算出の注目度）: 0.6961946145048322
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Universal Dependencies (UD), while widely regarded as the most successful linguistic framework for cross-lingual syntactic representation, remains underexplored in terms of its effectiveness. This paper addresses this gap by integrating UD into pretrained language models and assesses if UD can improve their performance on a cross-lingual adversarial paraphrase identification task. Experimental results show that incorporation of UD yields significant improvements in accuracy and $F_1$ scores, with average gains of 3.85\% and 6.08\% respectively. These enhancements reduce the performance gap between pretrained models and large language models in some language pairs, and even outperform the latter in some others. Furthermore, the UD-based similarity score between a given language and English is positively correlated to the performance of models in that language. Both findings highlight the validity and potential of UD in out-of-domain tasks.
• Abstract（参考訳）: 普遍依存(UD)は、言語間の統語表現において最も成功した言語フレームワークとされているが、その有効性という点では未解明のままである。 本稿では,事前訓練された言語モデルにUDを組み込むことにより,このギャップに対処し,言語間対数パラフレーズ識別タスクにおいて,UDが性能を向上できるかどうかを評価する。 実験の結果,UDの組み入れにより精度が向上し,F_1$スコアが向上し,平均利得が3.85\%,6.08\%となった。 これらの強化により、事前訓練されたモデルと一部の言語ペアにおける大きな言語モデルのパフォーマンスギャップが減り、一部の言語では後者よりも優れています。 さらに、ある言語と英語のUDに基づく類似度スコアは、その言語のモデルの性能と正の相関関係を持つ。 どちらも、ドメイン外タスクにおけるUDの有効性と可能性を強調している。

関連論文リスト

• Cross-Lingual Pitfalls: Automatic Probing Cross-Lingual Weakness of Multilingual Large Language Models [55.14276067678253]
  本稿では,Large Language Models (LLMs) における言語間関係の弱点を効率的に同定するための新しい手法を提案する。 この手法を用いて16言語で6,000以上のバイリンガルペアからなる新しいデータセットを構築し、最先端のモデルにおいても弱点を明らかにする効果を実証した。 さらに,言語的類似性と言語間の弱点との関係について検討し,言語的関連言語が類似した演奏パターンを共有することを明らかにした。
  論文  参考訳（メタデータ） (2025-05-24T12:31:27Z)
• BabyLM Challenge: Exploring the Effect of Variation Sets on Language Model Training Efficiency [5.1205362176467055]
  我々は、若干異なる単語や構造で類似した意図を表現する連続的な発話セットである、変分集合(VS)に焦点を当てる。 トレーニングデータ効率に対するVSの影響を評価するため、人工VSの比率が異なるCDSデータを拡張し、これらのデータセットを使用して自動回帰モデルであるGPT-2をトレーニングする。 BLiMPとGLUEスコアはVSの存在から恩恵を受けるが、EWOKスコアはそうではない。
  論文  参考訳（メタデータ） (2024-11-14T16:57:46Z)
• Assessing Code Generation with Intermediate Languages [6.999311675957218]
  本研究では、様々なプログラミング言語、自然言語ソリューション、擬似コードを含む中間言語の利用について検討する。 以上の結果から, 中間言語は一般に, 最先端性能を達成できていない大規模モデルにおいて, 高い有効性を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-07T15:35:41Z)
• The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.40766216456413]
  大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメントフレームワークを提案する。 実験結果から、さまざまな推論シナリオ、モデルファミリー、サイズにわたって、多言語のパフォーマンスを向上できることが示された。 我々は、表現空間、生成された応答とデータスケールを分析し、質問翻訳訓練がLLM内の言語アライメントをどのように強化するかを明らかにする。
  論文  参考訳（メタデータ） (2024-05-02T14:49:50Z)
• Zero-Shot Cross-Lingual Sentiment Classification under Distribution Shift: an Exploratory Study [11.299638372051795]
  我々は、ゼロショットの言語間転送設定において、out-of-distriion(OOD)テストデータへの一般化について研究する。 我々は、トレインデータとテストデータ間の言語とドメインのシフトによるパフォーマンスへの影響を分析する。 我々は,コストのかかるアノテーションプロセスを避けるため,OOD一般化のための2つの新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-11-11T11:56:56Z)
• Pre-Trained Language-Meaning Models for Multilingual Parsing and Generation [14.309869321407522]
  談話表現構造(DRS)に基づく多言語事前学習言語意味モデルを導入する。 DRSは言語中立であるため、非英語タスクの性能向上のために言語間移動学習が採用されている。 自動評価の結果,本手法は多言語DSS解析とDSS-to-text生成の両タスクにおいて,最高の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-05-31T19:00:33Z)
• Large Language Models Are Latent Variable Models: Explaining and Finding Good Demonstrations for In-Context Learning [104.58874584354787]
  近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。 本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
  論文  参考訳（メタデータ） (2023-01-27T18:59:01Z)
• Multi-level Distillation of Semantic Knowledge for Pre-training Multilingual Language Model [15.839724725094916]
  マルチレベル多言語知識蒸留(MMKD)は,多言語言語モデルを改善するための新しい手法である。 我々は、英語のBERTでリッチな意味表現の知識を採用するために、教師中心のフレームワークを採用している。 我々は,XNLI,PAWS-X,XQuADなどの言語間評価ベンチマーク実験を行った。
  論文  参考訳（メタデータ） (2022-11-02T15:23:13Z)
• On Negative Interference in Multilingual Models: Findings and A Meta-Learning Treatment [59.995385574274785]
  従来の信念に反して、負の干渉は低リソース言語にも影響を及ぼすことを示す。 メタ学習アルゴリズムは、より優れた言語間変換性を得、負の干渉を軽減する。
  論文  参考訳（メタデータ） (2020-10-06T20:48:58Z)
• Unsupervised Cross-lingual Representation Learning for Speech Recognition [63.85924123692923]
  XLSRは、複数の言語における音声の生波形から1つのモデルを事前学習することで、言語間音声表現を学習する。 我々は、マスク付き潜在音声表現よりも対照的なタスクを解くことで訓練されたwav2vec 2.0を構築した。 実験により、言語間事前学習はモノリンガル事前訓練よりも著しく優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-24T18:25:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。