論文の概要: Dependency Parsing Across the Resource Spectrum: Evaluating Architectures on High and Low-Resource Languages

• arxiv url: http://arxiv.org/abs/2605.02608v1
• Date: Mon, 04 May 2026 13:55:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:50.317016
• Title: Dependency Parsing Across the Resource Spectrum: Evaluating Architectures on High and Low-Resource Languages
• Title（参考訳）: リソーススペクトル全体にわたる依存性解析 - ハイ・ロー・ソース言語におけるアーキテクチャの評価
• Authors: Kevin Guan, Happy Buzaaba, Christiane Fellbaum,
• Abstract要約: Transformerベースのモデルは、高リソース言語に対する最先端の依存性解析を実現する。 我々は10言語にまたがる4つの変圧器モデルを評価する。 Biaffine LSTMは低リソース状態におけるトランスフォーマーモデルよりも一貫して優れていることが判明した。
• 参考スコア（独自算出の注目度）: 2.1297158600098287
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer-based models achieve state-of-the-art dependency parsing for high-resource languages, yet their advantage over simpler architectures in low-resource settings remains poorly understood. We evaluate four parsers -- the Biaffine LSTM, Stack-Pointer Network, AfroXLMR-large, and RemBERT -- across ten typologically diverse languages, with a focus on low-resource African languages. We find that the Biaffine LSTM consistently outperforms transformer models in low-resource regimes, with transformers recovering their advantage as training data increases. The crossover falls within a resource range typical of treebanks for under-resourced languages. Morphological complexity (measured via MATTR) emerges as a significant secondary predictor of transformers' relative disadvantage after controlling for corpus size. These results indicate that the Biaffine LSTM may be better suited for syntactic tool development in low-resource regimes until sufficient annotated data is available to leverage the representational capacity of pre-trained transformers.
• Abstract（参考訳）: トランスフォーマーベースのモデルは、高リソース言語に対する最先端の依存性解析を実現するが、低リソース設定におけるより単純なアーキテクチャよりも、その優位性はよく分かっていない。 Biaffine LSTM、Stack-Pointer Network、AfroXLMR-large、RemBERTの4つのパーサーを、低リソースのアフリカ言語に焦点をあてて、タイプタイプ的に多種多様である10言語にわたって評価した。 Biaffine LSTMは、トレーニングデータの増加に伴い、トランスフォーマーが優位性を取り戻すことにより、低リソース状態におけるトランスフォーマーモデルよりも一貫して優れることがわかった。 クロスオーバーは、低リソース言語のためのツリーバンクの典型的なリソース範囲に該当する。 形態的複雑性(MATTRを介して測定)は、コーパスサイズを制御した後、トランスフォーマーの相対的不利の有意な二次的予測因子として現れる。 これらの結果から, Biaffine LSTM は, 事前学習したトランスフォーマーの表現能力を活用するのに十分なアノテートデータが得られるまで, 低リソース環境下での構文ツール開発に適している可能性が示唆された。

関連論文リスト

• Quality or Quantity? On Data Scale and Diversity in Adapting Large Language Models for Low-Resource Translation [62.202893186343935]
  低リソース言語に大規模言語モデルを適用するのに何が必要かについて検討する。 我々は、事前トレーニングとスーパーバイザードファインチューニング(SFT)の間に並列データが重要であることを示す。 2つの低リソース言語群にまたがる3つの LLM 実験により,本研究の一般化可能性を示す一貫した傾向が示された。
  論文  参考訳（メタデータ） (2024-08-23T00:59:38Z)
• Unlocking the Potential of Model Merging for Low-Resource Languages [66.7716891808697]
  大規模言語モデルを新しい言語に適応させるには、通常、継続事前訓練(CT)と、教師付き微調整(SFT)が含まれる。 我々は低リソース言語の代替としてモデルマージを提案し、異なる機能を持つモデルを追加トレーニングなしで単一のモデルに組み合わせる。 Llama-2-7Bをベースとした実験により、モデルマージはタスク解決能力の低い低リソース言語に対して、極めて少ないデータを持つシナリオにおいて、CT-then-SFTよりも優れていることが実証された。
  論文  参考訳（メタデータ） (2024-07-04T15:14:17Z)
• Enhancing Neural Machine Translation of Low-Resource Languages: Corpus Development, Human Evaluation and Explainable AI Architectures [0.0]
  Transformerアーキテクチャは、特に高リソースの言語ペアにおいて、ゴールドスタンダードとして際立っている。 低リソース言語のための並列データセットの不足は、機械翻訳開発を妨げる可能性がある。 この論文では、ニューラルネットワーク翻訳モデルの開発、微調整、デプロイのために合理化された2つのオープンソースアプリケーションであるAdaptNMTとAdaptMLLMを紹介している。
  論文  参考訳（メタデータ） (2024-03-03T18:08:30Z)
• Translation and Fusion Improves Zero-shot Cross-lingual Information Extraction [18.926993352330797]
  本稿では,低リソース言語データの英語翻訳をモデルに微調整したフレームワークであるTransFusionを提案する。 GoLLIE-TFは、IEタスクのための言語間命令チューニング LLM であり、ハイソース言語と低リソース言語のパフォーマンスギャップを埋めるように設計されている。
  論文  参考訳（メタデータ） (2023-05-23T01:23:22Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)
• Optimizing Transformer for Low-Resource Neural Machine Translation [4.802292434636455]
  低リソース言語としても知られる、限られた並列データを持つ言語ペアは、ニューラルマシン翻訳の課題である。 IWSLT14トレーニングデータの異なるサブセットに対する実験により,低リソース条件下でのTransformerの有効性がハイパーパラメータ設定に大きく依存していることが判明した。 低リソース条件に最適化されたTransformerを使用することで、Transformerのデフォルト設定に比べて、変換品質は7.3 BLEUポイントまで向上する。
  論文  参考訳（メタデータ） (2020-11-04T13:12:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。