論文の概要: Dependency Parsing Across the Resource Spectrum: Evaluating Architectures on High and Low-Resource Languages

• arxiv url: http://arxiv.org/abs/2605.02608v1
• Date: Mon, 04 May 2026 13:55:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:50.317016
• Title: Dependency Parsing Across the Resource Spectrum: Evaluating Architectures on High and Low-Resource Languages
• Title（参考訳）: リソーススペクトル全体にわたる依存性解析 - ハイ・ロー・ソース言語におけるアーキテクチャの評価
• Abstract要約: Transformerベースのモデルは、高リソース言語に対する最先端の依存性解析を実現する。 我々は10言語にまたがる4つの変圧器モデルを評価する。 Biaffine LSTMは低リソース状態におけるトランスフォーマーモデルよりも一貫して優れていることが判明した。
• 参考スコア（独自算出の注目度）: 2.1297158600098287
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer-based models achieve state-of-the-art dependency parsing for high-resource languages, yet their advantage over simpler architectures in low-resource settings remains poorly understood. We evaluate four parsers -- the Biaffine LSTM, Stack-Pointer Network, AfroXLMR-large, and RemBERT -- across ten typologically diverse languages, with a focus on low-resource African languages. We find that the Biaffine LSTM consistently outperforms transformer models in low-resource regimes, with transformers recovering their advantage as training data increases. The crossover falls within a resource range typical of treebanks for under-resourced languages. Morphological complexity (measured via MATTR) emerges as a significant secondary predictor of transformers' relative disadvantage after controlling for corpus size. These results indicate that the Biaffine LSTM may be better suited for syntactic tool development in low-resource regimes until sufficient annotated data is available to leverage the representational capacity of pre-trained transformers.
• Abstract（参考訳）: トランスフォーマーベースのモデルは、高リソース言語に対する最先端の依存性解析を実現するが、低リソース設定におけるより単純なアーキテクチャよりも、その優位性はよく分かっていない。 Biaffine LSTM、Stack-Pointer Network、AfroXLMR-large、RemBERTの4つのパーサーを、低リソースのアフリカ言語に焦点をあてて、タイプタイプ的に多種多様である10言語にわたって評価した。 Biaffine LSTMは、トレーニングデータの増加に伴い、トランスフォーマーが優位性を取り戻すことにより、低リソース状態におけるトランスフォーマーモデルよりも一貫して優れることがわかった。 クロスオーバーは、低リソース言語のためのツリーバンクの典型的なリソース範囲に該当する。 形態的複雑性(MATTRを介して測定)は、コーパスサイズを制御した後、トランスフォーマーの相対的不利の有意な二次的予測因子として現れる。 これらの結果から, Biaffine LSTM は, 事前学習したトランスフォーマーの表現能力を活用するのに十分なアノテートデータが得られるまで, 低リソース環境下での構文ツール開発に適している可能性が示唆された。

関連論文リスト

• Transport and Merge: Cross-Architecture Merging for Large Language Models [59.53629883788284]
  大規模言語モデル(LLM)は、モデルのキャパシティのスケーリングとデータのトレーニングによって、強力な能力を達成する。 多くの実世界のデプロイメントは、低リソースデータからトレーニングされたり、適応されたりした小さなモデルに依存している。 このギャップは、大規模で高リソースのモデルから小さな低リソースのターゲットに知識を伝達するメカニズムの必要性を動機付けている。
  論文  参考訳（メタデータ） (2026-02-05T09:57:57Z)
• Beyond Many-Shot Translation: Scaling In-Context Demonstrations For Low-Resource Machine Translation [49.82863380286994]
  In-context Learningは、低リソース機械翻訳にLarge Language Modelsを適用する新しい方法を提供するかもしれない。 本研究では,Long-context モデルを用いた数千例のサンプルに対して,数ショット設定以上の低リソース機械翻訳ICLのスケーリングについて検討する。 JavaneseとSundaneseに関する我々の実験は、追加のコンテキストからのゲインがすばやく飽和し、最大コンテキストウィンドウの近くで分解可能であることを示している。
  論文  参考訳（メタデータ） (2026-02-04T17:02:22Z)
• Transformer-Based Low-Resource Language Translation: A Study on Standard Bengali to Sylheti [0.0]
  細調整多言語変換器モデルによるベンガル-シルヘティ変換について検討する。 実験により、微調整モデルが大規模言語モデルよりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2025-10-20T16:29:24Z)
• Understanding In-Context Machine Translation for Low-Resource Languages: A Case Study on Manchu [53.437954702561065]
  In-context machine translation (MT) with large language model (LLMs) は低リソースMTにおいて有望な手法である。 本研究は,辞書,文法書,検索した並列例などの資源の種類が翻訳性能に与える影響を系統的に検討する。 結果から,良質な辞書や優れた並列例は有用であり,文法はほとんど役に立たないことが明らかとなった。
  論文  参考訳（メタデータ） (2025-02-17T14:53:49Z)
• Quality or Quantity? On Data Scale and Diversity in Adapting Large Language Models for Low-Resource Translation [62.202893186343935]
  低リソース言語に大規模言語モデルを適用するのに何が必要かについて検討する。 我々は、事前トレーニングとスーパーバイザードファインチューニング(SFT)の間に並列データが重要であることを示す。 2つの低リソース言語群にまたがる3つの LLM 実験により,本研究の一般化可能性を示す一貫した傾向が示された。
  論文  参考訳（メタデータ） (2024-08-23T00:59:38Z)
• Unlocking the Potential of Model Merging for Low-Resource Languages [66.7716891808697]
  大規模言語モデルを新しい言語に適応させるには、通常、継続事前訓練(CT)と、教師付き微調整(SFT)が含まれる。 我々は低リソース言語の代替としてモデルマージを提案し、異なる機能を持つモデルを追加トレーニングなしで単一のモデルに組み合わせる。 Llama-2-7Bをベースとした実験により、モデルマージはタスク解決能力の低い低リソース言語に対して、極めて少ないデータを持つシナリオにおいて、CT-then-SFTよりも優れていることが実証された。
  論文  参考訳（メタデータ） (2024-07-04T15:14:17Z)
• How Good are LLMs at Relation Extraction under Low-Resource Scenario? Comprehensive Evaluation [7.151108031568037]
  本稿では,3地域(中央アジア,東南アジア,中東)の低リソース言語10言語(LRL)における低リソース関係抽出データセットを構築する。 コーパスは、有効な多言語機械翻訳を使用して、オリジナルの公開可能な英語REデータセット(NYT10、FewRel、CrossRE)を翻訳することで構築される。 次に、言語パープレキシティ(PPL)を使用して、翻訳されたデータセットから低品質データをフィルタリングする。
  論文  参考訳（メタデータ） (2024-06-17T03:02:04Z)
• Enhancing Neural Machine Translation of Low-Resource Languages: Corpus Development, Human Evaluation and Explainable AI Architectures [0.0]
  Transformerアーキテクチャは、特に高リソースの言語ペアにおいて、ゴールドスタンダードとして際立っている。 低リソース言語のための並列データセットの不足は、機械翻訳開発を妨げる可能性がある。 この論文では、ニューラルネットワーク翻訳モデルの開発、微調整、デプロイのために合理化された2つのオープンソースアプリケーションであるAdaptNMTとAdaptMLLMを紹介している。
  論文  参考訳（メタデータ） (2024-03-03T18:08:30Z)
• Translation and Fusion Improves Zero-shot Cross-lingual Information Extraction [18.926993352330797]
  本稿では,低リソース言語データの英語翻訳をモデルに微調整したフレームワークであるTransFusionを提案する。 GoLLIE-TFは、IEタスクのための言語間命令チューニング LLM であり、ハイソース言語と低リソース言語のパフォーマンスギャップを埋めるように設計されている。
  論文  参考訳（メタデータ） (2023-05-23T01:23:22Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)
• Optimizing Transformer for Low-Resource Neural Machine Translation [4.802292434636455]
  低リソース言語としても知られる、限られた並列データを持つ言語ペアは、ニューラルマシン翻訳の課題である。 IWSLT14トレーニングデータの異なるサブセットに対する実験により,低リソース条件下でのTransformerの有効性がハイパーパラメータ設定に大きく依存していることが判明した。 低リソース条件に最適化されたTransformerを使用することで、Transformerのデフォルト設定に比べて、変換品質は7.3 BLEUポイントまで向上する。
  論文  参考訳（メタデータ） (2020-11-04T13:12:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。