論文の概要: Limited-Resource Adapters Are Regularizers, Not Linguists

• arxiv url: http://arxiv.org/abs/2505.24525v1
• Date: Fri, 30 May 2025 12:34:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.944761
• Title: Limited-Resource Adapters Are Regularizers, Not Linguists
• Title（参考訳）: オープンソース限定アダプタは正規化ツールであり、言語学者ではない
• Authors: Marcell Fekete, Nathaniel R. Robinson, Ernests Lavrinovics, E. Djeride Jean-Baptiste, Raj Dabre, Johannes Bjerva, Heather Lent,
• Abstract要約: 関連する高リソース言語からの言語間移動は、低リソース言語技術を強化するための確立された戦略である。 予め訓練された機械翻訳モデルのクロスアテンション微調整と組み合わせたアダプタスープ法について検討する。
• 参考スコア（独自算出の注目度）: 10.811626810036374
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Cross-lingual transfer from related high-resource languages is a well-established strategy to enhance low-resource language technologies. Prior work has shown that adapters show promise for, e.g., improving low-resource machine translation (MT). In this work, we investigate an adapter souping method combined with cross-attention fine-tuning of a pre-trained MT model to leverage language transfer for three low-resource Creole languages, which exhibit relatedness to different language groups across distinct linguistic dimensions. Our approach improves performance substantially over baselines. However, we find that linguistic relatedness -- or even a lack thereof -- does not covary meaningfully with adapter performance. Surprisingly, our cross-attention fine-tuning approach appears equally effective with randomly initialized adapters, implying that the benefit of adapters in this setting lies in parameter regularization, and not in meaningful information transfer. We provide analysis supporting this regularization hypothesis. Our findings underscore the reality that neural language processing involves many success factors, and that not all neural methods leverage linguistic knowledge in intuitive ways.
• Abstract（参考訳）: 関連する高リソース言語からの言語間移動は、低リソース言語技術を強化するための確立された戦略である。 以前の研究によると、アダプタは例えば低リソース機械翻訳(MT)の改善を約束している。 本研究では,3つの低リソースクレオール言語に対する言語伝達を活用するために,事前学習したMTモデルの相互注意的微調整と組み合わせたアダプティブスープ法について検討する。 私たちのアプローチは、ベースラインよりもパフォーマンスを大幅に改善します。 しかし、言語的関連性(あるいはその欠如)は、アダプタのパフォーマンスと有意に一致しない。 驚いたことに、我々のクロスアテンション微調整アプローチはランダムに初期化されたアダプタでも同じように有効であり、この設定におけるアダプタの利点はパラメータ正則化であり、意味のある情報伝達ではないことを示唆している。 この正規化仮説を支持する分析を行う。 我々の発見は、ニューラル言語処理には多くの成功要因があり、すべてのニューラルメソッドが直感的に言語知識を活用するわけではない、という現実を浮き彫りにしている。

関連論文リスト

• UoB-NLP at SemEval-2025 Task 11: Leveraging Adapters for Multilingual and Cross-Lingual Emotion Detection [9.308405292847148]
  適応型微調整を多言語事前学習言語モデルに応用し,多言語・多言語間感情検出に対処する。 当社のアプローチは11言語で大きな言語モデルより優れており、他の4言語でのパフォーマンスと一致しています。
  論文  参考訳（メタデータ） (2025-04-11T13:56:44Z)
• The Impact of Language Adapters in Cross-Lingual Transfer for NLU [0.8702432681310401]
  2つの多言語モデルと3つの多言語データセットを用いた詳細なアブレーション研究において、ターゲット言語アダプタを含めることの効果について検討する。 本結果から,タスク,言語,モデル間でターゲット言語アダプタの効果は相容れないことが示唆された。 学習後の言語アダプタの除去は、弱い負の効果しか示さず、言語アダプタが予測に強い影響を与えていないことを示している。
  論文  参考訳（メタデータ） (2024-01-31T20:07:43Z)
• Language-Family Adapters for Low-Resource Multilingual Neural Machine Translation [129.99918589405675]
  自己超越で訓練された大規模多言語モデルは、幅広い自然言語処理タスクにおいて最先端の結果を達成する。 マルチリンガルな微調整は低リソース言語のパフォーマンスを向上させるが、モデル全体を変更する必要があるため、極めて高価である。 言語間移動を容易にするため,mBART-50上で言語ファミリーアダプタを訓練する。
  論文  参考訳（メタデータ） (2022-09-30T05:02:42Z)
• Data-adaptive Transfer Learning for Translation: A Case Study in Haitian and Jamaican [4.4096464238164295]
  転送の有効性は,学習データ量と言語間の関係と相関していることを示す。 規則に基づくフランス・ハイチの正書法・構文エンジンと音韻埋め込みの新しい手法を提案する。 非常に低リソースのジャマイカ MT では、正書法的な類似性のためのコードスイッチングは 6.63 BLEU 点の優位性をもたらす。
  論文  参考訳（メタデータ） (2022-09-13T20:58:46Z)
• Parameter-Efficient Neural Reranking for Cross-Lingual and Multilingual Retrieval [66.69799641522133]
  最先端のニューラルランカーは、お腹が空いていることで悪名高い。 現在のアプローチでは、英語データに基づいて訓練されたローダを、多言語エンコーダを用いて他の言語や言語間設定に転送するのが一般的である。 本研究では,Sparse Fine-Tuning Masks (SFTMs) とAdapters (Adapters) の2つのパラメータ効率のアプローチにより,より軽量で効果的なゼロショット転送が可能となることを示す。
  論文  参考訳（メタデータ） (2022-04-05T15:44:27Z)
• Efficient Test Time Adapter Ensembling for Low-resource Language Varieties [115.12997212870962]
  多言語事前学習モデルの言語間移動を容易にするために,特殊言語とタスクアダプタが提案されている。 直感的な解法は、新しい言語の種類に関連言語アダプタを使用することであるが、この解が準最適性能をもたらすことを観察する。 本稿では,新しいアダプタを訓練することなく,未知言語への言語アダプタの堅牢性を向上させることを目的とする。
  論文  参考訳（メタデータ） (2021-09-10T13:44:46Z)
• Exploiting Adapters for Cross-lingual Low-resource Speech Recognition [52.40623653290499]
  言語間の言語適応は、複数のリッチリソース言語を活用して低リソースターゲット言語のためのモデルを構築するという問題を解決することを目的としている。 パラメータ効率のよい言語間音声適応のための複数のアダプタの性能を調べるためのアダプタを提案する。
  論文  参考訳（メタデータ） (2021-05-18T08:30:37Z)
• MAD-X: An Adapter-Based Framework for Multi-Task Cross-Lingual Transfer [136.09386219006123]
  我々は、任意のタスクや言語への高いポータビリティとパラメータ効率の移行を可能にするアダプタベースのフレームワークであるMAD-Xを提案する。 MAD-Xは、名前付きエンティティ認識と因果コモンセンス推論に基づいて、タイプボロジーに多様性のある言語群を横断する言語間移動において、芸術の状態を上回ります。
  論文  参考訳（メタデータ） (2020-04-30T18:54:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。