論文の概要: Typologically Informed Parameter Aggregation

• arxiv url: http://arxiv.org/abs/2601.16629v1
• Date: Fri, 23 Jan 2026 10:32:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-26 14:27:27.635564
• Title: Typologically Informed Parameter Aggregation
• Title（参考訳）: タイポロジーにインフォームドされたパラメータ集約
• Authors: Stef Accou, Wessel Poelman,
• Abstract要約: 膨大な多言語言語モデルにより、多言語間の一般化が可能だが、低リソース言語や見当たらない言語では性能が劣る。 タイポロジー・インフォームド・アグリゲーション(TIPA, Typologically Informed Aggregation)は,既存のアグリゲーションによってプロキシ言語アダプタを構築する訓練自由な手法である。 MAD-Xフレームワークに統合されたこれらのプロキシは、追加のトレーニングなしでゼロショットの言語間転送を可能にする。
• 参考スコア（独自算出の注目度）: 0.27930955543692815
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Massively multilingual language models enable cross-lingual generalization but underperform on low-resource and unseen languages. While adapter-based fine-tuning offers a parameter-efficient solution, training language-specific adapters at scale remains costly. We introduce Typologically Informed Parameter Aggregation (TIPA), a training-free method that constructs proxy language adapters by aggregating existing ones, weighted by typological similarity. Integrated into the MAD-X framework, these proxies enable zero-shot cross-lingual transfer without additional training. We evaluate TIPA on five NLP tasks and over 230 languages. TIPA consistently outperforms or matches baselines such as English-only fine-tuning or selecting the typologically closest language adapter. We see the largest gains for languages lacking dedicated adapters. Our results demonstrate that typologically informed aggregation provides a viable alternative to language-specific modules without any training needed.
• Abstract（参考訳）: 膨大な多言語言語モデルにより、言語間一般化が可能となるが、低リソース言語や見当たらない言語では性能が低下する。 アダプタベースのファインチューニングはパラメータ効率のよいソリューションを提供するが、大規模な言語固有のアダプタのトレーニングにはコストがかかる。 タイポロジカル・インフォームド・パラメータ・アグリゲーション(TIPA)は,タイポロジカルな類似性によって重み付けされた既存言語を集約することで,プロキシ言語アダプタを構築する訓練自由な手法である。 MAD-Xフレームワークに統合されたこれらのプロキシは、追加のトレーニングなしでゼロショットの言語間転送を可能にする。 TIPAを5つのNLPタスクと230以上の言語で評価した。 TIPAは英語のみの微調整やタイポロジーに最も近い言語アダプタの選択など、ベースラインを一貫して上回るか、マッチする。 専用のアダプタが欠けている言語では、最大の利益が得られます。 以上の結果から,類型的に情報を得たアグリゲーションは,学習を必要とせず,言語固有のモジュールの代替となる可能性が示唆された。

関連論文リスト

• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Parameter-efficient Zero-shot Transfer for Cross-Language Dense Retrieval with Adapters [20.168480824057923]
  クロスランゲージ検索モデルを作成するための一般的なアプローチは、モノリンガル事前学習言語モデルを検索モデルに置き換えることである。 単言語データを用いて学習したモデルは、クロスランゲージ情報検索設定に移行する際に、モデル全体を微調整するよりも効果的であることを示す。
  論文  参考訳（メタデータ） (2022-12-20T17:25:04Z)
• Language-Family Adapters for Low-Resource Multilingual Neural Machine Translation [129.99918589405675]
  自己超越で訓練された大規模多言語モデルは、幅広い自然言語処理タスクにおいて最先端の結果を達成する。 マルチリンガルな微調整は低リソース言語のパフォーマンスを向上させるが、モデル全体を変更する必要があるため、極めて高価である。 言語間移動を容易にするため,mBART-50上で言語ファミリーアダプタを訓練する。
  論文  参考訳（メタデータ） (2022-09-30T05:02:42Z)
• Efficient Test Time Adapter Ensembling for Low-resource Language Varieties [115.12997212870962]
  多言語事前学習モデルの言語間移動を容易にするために,特殊言語とタスクアダプタが提案されている。 直感的な解法は、新しい言語の種類に関連言語アダプタを使用することであるが、この解が準最適性能をもたらすことを観察する。 本稿では,新しいアダプタを訓練することなく,未知言語への言語アダプタの堅牢性を向上させることを目的とする。
  論文  参考訳（メタデータ） (2021-09-10T13:44:46Z)
• Lightweight Adapter Tuning for Multilingual Speech Translation [47.89784337058167]
  適応モジュールはNLPのファインチューニングの代替として最近導入された。 本稿では,多言語音声翻訳用アダプタの包括的解析を提案する。
  論文  参考訳（メタデータ） (2021-06-02T20:51:42Z)
• MAD-X: An Adapter-Based Framework for Multi-Task Cross-Lingual Transfer [136.09386219006123]
  我々は、任意のタスクや言語への高いポータビリティとパラメータ効率の移行を可能にするアダプタベースのフレームワークであるMAD-Xを提案する。 MAD-Xは、名前付きエンティティ認識と因果コモンセンス推論に基づいて、タイプボロジーに多様性のある言語群を横断する言語間移動において、芸術の状態を上回ります。
  論文  参考訳（メタデータ） (2020-04-30T18:54:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。