論文の概要: Breaking Physical and Linguistic Borders: Multilingual Federated Prompt Tuning for Low-Resource Languages

• arxiv url: http://arxiv.org/abs/2507.03003v1
• Date: Wed, 02 Jul 2025 05:23:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:34.519984
• Title: Breaking Physical and Linguistic Borders: Multilingual Federated Prompt Tuning for Low-Resource Languages
• Title（参考訳）: 物理・言語境界を破る:低リソース言語のための多言語フェデレーションプロンプトチューニング
• Authors: Wanru Zhao, Yihong Chen, Royson Lee, Xinchi Qiu, Yan Gao, Hongxiang Fan, Nicholas D. Lane,
• Abstract要約: 多言語シナリオのためのフェデレート・プロンプト・チューニング・パラダイムを提案する。 提案手法は精度が6.9%向上し,データ効率が向上した。 これらの知見は,社会平等を推進し,言語多様性を擁護するアプローチの可能性を明らかにするものである。
• 参考スコア（独自算出の注目度）: 27.63253872229416
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Pre-trained large language models (LLMs) have become a cornerstone of modern natural language processing, with their capabilities extending across a wide range of applications and languages. However, the fine-tuning of multilingual LLMs, especially for low-resource languages, faces significant challenges arising from data-sharing restrictions (the physical border) and inherent linguistic differences (the linguistic border). These barriers hinder users of various languages, particularly those in low-resource regions, from fully benefiting from the advantages of LLMs. To address these challenges, we propose the Federated Prompt Tuning Paradigm for multilingual scenarios, which utilizes parameter-efficient fine-tuning while adhering to data sharing restrictions. We design a comprehensive set of experiments and analyze them using a novel notion of language distance to highlight the strengths of our paradigm: Even under computational constraints, our method not only improves data efficiency but also facilitates mutual enhancements across languages, particularly benefiting low-resource ones. Compared to traditional local cross-lingual transfer tuning methods, our approach achieves 6.9\% higher accuracy with improved data efficiency, and demonstrates greater stability and generalization. These findings underscore the potential of our approach to promote social equality and champion linguistic diversity, ensuring that no language is left behind.
• Abstract（参考訳）: 事前訓練された大規模言語モデル(LLM)は、様々なアプリケーションや言語にまたがる、現代の自然言語処理の基盤となっている。 しかし、特に低リソース言語における多言語LLMの微調整は、データ共有制限(物理的境界)と固有の言語差(言語境界)から生じる重大な課題に直面している。 これらの障壁は、低リソース領域の様々な言語、特に低リソース領域のユーザーを、LLMの利点から完全に利益を得るのを妨げる。 これらの課題に対処するために,データ共有制限に固執しながらパラメータ効率の良い微調整を利用する多言語シナリオのためのフェデレート・プロンプト・チューニング・パラダイムを提案する。 計算的制約の下でも、我々の手法はデータの効率を向上するだけでなく、言語間の相互強化を促進する。 従来の局所言語間転送チューニング手法と比較して,データ効率の向上により精度が6.9\%向上し,安定性と一般化が向上した。 これらの知見は、社会的平等を推進し、言語多様性を擁護する我々のアプローチの可能性を強調し、言語が残っていないことを保証する。

関連論文リスト

• Breaking Language Barriers in Visual Language Models via Multilingual Textual Regularization [9.349707150988893]
  本稿では,視覚的インストラクションチューニング中にテキストのみの多言語データを注入する連続多言語統合戦略を提案する。 本手法は,視覚能力の低下を伴わない言語間の言語忠実度を著しく向上させる。
  論文  参考訳（メタデータ） (2025-03-28T16:26:52Z)
• Enhancing Small Language Models for Cross-Lingual Generalized Zero-Shot Classification with Soft Prompt Tuning [8.408016670697068]
  ゼロショット分類(ZSC)は、モデルがトレーニング中に見えないカテゴリに分類できるようにするために欠かせないものとなっている。 我々は,言語間ZSCを強化するソフトプロンプトを訓練するための軽量でデータ効率のよいアプローチであるRoSPromptを紹介する。 我々は,106言語をカバーする多言語 PLM に対するアプローチを評価し,強い言語間転送性能と堅牢な一般化能力を示す。
  論文  参考訳（メタデータ） (2025-03-25T09:00:25Z)
• ShifCon: Enhancing Non-Dominant Language Capabilities with a Shift-based Multilingual Contrastive Framework [78.07201802874529]
  ShifConはシフトベースの多言語コントラストフレームワークで、他の言語の内部のフォワードプロセスを支配的な言語に合わせる。 実験により、我々のShifConフレームワークは、非支配言語の性能を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2024-10-25T10:28:59Z)
• Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
  大規模言語モデル(LLM)における多言語機能向上のための新しいアプローチであるLensを提案する。 Lensは2つの部分空間で機能する: 言語に依存しない部分空間で、ターゲット言語と中心言語を一致させて強力な意味表現を継承する部分空間、言語固有の部分空間で、ターゲット言語と中心言語を分離して言語的特異性を保存する部分空間である。 レンズは、モデルの英語能力を維持しながら、多言語のパフォーマンスを著しく向上させ、既存の訓練後のアプローチと比べて計算コストの低い結果を得る。
  論文  参考訳（メタデータ） (2024-10-06T08:51:30Z)
• SMILE: Speech Meta In-Context Learning for Low-Resource Language Automatic Speech Recognition [55.2480439325792]
  音声メタインコンテキスト学習(SMILE)は、メタラーニングと音声インコンテキスト学習(SICL)を組み合わせた革新的なフレームワークである SMILEは、トレーニング不要な多言語ASRタスクにおいて、ベースライン手法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-16T16:04:16Z)
• Mitigating Language-Level Performance Disparity in mPLMs via Teacher Language Selection and Cross-lingual Self-Distillation [25.850573463743352]
  大規模多言語事前訓練言語モデル(mPLMs)は、言語横断タスクにおいて優れた性能を発揮する。 しかし、mPLM内では異なる言語にまたがって大きな性能格差が存在する。 我々は ALSACE を導入し,優れた言語から学んだ知識を活用して,mPLM の低性能言語を誘導する。
  論文  参考訳（メタデータ） (2024-04-12T14:19:16Z)
• Enhancing Multilingual Capabilities of Large Language Models through Self-Distillation from Resource-Rich Languages [60.162717568496355]
  大規模言語モデル(LLM)は多言語コーパスで事前訓練されている。 彼らのパフォーマンスは、いくつかのリソース豊富な言語と比較して、ほとんどの言語でまだ遅れています。
  論文  参考訳（メタデータ） (2024-02-19T15:07:32Z)
• xCoT: Cross-lingual Instruction Tuning for Cross-lingual Chain-of-Thought Reasoning [36.34986831526529]
  CoT(Chain-of-Thought)は、大規模言語モデルにおける推論を誘発する強力なテクニックとして登場した。 本稿では,ハイソース言語から低リソース言語へ知識を伝達するための言語間命令微調整フレームワーク(xCOT)を提案する。
  論文  参考訳（メタデータ） (2024-01-13T10:53:53Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Romanization-based Large-scale Adaptation of Multilingual Language Models [124.57923286144515]
  大規模多言語事前学習言語モデル (mPLMs) は,NLPにおける多言語間移動のデファクトステートとなっている。 我々は、mPLMをローマン化および非ロマン化した14の低リソース言語コーパスに適用するためのデータとパラメータ効率の戦略を多数検討し、比較した。 以上の結果から, UROMAN をベースとしたトランスリテラルは,多くの言語で高い性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-04-18T09:58:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。