論文の概要: What Can Low Resource Languages Learn From Each Other?

• arxiv url: http://arxiv.org/abs/2608.27753v1
• Date: Thu, 27 Aug 2026 22:32:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.158113
• Title: What Can Low Resource Languages Learn From Each Other?
• Title（参考訳）: 低リソース言語はお互いに何を学べるか?
• Abstract要約: 我々は、クロススクリプトの「転送効果」を活かしたデータ効率のフレームワークを提案する。 提案手法はまず,高リソースベースモデルから言語固有の専門家を導出し,これらの専門家を統合された高性能な多言語バックボーンに融合させるタスク演算を用いる。
• 参考スコア（独自算出の注目度）: 4.131835597238715
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the rapid advancement of Vision-Language Models (VLMs), their linguistic reach remains largely confined to high-resource languages, leaving the majority of the world's 7,000+ living languages on the wrong side of a growing digital divide. This disparity is especially pronounced in Optical Character Recognition (OCR), where low-resource scripts lack the massive datasets required for traditional scaling laws. We investigate OCR adaptation in extreme data-scarce regimes (<10K real and <250K synthetic images), demonstrating that conventional fine-tuning strategies often reach a performance ceiling. Our key finding reveals a structural inefficiency in language-specific adaptation: while higher layers of specialized models diverge to capture unique script nuances, the lower layers learn redundant, highly similar features. Motivated by this observation, we propose PSMC (Pre-train, Specialize, Merge, and Co-train), a data-efficient framework that capitalizes on a cross-script "transfer effect". Our approach first derives language-specific experts from a high-resource base model, then employs task arithmetic to fuse these experts into a unified, high-performance multilingual back- bone. Extensive evaluation across 10 Indian scripts (supporting 20+ languages) shows that PSMC achieves a ~2% average improvement in Word Recognition Rate (WRR) over individual specialist models without increasing parameter count. Our results indicate that joint training in the merged latent space facilitates a constructive knowledge transfer that benefits all constituent scripts, providing a scalable pathway for inclusive VLM development. Source code and datasets will be released post publication.
• Abstract（参考訳）: Vision-Language Models (VLM) の急速な進歩にもかかわらず、その言語の範囲は高リソース言語に限られており、世界の7000以上の生物言語の大半をデジタル分割の間違った側に残している。 光文字認識(OCR)では、低リソースのスクリプトは従来のスケーリング法則に必要な大量のデータセットを欠いている。 極端データスカース方式におけるOCR適応(実数10K, 合成画像250K)について検討し, 従来の微調整方式がしばしば性能天井に達することを示した。 我々の重要な発見は、言語固有の適応における構造的非効率性を明らかにしている: 特別なモデルの上位層は、ユニークなスクリプトニュアンスをキャプチャするために分岐するが、下位層は冗長で非常に類似した特徴を学習する。 そこで本研究では,PSMC(Pre-train, Specialize, Merge, Co-train)を提案する。 提案手法はまず,高リソースベースモデルから言語固有の専門家を導出し,これらの専門家を統合された高性能な多言語バックボーンに融合させるタスク演算を用いる。 10のインド文字(20以上の言語をサポートする)にわたる広範囲な評価は、PSMCがパラメータ数を増やすことなく個々の専門家モデルよりも平均的な単語認識率(WRR)を約2%向上させることを示している。 この結果から,統合潜在空間における共同学習は,すべての構成スクリプトを有効活用する構築的知識伝達を促進することが示唆され,包括的VLM開発のためのスケーラブルな経路が提供される。 ソースコードとデータセットは公開後公開される。

関連論文リスト

• Leveraging Routing Dynamics in Mixture-of-Experts Models for Efficient Language Adaptation [50.731838216268706]
  多言語コーパス上での英語中心のMoEモデルの継続事前学習における多言語ルーティングのダイナミクスについて検討する。 連続的な多言語事前学習は、初期層と中層に拡散し、言語に依存しないルーティングをもたらす。 最終MoE層における言語固有の専門家と共有専門家を更新するパラメータ効率適応戦略を提案する。
  論文  参考訳（メタデータ） (2026-05-28T10:12:41Z)
• Multi-lingual Multi-institutional Electronic Health Record based Predictive Model [13.930489950153657]
  そこで本研究では,言語的アライメントを持つテキストベースのフレームワークが,数ショットの微調整による伝達学習を効果的に行うことを示す。 これは多言語多国籍ITU EHRデータセットを1つの予測モデルに集約する最初の研究である。
  論文  参考訳（メタデータ） (2026-03-11T07:21:27Z)
• Improving Language and Modality Transfer in Translation by Character-level Modeling [14.145120349133007]
  現在の翻訳システムは多言語であるにもかかわらず、世界の言語のうち5%しかカバーしていない。 新しい言語やモダリティへの適応性を改善するための文字ベースアプローチを提案する。
  論文  参考訳（メタデータ） (2025-05-30T13:16:08Z)
• On Multilingual Encoder Language Model Compression for Low-Resource Languages [10.937645683754313]
  本稿では,多言語エンコーダのみの言語モデルに対して,2段階の知識蒸留,構造化プルーニング,トランケーション,ボキャブラリトリミングを組み合わせる。 我々の新しいアプローチは、層深さを極端に減らし、フィードフォワードの隠蔽サイズを小さくし、中間層埋め込みサイズを小さくし、モノリンガルモデルを作成する。 圧縮性能は最大92%, 圧縮性能は2～10%, 圧縮性能は最大8～13%である。
  論文  参考訳（メタデータ） (2025-05-22T17:35:39Z)
• Enhancing Code Generation for Low-Resource Languages: No Silver Bullet [55.39571645315926]
  大規模言語モデル(LLM)は、プログラミング言語の構文、意味論、使用パターンを学ぶために、大規模で多様なデータセットに依存している。 低リソース言語では、そのようなデータの限られた可用性は、モデルを効果的に一般化する能力を損なう。 本稿では,低リソース言語におけるLLMの性能向上のためのいくつかの手法の有効性を実証研究する。
  論文  参考訳（メタデータ） (2025-01-31T12:23:28Z)
• Building an Efficient Multilingual Non-Profit IR System for the Islamic Domain Leveraging Multiprocessing Design in Rust [0.0]
  本研究は、イスラムドメインのための多言語非営利IRシステムの開発に焦点を当てている。 ドメイン適応の継続事前学習やモデルサイズ削減のための言語削減といった手法を用いて,軽量な多言語検索モデルを構築した。
  論文  参考訳（メタデータ） (2024-11-09T11:37:18Z)
• Parameter-Efficient Cross-lingual Transfer of Vision and Language Models via Translation-based Alignment [31.885608173448368]
  CLIPのような事前訓練された視覚と言語モデルは、画像とテキストを英語のテキストに焦点を合わせることに顕著な成功を収めた。 異なる言語間のパフォーマンスの格差は、不均一なリソース可用性のために観測されている。 翻訳に基づくアライメント手法を用いて,多言語差を緩和するパラメータ効率のよい多言語間移動学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-02T14:09:02Z)
• Learning to Generalize to More: Continuous Semantic Augmentation for Neural Machine Translation [50.54059385277964]
  CsaNMT(Continuous Semantic Augmentation)と呼ばれる新しいデータ拡張パラダイムを提案する。 CsaNMTは各トレーニングインスタンスを、同じ意味の下で適切なリテラル式をカバーできる隣接領域で拡張する。
  論文  参考訳（メタデータ） (2022-04-14T08:16:28Z)
• Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of Code-Mixed Clinical Texts [56.72488923420374]
  事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。 脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
  論文  参考訳（メタデータ） (2022-04-10T21:46:52Z)
• Evaluating Multilingual Text Encoders for Unsupervised Cross-Lingual Retrieval [51.60862829942932]
  本稿では,言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性に着目した体系的実証研究を行う。 文レベルのCLIRでは、最先端のパフォーマンスが達成できることを実証する。 しかし、ピーク性能は、汎用の多言語テキストエンコーダをオフ・ザ・シェルフで使うのではなく、文の理解タスクにさらに特化したバリエーションに依存している。
  論文  参考訳（メタデータ） (2021-01-21T00:15:38Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。