論文の概要: One Domain, Many Tongues: Composing Domain and Language LoRAs for Cross-Lingual Remote-Sensing MLLMs without Paired Data

• arxiv url: http://arxiv.org/abs/2609.26097v1
• Date: Tue, 04 Aug 2026 23:42:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.875293
• Title: One Domain, Many Tongues: Composing Domain and Language LoRAs for Cross-Lingual Remote-Sensing MLLMs without Paired Data
• Title（参考訳）: 1つのドメインと多くの言語: ペアデータのない言語間リモートセンシングMLLMのためのドメインと言語ロラを構成する
• Abstract要約: 一つの多言語RS例を使わずに、英語の RS MLLM に新しい言語を追加するレシピである MODL を提案する。 英語、スペイン語、ベトナム語が3つの種にまたがる強さを保っている。
• 参考スコア（独自算出の注目度）: 2.1010398528585825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Remote-sensing (RS) multimodal large language models (MLLMs) are trained and evaluated only in English, while text-only instruction data covers over 100 languages. We propose MODL (Mutually Orthogonal Domain-Language composition), a recipe that adds new languages to an English RS MLLM without a single multilingual RS example: a domain LoRA trained on English RS imagery and a language LoRA trained on text alone are learned jointly, under one loss term that keeps the two updates mutually orthogonal at every layer throughout training. This constraint is the recipe's active ingredient. Without it, the same training answers RS questions correctly but in English, erases much of the base model's multilingual text ability, and diverges on one seed in three; sixteen alternatives, from training-free merging to prior orthogonality variants, fail the same way. MODL repairs every failure on every seed: answers are correct and in the target language 56-71% of the time, where the best alternative reaches 27% and most stay below 8%, text ability stays at the level of the untrained base, and on Spanish it surpasses Qwen2.5-VL-7B, with zero multilingual-multimodal data. A single five-language adapter retains English, Spanish, and Vietnamese at full strength across three seeds; non-Latin scripts remain an open boundary.
• Abstract（参考訳）: リモートセンシング(RS)マルチモーダル大言語モデル(MLLM)は英語のみで訓練・評価され、テキストのみの命令データが100以上の言語をカバーする。 多言語RSの例のない英語 RS MLLM に新たな言語を追加するMODL (Mutually Orthogonal Domain-Language composition) を提案する。 この制約はレシピの有効成分である。 それなしでは、同じトレーニングがRSの質問に正しく答えるが、英語では、ベースモデルの多言語テキスト能力の多くを消去し、3つに1つのシードを分割する。 MODLはすべての失敗を修復する: 答えは正しく、対象言語の56-71%では、最良の選択肢が27%に達し、8%未満で、テキスト能力はトレーニングされていないベースレベルに留まり、スペイン語ではQwen2.5-VL-7Bを超え、マルチリンガルとマルチモーダルのデータはゼロである。 英語、スペイン語、ベトナム語が3つの種にまたがって完全な強度を維持している。

関連論文リスト

• Continually Adding New Languages to Multilingual Language Models [5.733123943059241]
  対象言語のみの事前学習データへのアクセスを前提として,多言語モデルに新たな言語を継続的に追加する問題について検討する。 本稿では,選択した初期層と最終層にLow-Rank Adapterを追加し,残りのモデルを凍結させながらLayRA(LayRA)を提案する。 LayRAは、前もってサポートされた言語でモデルの能力を保ちながら、新しい言語を学ぶのにLoRAのような既存のアプローチと競合する、全体的なトレードオフを提供する。
  論文  参考訳（メタデータ） (2025-09-14T20:08:15Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• How do Large Language Models Handle Multilingualism? [81.15060972112563]
  本研究では,大規模言語モデル(LLM)が多言語モデルをどのように扱うかを検討する。 LLMはまずクエリを理解し、タスク解決のために多言語入力を英語に変換する。 中間層では、英語を思考に用い、自己意識とフィードフォワード構造を持つ多言語知識を取り入れている。
  論文  参考訳（メタデータ） (2024-02-29T02:55:26Z)
• Breaking Language Barriers in Multilingual Mathematical Reasoning: Insights and Observations [59.056367787688146]
  本稿では, マルチリンガル数学推論 (xMR) LLM の探索と学習の先駆者である。 我々は10の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。 翻訳を利用して、10個の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
  論文  参考訳（メタデータ） (2023-10-31T08:09:20Z)
• Self-Augmentation Improves Zero-Shot Cross-Lingual Transfer [92.80671770992572]
  言語間移動は多言語NLPにおける中心的なタスクである。 このタスクの以前の作業では、並列コーパス、バイリンガル辞書、その他の注釈付きアライメントデータを使用していた。 ゼロショットの言語間移動を改善するため, 単純で効果的なSALT法を提案する。
  論文  参考訳（メタデータ） (2023-09-19T19:30:56Z)
• Prompt Learning to Mitigate Catastrophic Forgetting in Cross-lingual Transfer for Open-domain Dialogue Generation [14.68491971816154]
  限られたデータを持つ非英語言語に対するオープンドメイン対話生成の文脈において,FS-XLTとマルチタスク学習(MTL)について検討した。 予備実験では,FS-XLT と MTL の両言語で破滅的忘れを観察した。 本稿では,多言語事前学習型言語モデルの多言語性を維持するための,シンプルで効果的なプロンプト学習手法を提案する。
  論文  参考訳（メタデータ） (2023-05-12T11:41:16Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。