論文の概要: Beyond English: Uncovering the Multilingual Gap in Vision-Language-Action Models

• arxiv url: http://arxiv.org/abs/2606.15714v1
• Date: Sun, 14 Jun 2026 10:04:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:33.804601
• Title: Beyond English: Uncovering the Multilingual Gap in Vision-Language-Action Models
• Title（参考訳）: ヴィジュアル・ランゲージ・アクション・モデルにおける多言語ギャップの発見
• Abstract要約: Vision-Language-Actionモデルは最近、大規模マルチモーダルデータから汎用ロボットポリシーを学習する有望な能力を実証した。 既存のVLAシステムは、主に英語の命令で訓練され、評価され、他の言語での命令を理解し実行する能力は、ほとんど探索されていない。 本稿では,VLAモデルにおける多言語命令に対する最初の体系的研究について述べる。
• 参考スコア（独自算出の注目度）: 22.61843460495166
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-Language-Action models have recently demonstrated promising capabilities in learning generalist robot policies from large-scale multimodal data. However, most existing VLA systems are trained and evaluated primarily with English instructions, leaving their ability to understand and execute instructions in other languages largely unexplored. While the underlying large language models often possess multilingual capabilities, it remains unclear whether these multilingual capabilities transfer to VLAs during training. In this work, we present the first systematic study of multilingual instruction following in VLA models. We first construct multilingual instructions by extending existing benchmarks with translations of their instructions. Using these instructions, we evaluate several representative VLA models across a range of tasks in simulation settings. Our experiments reveal a significant multilingual gap: models trained primarily on English instructions exhibit substantial performance degradation when evaluated on other languages, even when the underlying language backbone is multilingual. We provide several findings and analyses to understand the multilingual gap. Cross-lingual transfer behavior analysis shows that performance drops correlate with both instruction understanding and action execution. Representation analyses suggest that multilingual instruction-caused representation shifts may contribute to the multilingual gap. Motivated by these findings, we further explore strategies to improve multilingual performance in VLAs. We propose a simple yet effective multilingual fine-tuning approach, Multilingual Principal Component Alignment, which leverages Principal Component Analysis to get the principal component subspace and align projected multilingual representations, effectively reducing the multilingual performance gap.
• Abstract（参考訳）: Vision-Language-Actionモデルは最近、大規模マルチモーダルデータから汎用ロボットポリシーを学習する有望な能力を実証した。 しかしながら、既存のVLAシステムのほとんどは、主に英語の命令で訓練され、評価されており、他の言語での命令を理解し実行する能力は、ほとんど探索されていない。 基礎となる大規模言語モデルは多言語機能を持つことが多いが、これらの多言語機能が訓練中にVLAに移行するかどうかは不明だ。 本稿では,VLAモデルにおける多言語命令に対する最初の体系的研究について述べる。 まず、既存のベンチマークを拡張して、その命令を翻訳することで、多言語命令を構築する。 これらの命令を用いて、シミュレーション設定において、様々なタスクにまたがるいくつかの代表的VLAモデルを評価する。 主に英語の命令に基づいて訓練されたモデルは、基礎となる言語バックボーンが多言語である場合でも、他の言語で評価した場合に顕著な性能劣化を示す。 マルチリンガルのギャップを理解するために,いくつかの知見と分析を行った。 言語間の伝達挙動解析により,性能低下は命令理解と動作実行の両方と相関していることが示された。 表現分析は多言語命令による表現シフトが多言語間ギャップに寄与する可能性を示唆している。 これらの知見に触発され、我々はVLAにおける多言語のパフォーマンス向上戦略をさらに探求する。 本稿では、主成分部分空間を取得し、投影された多言語表現を調整するために主成分分析を活用し、多言語性能のギャップを効果的に軽減する、単純で効果的な多言語微調整手法である多言語主成分アライメントを提案する。

関連論文リスト

• LangGPS: Language Separability Guided Data Pre-Selection for Joint Multilingual Instruction Tuning [49.22807995935406]
  大規模言語モデル(LLM)の多言語命令追従能力と下流性能を改善するための多言語命令チューニングは広く採用されている手法である。 既存の選択法は、しばしばテキストの品質、多様性、タスク関連性といった特徴に基づいており、典型的には多言語データの固有の言語構造を見落としている。 言語分離性によって導かれる軽量な2段階事前選択フレームワークであるLangGPSを提案する。
  論文  参考訳（メタデータ） (2025-11-13T12:02:32Z)
• AlignX: Advancing Multilingual Large Language Models with Multilingual Representation Alignment [46.881574083116085]
  多言語大言語モデル(LLM)には、印象的な多言語理解と生成能力がある。 LLMのパフォーマンスと言語間アライメントは、非支配言語ではしばしば遅れる。 2段階の表現レベルフレームワークである多言語のパフォーマンスギャップを橋渡しするために,AlignXを提案する。
  論文  参考訳（メタデータ） (2025-09-29T06:37:46Z)
• Getting More from Less: Large Language Models are Good Spontaneous Multilingual Learners [67.85635044939836]
  大きな言語モデル(LLM)は印象的な言語機能を示している。 本研究では,LLMの自然多言語アライメント改善について検討する。 質問翻訳データ(すなわち注釈付き回答なし)に基づいて学習したLLMは、英語と幅広い言語との整合を促進できることがわかった。
  論文  参考訳（メタデータ） (2024-05-22T16:46:19Z)
• Investigating Multilingual Instruction-Tuning: Do Polyglot Models Demand for Multilingual Instructions? [42.37657013017192]
  単言語コーパスの代わりに並列で命令チューニングを行うことで、最大9.9%の言語間命令に従うことができることを示す。 また,多言語チャットシナリオにおけるヒューマンベースとGPT-4に基づく評価の整合性を理解するために,人間のアノテーション研究を行う。
  論文  参考訳（メタデータ） (2024-02-21T11:07:07Z)
• Improving In-context Learning of Multilingual Generative Language Models with Cross-lingual Alignment [42.624862172666624]
  本稿では,一対の翻訳文を利用する単純な言語間アライメントフレームワークを提案する。 多言語コントラスト学習を通じて、異なる言語にまたがる内部文表現を整合させる。 実験結果から,事前学習トークンが0.1文未満であっても,アライメントフレームワークは生成言語モデルの言語間相互性を大幅に向上させることが明らかとなった。
  論文  参考訳（メタデータ） (2023-11-14T11:24:08Z)
• Generalizing Multimodal Pre-training into Multilingual via Language Acquisition [54.69707237195554]
  英語のVision-Language Pre-Trainingは、様々な下流タスクで大きな成功を収めた。 この成功を英語以外の言語に一般化するために、Multilingual Vision-Language Pre-Trainingを通じていくつかの取り組みがなされている。 単言語視覚言語事前学習モデルを多言語に容易に一般化できるtextbfMultitextbfLingual textbfAcquisition (MLA) フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-29T08:53:22Z)
• Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of Multilingual Language Models [73.11488464916668]
  本研究では,多言語事前学習プロセスのダイナミクスについて検討する。 我々は,XLM-Rプレトレーニング全体から抽出したチェックポイントを,一連の言語的タスクを用いて探索する。 分析の結果,より複雑なものよりも低レベルな言語スキルが得られ,早期に高い言語性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-05-24T03:35:00Z)
• Towards Developing a Multilingual and Code-Mixed Visual Question Answering System by Knowledge Distillation [20.33235443471006]
  本稿では,英語ビジョンモデル(教師)を,等しく効果的な多言語・コード混合モデル(学生)に拡張する知識蒸留手法を提案する。 また、大規模な多言語およびコード混合VQAデータセットを11の異なる言語セットアップで作成します。 実験結果と深部分析により,11種類の言語セットアップ上で,事前学習した言語ビジョンモデルに対して提案したVQAモデルの有効性が示された。
  論文  参考訳（メタデータ） (2021-09-10T03:47:29Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• Are Multilingual Models Effective in Code-Switching? [57.78477547424949]
  多言語モデルの有効性を検討し,複合言語設定の能力と適応性について検討する。 この結果から,事前学習した多言語モデルでは,コードスイッチングにおける高品質な表現が必ずしも保証されないことが示唆された。
  論文  参考訳（メタデータ） (2021-03-24T16:20:02Z)
• XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization [128.37244072182506]
  言語間TRansfer Evaluation of Multilinguals XTREMEは、40言語および9タスクにわたる多言語表現の言語間一般化能力を評価するためのベンチマークである。 我々は、英語でテストされたモデルは、多くのタスクにおいて人間のパフォーマンスに達するが、言語間変換されたモデルの性能にはまだ大きなギャップがあることを示した。
  論文  参考訳（メタデータ） (2020-03-24T19:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。