論文の概要: LangGap: Diagnosing and Closing the Language Gap in Vision-Language-Action Models

• arxiv url: http://arxiv.org/abs/2603.00592v1
• Date: Sat, 28 Feb 2026 10:53:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-03 19:50:56.281603
• Title: LangGap: Diagnosing and Closing the Language Gap in Vision-Language-Action Models
• Title（参考訳）: LangGap:視覚-言語-アクションモデルにおける言語ギャップの診断と閉鎖
• Authors: Yuchen Hou, Lin Zhao,
• Abstract要約: VLA(Vision-Language-Action)モデルは標準ベンチマークで95%以上の成功を収めている。 現状のVLAモデルは言語命令をほとんど無視していることがわかった。 本稿では,4次元意味摂動法に基づくLangGapベンチマークを構築した。
• 参考スコア（独自算出の注目度）: 4.54067274409672
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language-Action (VLA) models achieve over 95% success on standard benchmarks. However, through systematic experiments, we find that current state-of-the-art VLA models largely ignore language instructions. Prior work lacks: (1) systematic semantic perturbation diagnostics, (2) a benchmark that forces language understanding by design, and (3) linguistically diverse training data. This paper constructs the LangGap benchmark, based on a four-dimensional semantic perturbation method -- varying instruction semantics while keeping the tabletop layout fixed -- revealing language understanding deficits in π0.5. Existing benchmarks like LIBERO assign only one task per layout, underutilizing available objects and target locations; LangGap fully diversifies pick-and-place tasks under identical layouts, forcing models to truly understand language. Experiments show that targeted data augmentation can partially close the language gap -- success rate improves from 0% to 90% with single-task training, and 0% to 28% with multi-task training. However, as semantic diversity of extended tasks increases, model learning capacity proves severely insufficient; even trained tasks perform poorly. This reveals a fundamental challenge for VLA models in understanding diverse language instructions -- precisely the long-term value of LangGap.
• Abstract（参考訳）: VLA(Vision-Language-Action)モデルは標準ベンチマークで95%以上の成功を収めている。 しかし、体系的な実験により、現在の最先端のVLAモデルは言語命令をほとんど無視していることがわかった。 1)系統的な意味摂動診断,(2)設計による言語理解を強制するベンチマーク,(3)言語学的に多様な訓練データ。 本稿では,4次元意味摂動法に基づくLangGapベンチマークを構築した。 LIBEROのような既存のベンチマークでは、利用可能なオブジェクトとターゲットロケーションを使用せずに、レイアウトごとにひとつのタスクを割り当てている。 実験によると、ターゲットとするデータ拡張は言語のギャップを部分的に埋めることが可能であり、成功率はシングルタスクトレーニングで0%から90%、マルチタスクトレーニングで0%から28%に改善されている。 しかしながら、拡張タスクのセマンティックな多様性が増大するにつれて、モデル学習能力は著しく不十分であることが証明される。 これは、多種多様な言語命令を理解する上でのVLAモデルに対する根本的な課題、まさにLangGapの長期的な価値を明らかにします。

関連論文リスト

• Language Steering for Multilingual In-Context Learning [10.932074928744568]
  非英語での大規模言語モデルのパフォーマンスは、英語よりもかなり劣っている。 トレーニング不要な言語ステアリングアプローチである言語ベクトルを提案する。 テスト対象のタスクや言語にまたがるベースライン上でのマルチランガル・イン・コンテクスト学習における一貫した改善を示す。
  論文  参考訳（メタデータ） (2026-02-02T16:52:09Z)
• Cross-Lingual Pitfalls: Automatic Probing Cross-Lingual Weakness of Multilingual Large Language Models [55.14276067678253]
  本稿では,Large Language Models (LLMs) における言語間関係の弱点を効率的に同定するための新しい手法を提案する。 この手法を用いて16言語で6,000以上のバイリンガルペアからなる新しいデータセットを構築し、最先端のモデルにおいても弱点を明らかにする効果を実証した。 さらに,言語的類似性と言語間の弱点との関係について検討し,言語的関連言語が類似した演奏パターンを共有することを明らかにした。
  論文  参考訳（メタデータ） (2025-05-24T12:31:27Z)
• SLAM: Towards Efficient Multilingual Reasoning via Selective Language Alignment [78.4550589538805]
  本稿では,多言語性を扱うレイヤを正確に識別し,微調整する,効率的な多言語推論アライメント手法を提案する。 実験の結果, SLAM法は7Bおよび13BLLMのパラメータの6.5-8%を含む6層のフィードフォワードサブ層のみをチューニングできることがわかった。
  論文  参考訳（メタデータ） (2025-01-07T10:29:43Z)
• Pre-Trained Language-Meaning Models for Multilingual Parsing and Generation [14.309869321407522]
  談話表現構造(DRS)に基づく多言語事前学習言語意味モデルを導入する。 DRSは言語中立であるため、非英語タスクの性能向上のために言語間移動学習が採用されている。 自動評価の結果,本手法は多言語DSS解析とDSS-to-text生成の両タスクにおいて,最高の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-05-31T19:00:33Z)
• Por Qu\'e N\~ao Utiliser Alla Spr{\aa}k? Mixed Training with Gradient Optimization in Few-Shot Cross-Lingual Transfer [2.7213511121305465]
  本研究では,ソースデータとターゲットデータの両方を学習する1ステップ混合学習手法を提案する。 我々は1つのモデルを使って全てのターゲット言語を同時に処理し、過度に言語固有のモデルを避ける。 提案手法は,全タスクの最先端性能と目標適応性能を高いマージンで向上させる。
  論文  参考訳（メタデータ） (2022-04-29T04:05:02Z)
• Bridging Cross-Lingual Gaps During Leveraging the Multilingual Sequence-to-Sequence Pretraining for Text Generation [80.16548523140025]
  プレトレインとファインチューンの間のギャップを埋めるために、コードスイッチングの復元タスクを追加して、バニラプレトレイン-ファインチューンパイプラインを拡張します。 提案手法は,言語間文表現距離を狭くし,簡単な計算コストで低周波語翻訳を改善する。
  論文  参考訳（メタデータ） (2022-04-16T16:08:38Z)
• IGLUE: A Benchmark for Transfer Learning across Modalities, Tasks, and Languages [87.5457337866383]
  画像認識言語理解評価ベンチマークについて紹介する。 IGLUEは、視覚的質問応答、クロスモーダル検索、グラウンドド推論、20言語にわたるグラウンドドエンターテイメントタスクをまとめて提供する。 翻訳-テストの転送はゼロショットの転送よりも優れており、少数ショットの学習は多くのタスクに役立てることが難しい。
  論文  参考訳（メタデータ） (2022-01-27T18:53:22Z)
• From Good to Best: Two-Stage Training for Cross-lingual Machine Reading Comprehension [51.953428342923885]
  モデル性能を向上させるための2段階のアプローチを開発する。 我々は、トップk予測が正確な答えを含む確率を最大化するために、ハードラーニング(HL)アルゴリズムを設計する。 第2段階では, 正解と他の候補との微妙な違いを学習するために, 解答を意識したコントラスト学習機構が開発された。
  論文  参考訳（メタデータ） (2021-12-09T07:31:15Z)
• Cross-lingual Spoken Language Understanding with Regularized Representation Alignment [71.53159402053392]
  外部リソースを使わずに言語間で単語レベルの表現と文レベルの表現を整列する正規化手法を提案する。 言語間言語理解タスクの実験により、我々のモデルは、数ショットとゼロショットの両方のシナリオにおいて、最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-30T08:56:53Z)
• Zero-Shot Cross-Lingual Transfer with Meta Learning [45.29398184889296]
  英語以外の言語ではほとんど、あるいは全くデータがない場合に、複数の言語でのトレーニングモデルの設定を同時に検討する。 メタラーニングを用いて、この挑戦的な設定にアプローチできることが示される。 我々は、標準教師付きゼロショットのクロスランガルと、異なる自然言語理解タスクのための数ショットのクロスランガル設定を用いて実験を行った。
  論文  参考訳（メタデータ） (2020-03-05T16:07:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。