論文の概要: Where Do Multilingual Vision-Language Encoders Fail on Low-Resource Languages?
- arxiv url: http://arxiv.org/abs/2608.30725v1
- Date: Mon, 31 Aug 2026 12:59:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.397811
- Title: Where Do Multilingual Vision-Language Encoders Fail on Low-Resource Languages?
- Title（参考訳）: マルチリンガル・ビジョンランゲージ・エンコーダは低リソース言語で機能しないのか?
- Abstract要約: 最近の多言語ビジョン-言語エンコーダは、数百の言語を単一のモデルでカバーしている。
低リソース言語(LRL、スワヒリ語など)上の2つの最先端インスタンス検索では、高リソース言語(HRL、英語など)を30ドル以上で追跡する。
トレーニングされたエンコーダのどこにこのギャップがあるのかを問う。
- 参考スコア（独自算出の注目度）: 3.8556500292682716
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent multilingual vision--language encoders cover hundreds of languages in a single model, yet on two state-of-the-art instances retrieval on low-resource languages (LRL; e.g. Swahili) trails high-resource ones (HRL; e.g. English) by $30^+$\,pp. We ask where in the trained encoder this gap is located. Prior modality-gap and cross-lingual subspace work suggests a linear language direction at the output crowds out alignment-relevant geometry. We falsify this: LEACE drives the linear language classifier from $>99\%$ to near chance and iterated INLP to $37$--$50\%$ while LRL retrieval moves within $\pm 1.5$\,pp and all tier means within $2.2$\,pp, tracking random controls. The linear bias is a \emph{symptom}, not the cause. Instead, the alignment-causal factor lies along the encoder's forward path: the EOS (end-of-sequence) hidden state's per-language trajectory diverges with depth. Substituting the EOS with its parallel English value three blocks before the projector lifts Swahili from $22.1\%$ to $69.1\%$ on one encoder (and reproduces on the other); three controls rule out pooled-position tautology and English specificity. A front-layer trunk that pulls each language's projection toward the parallel-content centroid corroborates the diagnosis at training time, recovering $+9.6$ / $+17.1$\,pp on LRL XM3600 retrieval (1{,}000-image subset), with consistent gains across three further benchmarks while preserving HRL performance.
- Abstract（参考訳）: 最近の多言語視覚-言語エンコーダは、単一のモデルで数百の言語をカバーするが、低リソース言語(LRL; e g Swahili)上の2つの最先端インスタンス検索では、30^+$\,ppで高リソース言語(HRL; e g English)をパスする。
トレーニングされたエンコーダのどこにこのギャップがあるのかを問う。
事前のモダリティギャップと言語間部分空間の作業は、出力における線形言語方向がアライメント関連幾何を網羅していることを示唆している。
LEACEは線形言語分類器を$>99\%からほぼ偶然に駆動し、INLPを37$--$50\%に反復し、LRL検索は$\pm 1.5$\,ppで動き、全ての階層は$2.2$\,ppでランダム制御を追跡します。
線型バイアスは、原因ではなく \emph{symptom} である。
その代わり、アライメント・因果関係はエンコーダの前方経路に沿ってあり、EOS (end-of-sequence) 隠れた状態の言語毎の軌道は深さで分岐する。
プロジェクターがスワヒリを2.2.1.%から6.9.1.%に引き上げる前に、EOSを平行な英語の値で置き換えること。
並列コンテンツセントロイドに向かって各言語のプロジェクションをプルするフロント層トランクは、トレーニング時に診断を裏付け、LRL XM3600検索(1{,}000-image subset)で$+9.6$ / $+17.1$\,ppを回復する。
関連論文リスト
- Languages are Modalities: Cross-Lingual Alignment via Encoder Injection [0.8461674097042394]
本稿では、トークン化器を変更したり、デコーダを再訓練したりすることなく、命令調整されたデコーダを条件とした効率的な言語・モダリティ手法を提案する。
LLINKはバイリンガル検索を大幅に改善し、ベースモデルよりも81.3%の嗜好を得る。
改良は, トークン化インフレーションの低減と, より強いクロスリンガルアライメントに起因することが判明した。
論文 参考訳（メタデータ） (2025-10-31T07:43:21Z) - DuoLens: A Framework for Robust Detection of Machine-Generated Multilingual Text and Code [5.38764489657443]
多言語テキストとソースコードを生成するLarge Language Models (LLMs) は、マシン生成コンテンツ検出器がドメイン全体にわたって正確かつ効率的であることの必須条件を増大させるだけである。
現在の検出器は、Fast DetectGPTやGPTZeroのようなゼロショット法を主に利用しており、高い計算コストまたは十分な精度が欠如している。
本稿では,エンコーダのみのSmall Language Models (SLM) の微調整,特にRoBERTAとCodeBERTaの事前学習モデルについて,ソースコードやその他の自然言語に関する特別なデータセットを用いて提案する。
論文 参考訳（メタデータ） (2025-10-21T00:17:00Z) - Breaking the Script Barrier in Multilingual Pre-Trained Language Models with Transliteration-Based Post-Training Alignment [50.27950279695363]
転送性能は、低リソースのターゲット言語が高リソースのソース言語とは異なるスクリプトで書かれている場合、しばしば妨げられる。
本論文は,この問題に対処するために翻訳を用いた最近の研究に触発されて,翻訳に基づくポストプレトレーニングアライメント(PPA)手法を提案する。
論文 参考訳（メタデータ） (2024-06-28T08:59:24Z) - How do Large Language Models Handle Multilingualism? [81.15060972112563]
本研究では,大規模言語モデル(LLM)が多言語モデルをどのように扱うかを検討する。
LLMはまずクエリを理解し、タスク解決のために多言語入力を英語に変換する。
中間層では、英語を思考に用い、自己意識とフィードフォワード構造を持つ多言語知識を取り入れている。
論文 参考訳（メタデータ） (2024-02-29T02:55:26Z) - LAMPAT: Low-Rank Adaption for Multilingual Paraphrasing Using Adversarial Training [19.173992333194683]
パラフレーズ(英: Paraphrase)とは、異なる単語や文構造を用いて同じ意味を伝えるテキストである。
これまでの研究は機械翻訳の知識を活用し、ゼロショット機械翻訳によるパラフレーズを同じ言語で生成してきた。
単言語データセットが人間に似た多文を生成するのに十分である最初の教師なし多言語パラフレーズモデル LAMPAT を提案する。
論文 参考訳（メタデータ） (2024-01-09T04:19:16Z) - ZGUL: Zero-shot Generalization to Unseen Languages using Multi-source
Ensembling of Language Adapters [29.211715245603234]
我々は、言語アダプタ(LA)を用いて、NLPタスクにおけるゼロショット言語間移動の問題に取り組む。
トレーニング対象のLAはラベルのないデータを必要とするが、リソースの低い言語では簡単には利用できない。
ZGULを(1)ラベルのないデータか(2)ターゲット言語で使用可能な数ショットのトレーニング例のどちらかに拡張します。
論文 参考訳（メタデータ） (2023-10-25T06:22:29Z) - Self-Augmentation Improves Zero-Shot Cross-Lingual Transfer [92.80671770992572]
言語間移動は多言語NLPにおける中心的なタスクである。
このタスクの以前の作業では、並列コーパス、バイリンガル辞書、その他の注釈付きアライメントデータを使用していた。
ゼロショットの言語間移動を改善するため, 単純で効果的なSALT法を提案する。
論文 参考訳（メタデータ） (2023-09-19T19:30:56Z) - On the Off-Target Problem of Zero-Shot Multilingual Neural Machine
Translation [104.85258654917297]
識別対象言語信号の符号化に失敗すると、オフターゲットとなり、語彙距離が近くなることが判明した。
多言語語彙構築のための言語認識語彙共有(LAVS)を提案する。
我々は11言語で多言語機械翻訳ベンチマーク実験を行った。
論文 参考訳（メタデータ） (2023-05-18T12:43:31Z) - Explicit Alignment Objectives for Multilingual Bidirectional Encoders [111.65322283420805]
本稿では,多言語エンコーダAMBER(Aligned Multilingual Bi-directional EncodeR)の学習方法を提案する。
AMBERは、異なる粒度で多言語表現を整列する2つの明示的なアライメント目標を使用して、追加の並列データに基づいて訓練される。
実験結果から、AMBERは、シーケンスタグ付けで1.1平均F1スコア、XLMR-大規模モデル上での検索で27.3平均精度を得ることがわかった。
論文 参考訳（メタデータ） (2020-10-15T18:34:13Z) - Inducing Language-Agnostic Multilingual Representations [61.97381112847459]
言語間の表現は、世界中のほとんどの言語でNLP技術が利用可能になる可能性がある。
i) 対象言語のベクトル空間をピボットソース言語に再配置すること、(ii) 言語固有の手段と分散を取り除くこと、(ii) 副産物としての埋め込みの識別性を向上すること、(iii) 形態的制約や文の並べ替えを除去することによって言語間の入力類似性を高めること、の3つのアプローチを検討する。
論文 参考訳（メタデータ） (2020-08-20T17:58:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。