論文の概要: Vision-Grounded Semantic Learning and Alignment for Scalable Multilingual Text-Based Person Retrieval
- arxiv url: http://arxiv.org/abs/2611.15328v1
- Date: Wed, 11 Nov 2026 11:07:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.109253
- Title: Vision-Grounded Semantic Learning and Alignment for Scalable Multilingual Text-Based Person Retrieval
- Title(参考訳): スケーラブルな多言語テキストベース人物検索のための視覚領域のセマンティック学習とアライメント
- Abstract要約: MultiPedesは、歩行者中心の大規模な多言語事前トレーニングデータセットである。
ViSeLAはセマンティック・アウェアな多言語学習モジュールを備えた新しいフレームワークである。
多言語と英語のみのTBPRデータセットの実験は、ViSeLAの有効性を実証している。
- 参考スコア(独自算出の注目度): 57.28049349441417
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multilingual Text-Based Person Retrieval (TBPR) aims to retrieve individuals with texts in multiple languages. Despite its practical importance, it has been overlooked by existing research, which mainly focuses on English-only retrieval. The only prior attempt at multilingual TBPR suffers from (1) the absence of a large-scale, multilingual pretraining dataset and (2) a suboptimal model architecture for multilingual text encoding and cross-modal alignment, which employs a shared encoder that overlooks linguistic heterogeneity and relies on English as a pivot for cross-modal alignment, introducing English-centric bias. For this, we contribute MultiPedes, the first large-scale, pedestrian-centric multilingual pretraining dataset. It contains 10 million image-text pairs across four languages, constructed by a multilingual quality-aware data construction pipeline. We also propose ViSeLA (Vision-grounded Semantic Learning and Alignment), a novel framework featuring: (1) a semantic-aware multilingual learning module that extends the mixture-of-experts architecture by routing language-invariant semantics to specialized experts for improved multilingual feature learning; and (2) a vision-grounded cross-modal alignment module that employs a semantic probe to capture fine-grained semantics across modalities, enabling direct cross-modal alignment without relying on a pivot language. Extensive experiments on both multilingual and English-only TBPR datasets demonstrate the effectiveness of ViSeLA. The dataset and code are available at https://github.com/Flame-Chasers/ViSeLA
- Abstract(参考訳): 多言語テキストベースPerson Retrieval(TBPR)は、複数の言語でテキストを持つ個人を検索することを目的としている。
実際の重要性にもかかわらず、英語のみの検索に重点を置く既存の研究によって見過ごされている。
多言語TBPRの試みは,(1)大規模・多言語事前学習データセットの欠如,(2)多言語テキストエンコーディングとクロスモーダルアライメントのための準最適モデルアーキテクチャの欠如に悩まされている。
そこで我々は,歩行者中心の多言語事前学習データセットであるMultiPedesにコントリビュートする。
4つの言語にまたがる1000万のイメージテキストペアが含まれており、多言語で品質を意識したデータ構築パイプラインで構築されている。
1) 言語不変のセマンティックスを特殊専門家にルーティングして、言語不変のセマンティックスアーキテクチャを拡張するセマンティック・アライメント・モジュールと、(2) セマンティック・プローブを用いて、多言語間の微粒なセマンティックスをキャプチャし、ピボット言語に頼ることなく、直接モーダル・アライメントを可能にするビジョン接地型クロスモーダルアライメント・モジュールを提案する。
多言語と英語のみのTBPRデータセットに対する大規模な実験は、ViSeLAの有効性を実証している。
データセットとコードはhttps://github.com/Flame-Chasers/ViSeLAで公開されている。
関連論文リスト
- M3DR: Towards Universal Multilingual Multimodal Document Retrieval [0.0]
M3DR(Multilingual Multimodal Document Retrieval)は,言語間のギャップを埋めるためのフレームワークである。
異なる視覚言語アーキテクチャとモデルサイズにまたがって一般化し、堅牢な言語間およびモーダル間のアライメントを可能にします。
我々のモデルであるNetraEmbedとColNetraEmbedは、言語間検索における150%の相対的な改善で最先端のパフォーマンスを実現しています。
論文 参考訳(メタデータ) (2025-12-03T07:17:59Z) - SwitchLingua: The First Large-Scale Multilingual and Multi-Ethnic Code-Switching Dataset [34.40254709148148]
コードスイッチング(Code-Switching, CS)とは、会話や発話の中で2つ以上の言語を交互に使用する方法である。
この言語現象は、自動音声認識(ASR)システムに課題をもたらす。
textbfSwitchLinguaは、最初の大規模多言語および多民族のコードスイッチングデータセットである。
論文 参考訳(メタデータ) (2025-05-30T05:54:46Z) - BOUQuET: dataset, Benchmark and Open initiative for Universal Quality Evaluation in Translation [28.456351723077088]
BOUQuETはマルチウェイ、マルチ中心、マルチレジストリ/ドメインのデータセットとベンチマークである。
このデータセットは8つの非英語言語で手作りされている。
論文 参考訳(メタデータ) (2025-02-06T18:56:37Z) - Parrot: Multilingual Visual Instruction Tuning [66.65963606552839]
既存の手法では、視覚エンコーダを教師付き微調整(SFT)を介してMLLM(Multimodal Large Language Models)と整列させるのが一般的である。
言語レベルでの視覚的トークンアライメントにテキストガイダンスを活用する新しいアプローチであるPARROTを提案する。
我々は6言語、15カテゴリ、12,000の質問からなる新しいベンチマークであるMassive Multilingual Multimodal Benchmark (MMMB)を紹介する。
論文 参考訳(メタデータ) (2024-06-04T17:56:28Z) - AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages
with Adversarial Examples [51.048234591165155]
本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。
言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。
その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
論文 参考訳(メタデータ) (2021-04-17T20:23:45Z) - UC2: Universal Cross-lingual Cross-modal Vision-and-Language
Pre-training [52.852163987208826]
UC2は、言語間クロスモーダル表現学習のための最初の機械翻訳拡張フレームワークである。
Masked Region-token Modeling (MRTM) と Visual Translation Language Modeling (VTLM) の2つの新しいプリトレーニングタスクを提案する。
提案手法は,英語タスクにおける単言語学習モデルと同等の性能を維持しつつ,多種多様な非英語ベンチマークで新たな最先端を実現する。
論文 参考訳(メタデータ) (2021-04-01T08:30:53Z) - FILTER: An Enhanced Fusion Method for Cross-lingual Language
Understanding [85.29270319872597]
我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。
推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。
この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
論文 参考訳(メタデータ) (2020-09-10T22:42:15Z) - Multi-SimLex: A Large-Scale Evaluation of Multilingual and Cross-Lingual
Lexical Semantic Similarity [67.36239720463657]
Multi-SimLexは、12の異なる言語のデータセットをカバーする大規模な語彙リソースと評価ベンチマークである。
各言語データセットは、意味的類似性の語彙的関係に注釈付けされ、1,888のセマンティック・アライメント・コンセプト・ペアを含む。
言語間の概念の整合性のため、66の言語間セマンティック類似性データセットを提供する。
論文 参考訳(メタデータ) (2020-03-10T17:17:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。