論文の概要: Babel-ImageNet: Massively Multilingual Evaluation of Vision-and-Language Representations

• arxiv url: http://arxiv.org/abs/2306.08658v2
• Date: Wed, 12 Jun 2024 09:33:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-14 01:42:49.750520
• Title: Babel-ImageNet: Massively Multilingual Evaluation of Vision-and-Language Representations
• Title（参考訳）: Babel-ImageNet:視覚・言語表現の多言語的評価
• Authors: Gregor Geigle, Radu Timofte, Goran Glavaš,
• Abstract要約: Babel-ImageNetは,100言語へのイメージネットラベルの部分的翻訳を提供する,多言語ベンチマークである。 我々は,11の公開多言語CLIPモデルをベンチマークで評価し,イングリッシュイメージネットの性能と高ソース言語との差を顕著に示した。 パラメータ効率のよい言語特化学習を行う低リソース言語に対して,多言語CLIPの性能を劇的に向上させることができることを示す。
• 参考スコア（独自算出の注目度）: 53.89380284760555
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-and-language (VL) models with separate encoders for each modality (e.g., CLIP) have become the go-to models for zero-shot image classification and image-text retrieval. They are, however, mostly evaluated in English as multilingual benchmarks are limited in availability. We introduce Babel-ImageNet, a massively multilingual benchmark that offers (partial) translations of ImageNet labels to 100 languages, built without machine translation or manual annotation. We instead automatically obtain reliable translations by linking them -- via shared WordNet synsets -- to BabelNet, a massively multilingual lexico-semantic network. We evaluate 11 public multilingual CLIP models on zero-shot image classification (ZS-IC) on our benchmark, demonstrating a significant gap between English ImageNet performance and that of high-resource languages (e.g., German or Chinese), and an even bigger gap for low-resource languages (e.g., Sinhala or Lao). Crucially, we show that the models' ZS-IC performance highly correlates with their performance in image-text retrieval, validating the use of Babel-ImageNet to evaluate multilingual models for the vast majority of languages without gold image-text data. Finally, we show that the performance of multilingual CLIP can be drastically improved for low-resource languages with parameter-efficient language-specific training. We make our code and data publicly available: \url{https://github.com/gregor-ge/Babel-ImageNet}
• Abstract（参考訳）: モダリティごとに異なるエンコーダ(例えばCLIP)を持つビジョン・アンド・ランゲージ(VL)モデルは、ゼロショット画像分類と画像テキスト検索のためのゴートモデルとなっている。 しかし、多言語ベンチマークは可用性に制限があるため、主に英語で評価されている。 Babel-ImageNetは、100言語へのImageNetラベルの(部分的な)翻訳を提供する大規模なマルチ言語ベンチマークであり、機械翻訳や手動のアノテーションなしで構築されている。 その代わりに、WordNetシンセセットを共有することで、信頼性の高い翻訳をBabelNetにリンクすることで、自動的に取得します。 我々は,ゼロショット画像分類(ZS-IC)に基づく11の公開多言語CLIPモデルをベンチマークで評価し,高ソース言語(例えば,ドイツ語,中国語)と低ソース言語(例えば,シンハラ,ラオ)との差を顕著に示した。 重要な点として,本モデルにおけるZS-IC性能と画像テキスト検索の性能の相関が強く,ゴールド画像テキストデータを持たない言語の大部分を対象とした多言語モデルの評価にBabel-ImageNetを用いたことを検証する。 最後に,パラメータ効率のよい言語特化学習を行う低リソース言語に対して,多言語CLIPの性能を劇的に向上させることができることを示す。 コードとデータを公開します。 \url{https://github.com/gregor-ge/Babel-ImageNet}

関連論文リスト

• Large Multilingual Models Pivot Zero-Shot Multimodal Learning across Languages [76.35234803589412]
  MPMは、英語以外の言語で大規模なマルチモーダルモデルを訓練するための効果的な訓練パラダイムである。 画像・テキスト・テキスト・画像生成における大規模なマルチモーダルモデルVisCPMを構築し,中国語の最先端(オープンソース)性能を実現する。
  論文  参考訳（メタデータ） (2023-08-23T09:55:41Z)
• Multilingual Conceptual Coverage in Text-to-Image Models [98.80343331645626]
  コンセプチュアル・カバー・アクロス言語(Conceptual Coverage Across Languages, CoCo-CroLa)とは、任意の生成的テキスト・画像システムにおいて、有形名詞の観点から学習言語に多言語対応を提供する程度をベンチマークする手法である。 各モデルについて、ソースコード中の一連の有形名詞に生成される画像の集団と、対象言語に翻訳された各名詞に生成された画像の集団とを比較することにより、ソース言語に対して与えられた対象言語の「概念的カバレッジ」を評価することができる。
  論文  参考訳（メタデータ） (2023-06-02T17:59:09Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• Contrastive Language-Image Pre-training for the Italian Language [4.804798944613199]
  イタリア語(CLIP-Italian)における最初のCLIPモデルについて述べる。 その結果,CLIP-Italianは画像検索やゼロショット分類のタスクにおいて,多言語CLIPモデルよりも優れていた。
  論文  参考訳（メタデータ） (2021-08-19T13:53:47Z)
• UC2: Universal Cross-lingual Cross-modal Vision-and-Language Pre-training [52.852163987208826]
  UC2は、言語間クロスモーダル表現学習のための最初の機械翻訳拡張フレームワークである。 Masked Region-token Modeling (MRTM) と Visual Translation Language Modeling (VTLM) の2つの新しいプリトレーニングタスクを提案する。 提案手法は,英語タスクにおける単言語学習モデルと同等の性能を維持しつつ,多種多様な非英語ベンチマークで新たな最先端を実現する。
  論文  参考訳（メタデータ） (2021-04-01T08:30:53Z)
• GLUECoS : An Evaluation Benchmark for Code-Switched NLP [17.066725832825423]
  コード切替言語に対する評価ベンチマーク GLUECoS を提案する。 英語・ヒンディー語・英語・スペイン語におけるNLP課題について報告する。 我々は、人工的に生成されたコード切替データに基づいて、多言語モデルを微調整する。
  論文  参考訳（メタデータ） (2020-04-26T13:28:34Z)
• Learning to Scale Multilingual Representations for Vision-Language Tasks [51.27839182889422]
  SMALRの有効性は、これまでビジョン言語タスクでサポートされた2倍以上の10の多言語で実証されている。 単語の埋め込み手法と比較して,訓練パラメータの1/5以下で,複数言語による画像文検索と先行作業の3～4%の性能評価を行った。
  論文  参考訳（メタデータ） (2020-04-09T01:03:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。