論文の概要: IGLUE: A Benchmark for Transfer Learning across Modalities, Tasks, and Languages

• arxiv url: http://arxiv.org/abs/2201.11732v1
• Date: Thu, 27 Jan 2022 18:53:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-28 13:35:25.187039
• Title: IGLUE: A Benchmark for Transfer Learning across Modalities, Tasks, and Languages
• Title（参考訳）: IGLUE: モダリティ、タスク、言語間のトランスファー学習のベンチマーク
• Authors: Emanuele Bugliarello and Fangyu Liu and Jonas Pfeiffer and Siva Reddy and Desmond Elliott and Edoardo Maria Ponti and Ivan Vuli\'c
• Abstract要約: 画像認識言語理解評価ベンチマークについて紹介する。 IGLUEは、視覚的質問応答、クロスモーダル検索、グラウンドド推論、20言語にわたるグラウンドドエンターテイメントタスクをまとめて提供する。 翻訳-テストの転送はゼロショットの転送よりも優れており、少数ショットの学習は多くのタスクに役立てることが難しい。
• 参考スコア（独自算出の注目度）: 87.5457337866383
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reliable evaluation benchmarks designed for replicability and comprehensiveness have driven progress in machine learning. Due to the lack of a multilingual benchmark, however, vision-and-language research has mostly focused on English language tasks. To fill this gap, we introduce the Image-Grounded Language Understanding Evaluation benchmark. IGLUE brings together - by both aggregating pre-existing datasets and creating new ones - visual question answering, cross-modal retrieval, grounded reasoning, and grounded entailment tasks across 20 diverse languages. Our benchmark enables the evaluation of multilingual multimodal models for transfer learning, not only in a zero-shot setting, but also in newly defined few-shot learning setups. Based on the evaluation of the available state-of-the-art models, we find that translate-test transfer is superior to zero-shot transfer and that few-shot learning is hard to harness for many tasks. Moreover, downstream performance is partially explained by the amount of available unlabelled textual data for pretraining, and only weakly by the typological distance of target-source languages. We hope to encourage future research efforts in this area by releasing the benchmark to the community.
• Abstract（参考訳）: 再現性と包括性のために設計された信頼性の高い評価ベンチマークは、機械学習の進歩を促した。 しかし、多言語ベンチマークがないため、視覚と言語の研究は主に英語のタスクに焦点を当てている。 このギャップを埋めるために,画像に基づく言語理解評価ベンチマークを提案する。 iglueは、既存のデータセットを集約し、新しいones visual question answering、cross-modal retrieval、grounded reasoning、grounded entailmentタスクを20の多様な言語にまたがって作成する。 本ベンチマークでは, ゼロショット設定だけでなく, 新たに定義された少数ショット学習設定においても, 移動学習のための多言語マルチモーダルモデルの評価が可能である。 現状技術モデルの評価結果から, トランスファーがゼロショット転送よりも優れていること, 少数ショット学習が多くのタスクに役立てることが困難であることが判明した。 さらに、ダウンストリーム性能は、事前学習のための未学習テキストデータの量によって部分的に説明され、ターゲットソース言語のタイプ的距離によってのみ弱められる。 ベンチマークをコミュニティにリリースすることで、この分野における今後の研究努力を奨励したいと考えています。

関連論文リスト

• Evaluating and explaining training strategies for zero-shot cross-lingual news sentiment analysis [8.770572911942635]
  いくつかの低リソース言語で新しい評価データセットを導入する。 我々は、機械翻訳の使用を含む、様々なアプローチを実験する。 言語間の相似性は言語間移動の成功を予測するのに十分ではないことを示す。
  論文  参考訳（メタデータ） (2024-09-30T07:59:41Z)
• Analyzing the Evaluation of Cross-Lingual Knowledge Transfer in Multilingual Language Models [12.662039551306632]
  その結果,多言語モデルの高性能化は,実際の言語知識の伝達を必要としない要因が主な原因であることが示唆された。 具体的には、特に低リソース言語において、言語間で転送されたものは、主にデータアーチファクトとバイアスです。
  論文  参考訳（メタデータ） (2024-02-03T09:41:52Z)
• BUFFET: Benchmarking Large Language Models for Few-shot Cross-lingual Transfer [81.5984433881309]
  本稿では,54言語にまたがる15のタスクをシーケンス・ツー・シーケンス・フォーマットで統一するBUFFETを紹介する。 BUFFETは、数発の言語間移動のための厳密で公平な評価フレームワークを確立するように設計されている。 コンテクスト内言語間移動における改善の余地は極めて大きいことが判明した。
  論文  参考訳（メタデータ） (2023-05-24T08:06:33Z)
• Few-Shot Cross-Lingual Stance Detection with Sentiment-Based Pre-Training [32.800766653254634]
  本研究は,現在までの言語間スタンス検出に関する最も包括的な研究である。 6つの言語ファミリーの12言語で15の多様なデータセットを使用します。 実験では,新しいラベルエンコーダの追加を提案し,パターン探索トレーニングを構築した。
  論文  参考訳（メタデータ） (2021-09-13T15:20:06Z)
• From Masked Language Modeling to Translation: Non-English Auxiliary Tasks Improve Zero-shot Spoken Language Understanding [24.149299722716155]
  非常に低リソースの方言を含む6言語ファミリーの13言語を対象に,言語間SlotとIntent Detectionの新しいベンチマークであるxSIDを紹介した。 本研究では,英語SLU学習データと原文,構文,翻訳による非英語補助課題を併用した共同学習手法を提案する。 その結果,マスキング言語モデルによる主タスクの学習はスロットに有効であり,機械翻訳は意図分類に最適であることがわかった。
  論文  参考訳（メタデータ） (2021-05-15T23:51:11Z)
• XTREME-R: Towards More Challenging and Nuanced Multilingual Evaluation [93.80733419450225]
  本稿では,言語間移動学習の現状を解析する。 XTREMEを10種類の自然言語理解タスクからなるXTREME-Rに拡張する。
  論文  参考訳（メタデータ） (2021-04-15T12:26:12Z)
• UC2: Universal Cross-lingual Cross-modal Vision-and-Language Pre-training [52.852163987208826]
  UC2は、言語間クロスモーダル表現学習のための最初の機械翻訳拡張フレームワークである。 Masked Region-token Modeling (MRTM) と Visual Translation Language Modeling (VTLM) の2つの新しいプリトレーニングタスクを提案する。 提案手法は,英語タスクにおける単言語学習モデルと同等の性能を維持しつつ,多種多様な非英語ベンチマークで新たな最先端を実現する。
  論文  参考訳（メタデータ） (2021-04-01T08:30:53Z)
• XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
  XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。 提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
  論文  参考訳（メタデータ） (2020-05-01T12:22:33Z)
• XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization [128.37244072182506]
  言語間TRansfer Evaluation of Multilinguals XTREMEは、40言語および9タスクにわたる多言語表現の言語間一般化能力を評価するためのベンチマークである。 我々は、英語でテストされたモデルは、多くのタスクにおいて人間のパフォーマンスに達するが、言語間変換されたモデルの性能にはまだ大きなギャップがあることを示した。
  論文  参考訳（メタデータ） (2020-03-24T19:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。