論文の概要: cViL: Cross-Lingual Training of Vision-Language Models using Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2206.03354v2
• Date: Thu, 9 Jun 2022 05:40:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-10 11:00:06.169461
• Title: cViL: Cross-Lingual Training of Vision-Language Models using Knowledge Distillation
• Title（参考訳）: cViL:知識蒸留を用いた視覚言語モデルの言語間学習
• Authors: Kshitij Gupta, Devansh Gautam, Radhika Mamidi
• Abstract要約: 本稿では、英語のみの視覚言語モデルを用いて、対象言語に対する単言語モデルを訓練するパイプラインを提案する。 日本語とヒンディー語で大規模な視覚的質問応答データセットをリリースする。 我々のパイプラインは、それぞれ4.4%と13.4%の精度で現在の最先端モデルよりも優れています。
• 参考スコア（独自算出の注目度）: 6.381149074212897
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-and-language tasks are gaining popularity in the research community, but the focus is still mainly on English. We propose a pipeline that utilizes English-only vision-language models to train a monolingual model for a target language. We propose to extend OSCAR+, a model which leverages object tags as anchor points for learning image-text alignments, to train on visual question answering datasets in different languages. We propose a novel approach to knowledge distillation to train the model in other languages using parallel sentences. Compared to other models that use the target language in the pretraining corpora, we can leverage an existing English model to transfer the knowledge to the target language using significantly lesser resources. We also release a large-scale visual question answering dataset in Japanese and Hindi language. Though we restrict our work to visual question answering, our model can be extended to any sequence-level classification task, and it can be extended to other languages as well. This paper focuses on two languages for the visual question answering task - Japanese and Hindi. Our pipeline outperforms the current state-of-the-art models by a relative increase of 4.4% and 13.4% respectively in accuracy.
• Abstract（参考訳）: 視覚と言語に関するタスクは研究コミュニティで人気を集めているが、依然として英語に重点を置いている。 対象言語に対する単言語モデルの学習に英語のみの視覚モデルを用いたパイプラインを提案する。 我々は,オブジェクトタグをアンカーポイントとして活用して画像テキストアライメントを学習するモデルであるOSCAR+を拡張し,異なる言語での視覚的質問応答データセットのトレーニングを行う。 並列文を用いた他言語におけるモデルを学習するための知識蒸留の新しい手法を提案する。 事前学習コーパスで対象言語を使用する他のモデルと比較して,既存の英語モデルを利用して,より少ないリソースを用いて対象言語に知識を伝達することができる。 また,日本語とヒンディー語による大規模ビジュアル質問応答データセットも公開している。 我々は視覚的な質問応答に限定するが、我々のモデルは任意のシーケンスレベルの分類タスクに拡張でき、他の言語にも拡張できる。 本稿では,視覚的質問応答課題である日本語とヒンディー語の2つの言語に注目した。 我々のパイプラインは、それぞれ4.4%と13.4%の精度で現在の最先端モデルよりも優れています。

関連論文リスト

• LEIA: Facilitating Cross-lingual Knowledge Transfer in Language Models with Entity-based Data Augmentation [21.980770995466134]
  言語間で整列したウィキペディアのエンティティ名を利用する言語適応チューニング手法であるLEIAを紹介する。 この方法は、ターゲット言語コーパスを英語のエンティティ名で拡張し、左から右への言語モデリングを用いてモデルを訓練することを含む。
  論文  参考訳（メタデータ） (2024-02-18T07:24:34Z)
• Learning Cross-lingual Visual Speech Representations [108.68531445641769]
  言語横断的な自己監督型視覚表現学習は、ここ数年、研究トピックとして成長している。 我々は最近提案したRAVEn(Raw Audio-Visual Speechs)フレームワークを用いて,未ラベルデータを用いた音声-視覚モデルの事前学習を行う。 1)データ量が多いマルチ言語モデルはモノリンガルモデルよりも優れているが、データの量を維持すると、モノリンガルモデルの性能が向上する傾向にある。
  論文  参考訳（メタデータ） (2023-03-14T17:05:08Z)
• Towards Developing a Multilingual and Code-Mixed Visual Question Answering System by Knowledge Distillation [20.33235443471006]
  本稿では,英語ビジョンモデル(教師)を,等しく効果的な多言語・コード混合モデル(学生)に拡張する知識蒸留手法を提案する。 また、大規模な多言語およびコード混合VQAデータセットを11の異なる言語セットアップで作成します。 実験結果と深部分析により,11種類の言語セットアップ上で,事前学習した言語ビジョンモデルに対して提案したVQAモデルの有効性が示された。
  論文  参考訳（メタデータ） (2021-09-10T03:47:29Z)
• Cross-lingual Emotion Detection [6.767035411834297]
  我々は英語をアラビア語とスペイン語をターゲット言語とする原語とみなしている。 対象言語データに基づいてトレーニングされたBERTベースのモノリンガルモデルは,それぞれアラビア語とスペイン語の絶対ジャカードスコアを4%上回り,SOTA(State-of-the-art)を5%上回りました。 次に、英語データのみを用いた言語間アプローチを用いることで、アラビア語とスペイン語のBERTモデルの90%以上と80%以上の相対的有効性を達成できることを示す。
  論文  参考訳（メタデータ） (2021-06-10T19:52:06Z)
• UC2: Universal Cross-lingual Cross-modal Vision-and-Language Pre-training [52.852163987208826]
  UC2は、言語間クロスモーダル表現学習のための最初の機械翻訳拡張フレームワークである。 Masked Region-token Modeling (MRTM) と Visual Translation Language Modeling (VTLM) の2つの新しいプリトレーニングタスクを提案する。 提案手法は,英語タスクにおける単言語学習モデルと同等の性能を維持しつつ,多種多様な非英語ベンチマークで新たな最先端を実現する。
  論文  参考訳（メタデータ） (2021-04-01T08:30:53Z)
• Read Like Humans: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Recognition [80.446770909975]
  言語知識はシーンのテキスト認識に非常に有益である。 エンドツーエンドのディープネットワークで言語規則を効果的にモデル化する方法はまだ研究の課題です。 シーンテキスト認識のための自律的双方向反復型ABINetを提案する。
  論文  参考訳（メタデータ） (2021-03-11T06:47:45Z)
• Cross-lingual Machine Reading Comprehension with Language Branch Knowledge Distillation [105.41167108465085]
  言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。 本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。 LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。 複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
  論文  参考訳（メタデータ） (2020-10-27T13:12:17Z)
• Vokenization: Improving Language Understanding with Contextualized, Visual-Grounded Supervision [110.66085917826648]
  我々は,言語トークンを関連画像に文脈的にマッピングすることで,言語のみのデータに対するマルチモーダルアライメントを補間する手法を開発した。 語彙化」は比較的小さな画像キャプションデータセットに基づいて訓練され、それを大規模言語コーパスのための語彙生成に適用する。 これらの文脈的に生成された語彙を用いて学習し、視覚的に制御された言語モデルにより、複数の純粋言語タスクにおいて、自己教師による代替よりも一貫した改善が示される。
  論文  参考訳（メタデータ） (2020-10-14T02:11:51Z)
• InfoXLM: An Information-Theoretic Framework for Cross-Lingual Language Model Pre-Training [135.12061144759517]
  本稿では,言語間言語モデルの事前学習を定式化する情報理論フレームワークを提案する。 コントラスト学習に基づく新しい事前学習課題を提案する。 単言語コーパスと並列コーパスの両方を活用することで、事前訓練されたモデルの言語間変換性を向上させるために、プレテキストを共同で訓練する。
  論文  参考訳（メタデータ） (2020-07-15T16:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。