論文の概要: Multilingual Multimodality: A Taxonomical Survey of Datasets,
Techniques, Challenges and Opportunities
- arxiv url: http://arxiv.org/abs/2210.16960v1
- Date: Sun, 30 Oct 2022 21:46:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-01 17:10:12.049813
- Title: Multilingual Multimodality: A Taxonomical Survey of Datasets,
Techniques, Challenges and Opportunities
- Title(参考訳): 多言語多様性:データセット、技術、挑戦、機会に関する分類学的調査
- Authors: Khyathi Raghavi Chandu, Alborz Geramifard
- Abstract要約: マルチ言語とマルチモーダル(MultiX)ストリームの統合について検討する。
我々は、並列アノテーションで研究された言語、金または銀のデータを調べ、これらのモダリティと言語がモデリングにおいてどのように相互作用するかを理解する。
モデリングアプローチの長所と短所とともに、どのシナリオを確実に使用できるのかをよりよく理解するために、モデリングアプローチについて説明します。
- 参考スコア(独自算出の注目度): 10.721189858694396
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Contextualizing language technologies beyond a single language kindled
embracing multiple modalities and languages. Individually, each of these
directions undoubtedly proliferated into several NLP tasks. Despite this
momentum, most of the multimodal research is primarily centered around English
and multilingual research is primarily centered around contexts from text
modality. Challenging this conventional setup, researchers studied the
unification of multilingual and multimodal (MultiX) streams. The main goal of
this work is to catalogue and characterize these works by charting out the
categories of tasks, datasets and methods to address MultiX scenarios. To this
end, we review the languages studied, gold or silver data with parallel
annotations, and understand how these modalities and languages interact in
modeling. We present an account of the modeling approaches along with their
strengths and weaknesses to better understand what scenarios they can be used
reliably. Following this, we present the high-level trends in the overall
paradigm of the field. Finally, we conclude by presenting a road map of
challenges and promising research directions.
- Abstract(参考訳): コンテキスト化 単一言語を超えた言語技術 kindled では、複数のモダリティと言語を取り入れている。
それぞれの方向は間違いなくいくつかのNLPタスクに拡大した。
この勢いにもかかわらず、マルチモーダル研究は主に英語を中心とし、多言語研究はテキストモダリティの文脈を中心にしている。
従来の設定に従って、研究者はマルチランガルストリームとマルチモーダルストリーム(MultiX)の統一を研究した。
この作業の主な目的は、MultiXシナリオに対処するためのタスク、データセット、メソッドのカテゴリをチャート化することで、これらの作業のカタログ化と特徴付けを行うことである。
この目的のために、並列アノテーションを用いたゴールドまたはシルバーの言語をレビューし、これらのモダリティと言語がモデリングにおいてどのように相互作用するかを理解する。
我々は、モデリングアプローチとその強みと弱みについて説明し、それらが確実に使用できるシナリオをよりよく理解する。
次に,この分野の全体パラダイムにおけるハイレベルなトレンドを紹介する。
最後に,課題と有望な研究方向性のロードマップを提示する。
関連論文リスト
- Multimodal Large Language Models: A Survey [36.06016060015404]
マルチモーダル言語モデルは、画像、テキスト、言語、音声、その他の異種性など、複数のデータタイプを統合する。
本稿では、マルチモーダルの概念を定義し、マルチモーダルアルゴリズムの歴史的展開を検討することから始める。
実用的なガイドが提供され、マルチモーダルモデルの技術的な側面に関する洞察を提供する。
最後に,マルチモーダルモデルの適用について検討し,開発に伴う課題について考察する。
論文 参考訳(メタデータ) (2023-11-22T05:15:12Z) - TextBind: Multi-turn Interleaved Multimodal Instruction-following in the
Wild [107.3667463295682]
マルチターンインターリーブ型インストラクションフォロー機能を備えた,より大規模な言語モデルを実現するための,ほとんどアノテーションのないフレームワークであるTextBindを紹介する。
提案手法では,画像キャプチャペアのみが必要であり,言語モデルからマルチターンマルチモーダル・インストラクション・レスポンス・会話を生成する。
そこで我々は,画像エンコーダとデコーダモデルをシームレスに統合する言語モデル中心アーキテクチャであるMIMを考案した。
論文 参考訳(メタデータ) (2023-09-14T15:34:01Z) - Beyond Contrastive Learning: A Variational Generative Model for
Multilingual Retrieval [109.62363167257664]
本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。
我々のモデルは、$N$言語で並列データを操作する。
本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
論文 参考訳(メタデータ) (2022-12-21T02:41:40Z) - Cross-lingual Lifelong Learning [53.06904052325966]
本稿では,言語間連続学習(CCL)の評価パラダイムを提案する。
マルチリンガルなシーケンシャルな学習を特に難しいものにするための洞察を提供する。
この分析の意味は、異なる言語間連続学習のデシダータを測り、バランスをとる方法のレシピを含む。
論文 参考訳(メタデータ) (2022-05-23T09:25:43Z) - Overcoming Language Disparity in Online Content Classification with
Multimodal Learning [22.73281502531998]
大規模言語モデルは、テキスト検出と分類タスクのための最先端のソリューションを開発するための標準となっている。
高度な計算技術と資源の開発は、英語に不相応に焦点が当てられている。
マルチモーダル機械学習を用いて画像に含まれる情報を統合するという約束を探求する。
論文 参考訳(メタデータ) (2022-05-19T17:56:02Z) - Towards Best Practices for Training Multilingual Dense Retrieval Models [54.91016739123398]
我々は,このような設計を用いて,多種多様言語における単言語検索の課題に焦点をあてる。
本研究は多言語高密度検索モデルのトレーニングのための「ベストプラクティス」ガイドとして組織されている。
論文 参考訳(メタデータ) (2022-04-05T17:12:53Z) - Multimodality in Meta-Learning: A Comprehensive Survey [34.69292359136745]
このサーベイは、マルチモーダリティに基づくメタラーニングの展望を概観する。
我々はまず,メタラーニングとマルチモーダリティの定義と,この成長分野における研究課題を定式化する。
そこで我々は,マルチモーダルタスクと組み合わせた典型的なメタ学習アルゴリズムを体系的に議論する新しい分類法を提案する。
論文 参考訳(メタデータ) (2021-09-28T09:16:12Z) - On the Universality of Deep COntextual Language Models [15.218264849664715]
ELMOやBERTのような深い文脈言語モデル(LM)は、自然言語処理のランドスケープを支配している。
XLM-RやmBERTのような多言語モデルでは、ゼロショットのクロスリンガル転送が期待できる結果となった。
この最初の成功により、訓練済みのモデルはユニバーサル言語モデルとして使用されている。
論文 参考訳(メタデータ) (2021-09-15T08:00:33Z) - XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating
Cross-lingual Generalization [128.37244072182506]
言語間TRansfer Evaluation of Multilinguals XTREMEは、40言語および9タスクにわたる多言語表現の言語間一般化能力を評価するためのベンチマークである。
我々は、英語でテストされたモデルは、多くのタスクにおいて人間のパフォーマンスに達するが、言語間変換されたモデルの性能にはまだ大きなギャップがあることを示した。
論文 参考訳(メタデータ) (2020-03-24T19:09:37Z) - Multi-SimLex: A Large-Scale Evaluation of Multilingual and Cross-Lingual
Lexical Semantic Similarity [67.36239720463657]
Multi-SimLexは、12の異なる言語のデータセットをカバーする大規模な語彙リソースと評価ベンチマークである。
各言語データセットは、意味的類似性の語彙的関係に注釈付けされ、1,888のセマンティック・アライメント・コンセプト・ペアを含む。
言語間の概念の整合性のため、66の言語間セマンティック類似性データセットを提供する。
論文 参考訳(メタデータ) (2020-03-10T17:17:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。