論文の概要: Multilingual Multimodality: A Taxonomical Survey of Datasets,
Techniques, Challenges and Opportunities
- arxiv url: http://arxiv.org/abs/2210.16960v1
- Date: Sun, 30 Oct 2022 21:46:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-01 17:10:12.049813
- Title: Multilingual Multimodality: A Taxonomical Survey of Datasets,
Techniques, Challenges and Opportunities
- Title（参考訳）: 多言語多様性:データセット、技術、挑戦、機会に関する分類学的調査
- Authors: Khyathi Raghavi Chandu, Alborz Geramifard
- Abstract要約: マルチ言語とマルチモーダル(MultiX)ストリームの統合について検討する。
我々は、並列アノテーションで研究された言語、金または銀のデータを調べ、これらのモダリティと言語がモデリングにおいてどのように相互作用するかを理解する。
モデリングアプローチの長所と短所とともに、どのシナリオを確実に使用できるのかをよりよく理解するために、モデリングアプローチについて説明します。
- 参考スコア（独自算出の注目度）: 10.721189858694396
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Contextualizing language technologies beyond a single language kindled
embracing multiple modalities and languages. Individually, each of these
directions undoubtedly proliferated into several NLP tasks. Despite this
momentum, most of the multimodal research is primarily centered around English
and multilingual research is primarily centered around contexts from text
modality. Challenging this conventional setup, researchers studied the
unification of multilingual and multimodal (MultiX) streams. The main goal of
this work is to catalogue and characterize these works by charting out the
categories of tasks, datasets and methods to address MultiX scenarios. To this
end, we review the languages studied, gold or silver data with parallel
annotations, and understand how these modalities and languages interact in
modeling. We present an account of the modeling approaches along with their
strengths and weaknesses to better understand what scenarios they can be used
reliably. Following this, we present the high-level trends in the overall
paradigm of the field. Finally, we conclude by presenting a road map of
challenges and promising research directions.
- Abstract（参考訳）: コンテキスト化 単一言語を超えた言語技術 kindled では、複数のモダリティと言語を取り入れている。
それぞれの方向は間違いなくいくつかのNLPタスクに拡大した。
この勢いにもかかわらず、マルチモーダル研究は主に英語を中心とし、多言語研究はテキストモダリティの文脈を中心にしている。
従来の設定に従って、研究者はマルチランガルストリームとマルチモーダルストリーム(MultiX)の統一を研究した。
この作業の主な目的は、MultiXシナリオに対処するためのタスク、データセット、メソッドのカテゴリをチャート化することで、これらの作業のカタログ化と特徴付けを行うことである。
この目的のために、並列アノテーションを用いたゴールドまたはシルバーの言語をレビューし、これらのモダリティと言語がモデリングにおいてどのように相互作用するかを理解する。
我々は、モデリングアプローチとその強みと弱みについて説明し、それらが確実に使用できるシナリオをよりよく理解する。
次に,この分野の全体パラダイムにおけるハイレベルなトレンドを紹介する。
最後に,課題と有望な研究方向性のロードマップを提示する。
関連論文リスト
- Language and Multimodal Models in Sports: A Survey of Datasets and Applications [20.99857526324661]
自然言語処理(NLP)とマルチモーダルモデルの最近の統合は、スポーツ分析の分野を進歩させてきた。
この調査は、2020年以降のこれらのイノベーションを駆動するデータセットとアプリケーションの包括的なレビューを示す。
論文 参考訳（メタデータ） (2024-06-18T03:59:26Z) - A Survey on Large Language Models with Multilingualism: Recent Advances and New Frontiers [48.314619377988436]
LLM(Large Language Models)の急速な開発は、自然言語処理における顕著な多言語機能を示している。
LLMのブレークスルーにもかかわらず、多言語シナリオの研究は依然として不十分である。
本調査は,多言語問題に対する研究コミュニティの取り組みを支援することを目的としており,LLMに基づく多言語自然言語処理における中核概念,鍵技術,最新の発展の包括的理解を提供する。
論文 参考訳（メタデータ） (2024-05-17T17:47:39Z) - Understanding Cross-Lingual Alignment -- A Survey [52.572071017877704]
言語間アライメントは多言語言語モデルにおける言語間の表現の有意義な類似性である。
本研究は,言語間アライメントの向上,手法の分類,分野全体からの洞察の要約といった手法の文献を調査する。
論文 参考訳（メタデータ） (2024-04-09T11:39:53Z) - Multilingual Large Language Model: A Survey of Resources, Taxonomy and Frontiers [81.47046536073682]
本稿では,MLLM(Multilingual Large Language Model)文学における最近の進歩と新たなトレンドを要約する一貫した視点を提示する。
私たちの研究がコミュニティに迅速なアクセスを提供し、MLLMにおける画期的な研究を促進することを願っています。
論文 参考訳（メタデータ） (2024-04-07T11:52:44Z) - M2SA: Multimodal and Multilingual Model for Sentiment Analysis of Tweets [4.478789600295492]
本稿では,既存のテキスト型Twitter感情データセットを,簡単なキュレーションプロセスを通じてマルチモーダルフォーマットに変換する。
本研究は,研究コミュニティにおける感情関連研究の新たな道を開くものである。
論文 参考訳（メタデータ） (2024-04-02T09:11:58Z) - Multimodal Large Language Models: A Survey [36.06016060015404]
マルチモーダル言語モデルは、画像、テキスト、言語、音声、その他の異種性など、複数のデータタイプを統合する。
本稿では、マルチモーダルの概念を定義し、マルチモーダルアルゴリズムの歴史的展開を検討することから始める。
実用的なガイドが提供され、マルチモーダルモデルの技術的な側面に関する洞察を提供する。
最後に,マルチモーダルモデルの適用について検討し,開発に伴う課題について考察する。
論文 参考訳（メタデータ） (2023-11-22T05:15:12Z) - Cross-lingual Lifelong Learning [53.06904052325966]
本稿では,言語間連続学習(CCL)の評価パラダイムを提案する。
マルチリンガルなシーケンシャルな学習を特に難しいものにするための洞察を提供する。
この分析の意味は、異なる言語間連続学習のデシダータを測り、バランスをとる方法のレシピを含む。
論文 参考訳（メタデータ） (2022-05-23T09:25:43Z) - Towards Best Practices for Training Multilingual Dense Retrieval Models [54.91016739123398]
我々は,このような設計を用いて,多種多様言語における単言語検索の課題に焦点をあてる。
本研究は多言語高密度検索モデルのトレーニングのための「ベストプラクティス」ガイドとして組織されている。
論文 参考訳（メタデータ） (2022-04-05T17:12:53Z) - XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating
Cross-lingual Generalization [128.37244072182506]
言語間TRansfer Evaluation of Multilinguals XTREMEは、40言語および9タスクにわたる多言語表現の言語間一般化能力を評価するためのベンチマークである。
我々は、英語でテストされたモデルは、多くのタスクにおいて人間のパフォーマンスに達するが、言語間変換されたモデルの性能にはまだ大きなギャップがあることを示した。
論文 参考訳（メタデータ） (2020-03-24T19:09:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。