論文の概要: Constructing Multimodal Datasets from Scratch for Rapid Development of a Japanese Visual Language Model

• arxiv url: http://arxiv.org/abs/2410.22736v1
• Date: Wed, 30 Oct 2024 06:46:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:28:17.364396
• Title: Constructing Multimodal Datasets from Scratch for Rapid Development of a Japanese Visual Language Model
• Title（参考訳）: 日本語ビジュアル言語モデルの迅速な開発のためのスクラッチからのマルチモーダルデータセットの構築
• Authors: Keito Sasagawa, Koki Maeda, Issa Sugiura, Shuhei Kurita, Naoaki Okazaki, Daisuke Kawahara,
• Abstract要約: 日本語を非英語とみなし、日本語のマルチモーダルデータセットをスクラッチから高速に作成する方法を提案する。 我々は,Webアーカイブから日本語画像テキストペアとインターリーブされたデータを収集し,既存のVLMを用いて画像から直接日本語の指導データを生成する。 実験の結果、これらのネイティブデータセットに基づいて訓練されたVLMは、機械翻訳されたコンテンツに依存するものよりも優れていた。
• 参考スコア（独自算出の注目度）: 30.055297898544648
• License:
• Abstract: To develop high-performing Visual Language Models (VLMs), it is essential to prepare multimodal resources, such as image-text pairs, interleaved data, and instruction data. While multimodal resources for English are abundant, there is a significant lack of corresponding resources for non-English languages, such as Japanese. To address this problem, we take Japanese as a non-English language and propose a method for rapidly creating Japanese multimodal datasets from scratch. We collect Japanese image-text pairs and interleaved data from web archives and generate Japanese instruction data directly from images using an existing VLM. Our experimental results show that a VLM trained on these native datasets outperforms those relying on machine-translated content.
• Abstract（参考訳）: 高性能なビジュアル言語モデル(VLM)を開発するためには、画像テキストペア、インターリーブデータ、命令データなどのマルチモーダルなリソースを作成することが不可欠である。 英語のマルチモーダルリソースは豊富であるが、日本語などの非英語のリソースには相当な不足がある。 この問題に対処するため,日本語を非英語とみなし,日本語のマルチモーダルデータセットをスクラッチから高速に作成する方法を提案する。 我々は,Webアーカイブから日本語画像テキストペアとインターリーブされたデータを収集し,既存のVLMを用いて画像から直接日本語の指導データを生成する。 実験の結果、これらのネイティブデータセットに基づいて訓練されたVLMは、機械翻訳されたコンテンツに依存するものよりも優れていた。

関連論文リスト

• MMCFND: Multimodal Multilingual Caption-aware Fake News Detection for Low-resource Indic Languages [0.4062349563818079]
  Indic Fake News Detection (MMIFND) のためのマルチモーダル多言語データセットを提案する。 この厳密にキュレートされたデータセットは、ヒンディー語、ベンガル語、マラタイ語、マラヤラム語、タミル語、グジャラート語、パンジャービ語にまたがる28,085のインスタンスで構成されている。 フェイクニュース検出(MMCFND)のためのマルチモーダルキャプション対応フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-14T11:59:33Z)
• TRINS: Towards Multimodal Language Models that Can Read [61.17806538631744]
  TRINSはText-RichイメージINStructionデータセットである。 39,153の画像、キャプション、102,437の質問が含まれている。 本稿では,画像中のテキスト内容の理解に長けたLanguage-vision Reading Assistant(LaRA)を提案する。
  論文  参考訳（メタデータ） (2024-06-10T18:52:37Z)
• Multilingual Diversity Improves Vision-Language Representations [66.41030381363244]
  このデータセットの事前トレーニングは、ImageNet上で英語のみまたは英語が支配するデータセットを使用してパフォーマンスが向上する。 GeoDEのような地理的に多様なタスクでは、アフリカから得られる最大の利益とともに、すべての地域における改善も観察します。
  論文  参考訳（メタデータ） (2024-05-27T08:08:51Z)
• Towards Better Monolingual Japanese Retrievers with Multi-Vector Models [0.0]
  日本語では、最も優れたディープラーニングに基づく検索手法は多言語密着型埋め込みに依存している。 マルチ言語よりも2桁少ないデータで訓練されたマルチベクトルレトリバーのファミリーであるJaColBERTを紹介する。
  論文  参考訳（メタデータ） (2023-12-26T18:07:05Z)
• CulturaX: A Cleaned, Enormous, and Multilingual Dataset for Large Language Models in 167 Languages [86.90220551111096]
  大規模言語モデル(LLM)のトレーニングデータセットは、完全には公開されないことが多い。 我々は167言語で6.3兆のトークンを持つ相当な多言語データセットであるCulturaXを紹介する。
  論文  参考訳（メタデータ） (2023-09-17T23:49:10Z)
• TextBind: Multi-turn Interleaved Multimodal Instruction-following in the Wild [102.93338424976959]
  マルチターンインターリーブ型インストラクションフォロー機能を備えた,より大規模な言語モデルを実現するための,ほとんどアノテーションのないフレームワークであるTextBindを紹介する。 提案手法では,画像キャプチャペアのみが必要であり,言語モデルからマルチターンマルチモーダル・インストラクション・レスポンス・会話を生成する。 そこで我々は,画像エンコーダとデコーダモデルをシームレスに統合する言語モデル中心アーキテクチャであるMIMを考案した。
  論文  参考訳（メタデータ） (2023-09-14T15:34:01Z)
• Large Multilingual Models Pivot Zero-Shot Multimodal Learning across Languages [76.35234803589412]
  MPMは、英語以外の言語で大規模なマルチモーダルモデルを訓練するための効果的な訓練パラダイムである。 画像・テキスト・テキスト・画像生成における大規模なマルチモーダルモデルVisCPMを構築し,中国語の最先端(オープンソース)性能を実現する。
  論文  参考訳（メタデータ） (2023-08-23T09:55:41Z)
• MuMUR : Multilingual Multimodal Universal Retrieval [19.242056928318913]
  マルチ言語モデルからの知識伝達を利用して,マルチモーダル(画像とビデオ)検索の性能を向上させるフレームワーク MuMUR を提案する。 まず、最先端の機械翻訳モデルを用いて、擬似基底構造多言語視覚テキストペアを構築する。 次に、このデータを用いて、英語と非英語のテキストクエリが共通の埋め込み空間で表現される共同視覚テキスト表現を学習する。
  論文  参考訳（メタデータ） (2022-08-24T13:55:15Z)
• Visually Grounded Reasoning across Languages and Cultures [27.31020761908739]
  我々は、より多くの言語や文化を表すImageNetスタイルの階層を構築するための新しいプロトコルを開発する。 我々は、インドネシア語、中国語、スワヒリ語、タミル語、トルコ語など、類型的に多様な言語群に焦点を当てている。 画像のペアについて,ネイティブ話者アノテータから文を抽出することにより,多言語による視覚・言語上の多言語推論(MARVL)データセットを作成する。
  論文  参考訳（メタデータ） (2021-09-28T16:51:38Z)
• UC2: Universal Cross-lingual Cross-modal Vision-and-Language Pre-training [52.852163987208826]
  UC2は、言語間クロスモーダル表現学習のための最初の機械翻訳拡張フレームワークである。 Masked Region-token Modeling (MRTM) と Visual Translation Language Modeling (VTLM) の2つの新しいプリトレーニングタスクを提案する。 提案手法は,英語タスクにおける単言語学習モデルと同等の性能を維持しつつ,多種多様な非英語ベンチマークで新たな最先端を実現する。
  論文  参考訳（メタデータ） (2021-04-01T08:30:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。