論文の概要: Chitrarth: Bridging Vision and Language for a Billion People

• arxiv url: http://arxiv.org/abs/2502.15392v1
• Date: Fri, 21 Feb 2025 11:38:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 16:11:47.804389
• Title: Chitrarth: Bridging Vision and Language for a Billion People
• Title（参考訳）: Chitrarth: 10億人の人々のビジョンと言語をブリッジする
• Authors: Shaharukh Khan, Ayush Tarun, Abhinav Ravi, Ali Faraz, Akshat Patidar, Praveen Kumar Pokala, Anagha Bhangare, Raja Kolla, Chandra Khatri, Shubham Agarwal,
• Abstract要約: 我々は、包括的視覚言語モデル(VLM)であるChitrarth (Chitra: Image; Artha: Meaning)を紹介する。 我々のモデルは、多言語画像テキストデータに基づいて訓練された視覚モジュールと、最先端(SOTA)多言語大言語モデル(LLM)を効果的に統合する。 本モデルでは,低リソース言語を対象としたベンチマークのSOTA結果が得られたが,その効率は英語で維持されている。
• 参考スコア（独自算出の注目度）: 4.434971952378384
• License:
• Abstract: Recent multimodal foundation models are primarily trained on English or high resource European language data, which hinders their applicability to other medium and low-resource languages. To address this limitation, we introduce Chitrarth (Chitra: Image; Artha: Meaning), an inclusive Vision-Language Model (VLM), specifically targeting the rich linguistic diversity and visual reasoning across 10 prominent Indian languages. Our model effectively integrates a state-of-the-art (SOTA) multilingual Large Language Model (LLM) with a vision module, primarily trained on multilingual image-text data. Furthermore, we also introduce BharatBench, a comprehensive framework for evaluating VLMs across various Indian languages, ultimately contributing to more diverse and effective AI systems. Our model achieves SOTA results for benchmarks across low resource languages while retaining its efficiency in English. Through our research, we aim to set new benchmarks in multilingual-multimodal capabilities, offering substantial improvements over existing models and establishing a foundation to facilitate future advancements in this arena.
• Abstract（参考訳）: 最近のマルチモーダル基盤モデルは、主に英語または高資源のヨーロッパ言語データに基づいて訓練されており、他の中・低リソース言語への適用を妨げている。 この制限に対処するため、インドで著名な10言語を対象にした視覚言語モデル(VLM)であるChitrarth(Chitra: Image; Artha: Meaning)を紹介した。 我々のモデルは、多言語画像テキストデータに基づいて訓練された視覚モジュールと、最先端(SOTA)多言語大言語モデル(LLM)を効果的に統合する。 さらに、さまざまなインドの言語でVLMを評価するための包括的なフレームワークであるBharatBenchも紹介します。 本モデルでは,低リソース言語を対象としたベンチマークのSOTA結果が得られたが,その効率は英語で維持されている。 本研究は,多言語・マルチモーダル機能に新たなベンチマークを設定し,既存モデルに対する大幅な改善と,この領域における今後の進歩を促進する基盤を確立することを目的としている。

関連論文リスト

• Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
  Lensは、大規模言語モデル(LLM)の多言語機能を強化する新しいアプローチである LLMの上位層から言語に依存しない、言語固有のサブ空間内の隠された表現を操作できる。 既存のポストトレーニング手法に比べて計算資源がはるかに少ないため、優れた結果が得られる。
  論文  参考訳（メタデータ） (2024-10-06T08:51:30Z)
• MoE-CT: A Novel Approach For Large Language Models Training With Resistance To Catastrophic Forgetting [53.77590764277568]
  ベースモデルの学習を多言語拡張プロセスから分離する新しいMoE-CTアーキテクチャを提案する。 我々の設計では、元のLLMパラメータを凍結し、高リソース言語のパフォーマンスを保護しますが、様々な言語データセットに基づいてトレーニングされたMoEモジュールは、低リソース言語の習熟度を向上します。
  論文  参考訳（メタデータ） (2024-06-25T11:03:45Z)
• A Survey on Large Language Models with Multilingualism: Recent Advances and New Frontiers [51.8203871494146]
  LLM(Large Language Models)の急速な開発は、自然言語処理における顕著な多言語機能を示している。 LLMのブレークスルーにもかかわらず、多言語シナリオの研究は依然として不十分である。 本調査は,多言語問題に対する研究コミュニティの取り組みを支援することを目的としており,LLMに基づく多言語自然言語処理における中核概念,鍵技術,最新の発展の包括的理解を提供する。
  論文  参考訳（メタデータ） (2024-05-17T17:47:39Z)
• ColBERT-XM: A Modular Multi-Vector Representation Model for Zero-Shot Multilingual Information Retrieval [10.664434993386523]
  現在のアプローチは、非英語言語における高品質なラベル付きデータの欠如を回避している。 本稿では,単一の高リソース言語のリッチデータから学習するモジュール型高密度検索モデルを提案する。
  論文  参考訳（メタデータ） (2024-02-23T02:21:24Z)
• PALO: A Polyglot Large Multimodal Model for 5B People [23.839200109033538]
  より包括的な視覚言語モデル(VLM)を追求するために,PALOと呼ばれる大規模マルチモーダルモデルを導入する。 PALOは、英語、中国語、ヒンディー語、スペイン語、フランス語、アラビア語、ベンガル語、ロシア語、ウルドゥー語、日本語を含む10の主要言語で視覚的推論機能を提供する。
  論文  参考訳（メタデータ） (2024-02-22T18:59:58Z)
• Large Multilingual Models Pivot Zero-Shot Multimodal Learning across Languages [76.35234803589412]
  MPMは、英語以外の言語で大規模なマルチモーダルモデルを訓練するための効果的な訓練パラダイムである。 画像・テキスト・テキスト・画像生成における大規模なマルチモーダルモデルVisCPMを構築し,中国語の最先端(オープンソース)性能を実現する。
  論文  参考訳（メタデータ） (2023-08-23T09:55:41Z)
• Learning to translate by learning to communicate [11.43638897327485]
  我々は,最新のunsupervised NMTシステムを改善するために,事前学習された多言語モデルを用いてEmergent Communication (EC)を使用する手法を定式化し,検証する。 提案手法では,多言語モデルを用いて視覚的なタスクを遂行するために,多言語世代をインセンティブとしたEC画像参照ゲームに,多言語モデルを組み込む。 本報告では,2種類のECファインチューニング(Steinert-Threlkeld et al., 2022)について述べる。
  論文  参考訳（メタデータ） (2022-07-14T15:58:06Z)
• Generalizing Multimodal Pre-training into Multilingual via Language Acquisition [54.69707237195554]
  英語のVision-Language Pre-Trainingは、様々な下流タスクで大きな成功を収めた。 この成功を英語以外の言語に一般化するために、Multilingual Vision-Language Pre-Trainingを通じていくつかの取り組みがなされている。 単言語視覚言語事前学習モデルを多言語に容易に一般化できるtextbfMultitextbfLingual textbfAcquisition (MLA) フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-29T08:53:22Z)
• Overcoming Language Disparity in Online Content Classification with Multimodal Learning [22.73281502531998]
  大規模言語モデルは、テキスト検出と分類タスクのための最先端のソリューションを開発するための標準となっている。 高度な計算技術と資源の開発は、英語に不相応に焦点が当てられている。 マルチモーダル機械学習を用いて画像に含まれる情報を統合するという約束を探求する。
  論文  参考訳（メタデータ） (2022-05-19T17:56:02Z)
• UC2: Universal Cross-lingual Cross-modal Vision-and-Language Pre-training [52.852163987208826]
  UC2は、言語間クロスモーダル表現学習のための最初の機械翻訳拡張フレームワークである。 Masked Region-token Modeling (MRTM) と Visual Translation Language Modeling (VTLM) の2つの新しいプリトレーニングタスクを提案する。 提案手法は,英語タスクにおける単言語学習モデルと同等の性能を維持しつつ,多種多様な非英語ベンチマークで新たな最先端を実現する。
  論文  参考訳（メタデータ） (2021-04-01T08:30:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。