Fugu-MT 論文翻訳(概要): TextSquare: Scaling up Text-Centric Visual Instruction Tuning

論文の概要: TextSquare: Scaling up Text-Centric Visual Instruction Tuning

arxiv url: http://arxiv.org/abs/2404.12803v1
Date: Fri, 19 Apr 2024 11:38:08 GMT
ステータス: 処理完了
システム内更新日: 2024-04-22 15:16:46.773994
Title: TextSquare: Scaling up Text-Centric Visual Instruction Tuning
Title（参考訳）: TextSquare: テキスト中心のビジュアルインストラクションチューニングのスケールアップ
Authors: Jingqun Tang, Chunhui Lin, Zhen Zhao, Shu Wei, Binghong Wu, Qi Liu, Hao Feng, Yang Li, Siqi Wang, Lei Liao, Wei Shi, Yuliang Liu, Hao Liu, Yuan Xie, Xiang Bai, Can Huang,
Abstract要約: 大規模かつ高品質な命令チューニングデータセットSquare-10Mを作成するための新しいアプローチを提案する。われわれのモデルであるTextSquareは、最先端のText中心のMLLMをはるかに上回っている。さらに、GPT4VやGeminiといったトップクラスのモデルでは、テキスト中心のベンチマークを10つ中6つで上回っている。
参考スコア（独自算出の注目度）: 64.55339431760727
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Text-centric visual question answering (VQA) has made great strides with the development of Multimodal Large Language Models (MLLMs), yet open-source models still fall short of leading models like GPT4V and Gemini, partly due to a lack of extensive, high-quality instruction tuning data. To this end, we introduce a new approach for creating a massive, high-quality instruction-tuning dataset, Square-10M, which is generated using closed-source MLLMs. The data construction process, termed Square, consists of four steps: Self-Questioning, Answering, Reasoning, and Evaluation. Our experiments with Square-10M led to three key findings: 1) Our model, TextSquare, considerably surpasses open-source previous state-of-the-art Text-centric MLLMs and sets a new standard on OCRBench(62.2%). It even outperforms top-tier models like GPT4V and Gemini in 6 of 10 text-centric benchmarks. 2) Additionally, we demonstrate the critical role of VQA reasoning data in offering comprehensive contextual insights for specific questions. This not only improves accuracy but also significantly mitigates hallucinations. Specifically, TextSquare scores an average of 75.1% across four general VQA and hallucination evaluation datasets, outperforming previous state-of-the-art models. 3) Notably, the phenomenon observed in scaling text-centric VQA datasets reveals a vivid pattern: the exponential increase of instruction tuning data volume is directly proportional to the improvement in model performance, thereby validating the necessity of the dataset scale and the high quality of Square-10M.
Abstract（参考訳）: テキスト中心の視覚的質問応答(VQA)は、MLLM(Multimodal Large Language Models)の開発において大きな進歩を遂げてきたが、GPT4VやGeminiのような主要なモデルには相変わらずオープンソースモデルは不足している。そこで本研究では,大規模かつ高品質な命令チューニングデータセットであるSquare-10Mを,クローズドソースMLLMを用いて生成する手法を提案する。データ構築プロセスはSquareと呼ばれ、Self-Questioning, Answering, Reasoning, Evaluationの4つのステップで構成されている。 Square-10Mによる実験は、3つの重要な発見につながった。 1) われわれのモデルであるTextSquareは,従来の最先端のText中心のMLLMをかなり上回り,OCRBench(62.2%)に新たな標準を設定している。さらに、GPT4VやGeminiといったトップクラスのモデルでは、テキスト中心のベンチマークを10つ中6つで上回っている。 2) VQA推論データが特定の質問に対して総合的な文脈的洞察を提供する上で重要な役割を担っていることを示す。これは精度を向上するだけでなく、幻覚を著しく緩和する。具体的には、TextSquareは4つの一般的なVQAと幻覚評価データセットの平均75.1%をスコアし、従来の最先端モデルを上回っている。 3) テキスト中心のVQAデータセットのスケールにおいて観察される現象は鮮明なパターンを呈する: インストラクションチューニングデータボリュームの指数的増加はモデル性能の向上に直接比例し, データセットスケールの必要性とSquare-10Mの高品質さを検証した。

関連論文リスト

CharXiv: Charting Gaps in Realistic Chart Understanding in Multimodal LLMs [62.84082370758761]
CharXivは、arXiv論文の2,323のチャートを含む総合的な評価スイートである。品質を確保するために、すべてのチャートと質問は、人間の専門家によって手書きされ、キュレーションされ、検証されます。その結果、最強のプロプライエタリモデルの推論スキルの間に、かなり過小評価されていたギャップが明らかとなった。
論文参考訳（メタデータ） (2024-06-26T17:50:11Z)
Subjective-Aligned Dataset and Metric for Text-to-Video Quality Assessment [54.00254267259069]
現在までに最大規模のテキスト・ビデオ品質評価データベース(T2VQA-DB)を構築している。データセットは、9つの異なるT2Vモデルによって生成される1万のビデオで構成されている。主観的テキスト・ビデオ品質評価(T2VQA)のためのトランスフォーマーに基づく新しいモデルを提案する。
論文参考訳（メタデータ） (2024-03-18T16:52:49Z)
TextMonkey: An OCR-Free Large Multimodal Model for Understanding Document [60.01330653769726]
テキスト中心タスクに適した大規模マルチモーダルモデル(LMM)であるTextMonkeyを提案する。ゼロ初期化によるシフトウィンドウアテンションの導入により、高い入力解像度でクロスウィンドウ接続を実現する。テキストスポッティングとグラウンド化を包含する能力を拡張し、位置情報を応答に組み込むことで、解釈可能性を高める。
論文参考訳（メタデータ） (2024-03-07T13:16:24Z)
Multi-modal Preference Alignment Remedies Degradation of Visual Instruction Tuning on Language Models [7.056824589733873]
MLLM(Multi-modal large language model)は、実運用における画像とテキストの相互変換のマルチターンクエリをサポートすることが期待されている。現在のMLLMは、視覚的な問合せのデータセットで訓練されており、劣化に悩まされる可能性がある。そこで本研究では,MLLMの言語能力の回復と向上を図った,細粒度アノテーションを用いた蒸留法に基づくマルチモーダルアライメントモデルを提案する。
論文参考訳（メタデータ） (2024-02-16T18:42:08Z)
Silkie: Preference Distillation for Large Visual Language Models [56.10697821410489]
本稿では,大型視覚言語モデル(LVLM)の嗜好蒸留について検討する。まず,AIアノテーションを用いた視覚言語フィードバックデータセットを構築した。我々は, GPT-4V を用いて, 有用性, 視覚的忠実性, 倫理的考察のアウトプットを評価する。結果として得られたモデルSilkieは、認知能力と認知能力に関するMMEベンチマークで6.9%と9.5%の相対的な改善を達成している。
論文参考訳（メタデータ） (2023-12-17T09:44:27Z)
SVIT: Scaling up Visual Instruction Tuning [26.794950789335402]
我々は,会話質問応答(QA)ペアの1.6M,QAペアの1.6M,QAペアの1.0M,詳細な画像記述の106Kを含む4200万の視覚的インストラクションチューニングデータを構築した。実験では、提案したデータセットに基づいてトレーニングされたSVIT-v1.5が、一般的なベンチマークで最先端のマルチモーダル大規模言語モデルを上回っていることを確認した。
論文参考訳（メタデータ） (2023-07-09T03:25:14Z)
Enhancing Chat Language Models by Scaling High-quality Instructional Conversations [91.98516412612739]
まず,UltraChatという,体系的に設計され,多様で,情報的,大規模な会話データセットを提供する。我々の目標は、人間がAIアシスタントで持つであろう対話の幅を捉えることです。我々はLLaMAモデルを微調整し、強力な対話モデルであるUltraLLaMAを作成する。
論文参考訳（メタデータ） (2023-05-23T16:49:14Z)
Prefix Language Models are Unified Modal Learners [30.666873206462295]
そこで本研究では,テキストおよび画像シーケンスに基づいて,プレフィックス言語モデリング目標を用いて,統一モーダルモデルが学習可能であることを示す。シンプルだが強力な事前トレーニングパラダイムのおかげで、提案されたモデルであるDaVinciは、トレーニングが簡単で、巨大なデータにスケーラブルで、さまざまなダウンストリームタスクに適応できます。
論文参考訳（メタデータ） (2022-06-15T17:49:38Z)
Challenges in Procedural Multimodal Machine Comprehension:A Novel Way To Benchmark [14.50261153230204]
M3C(Multimodal Machine Reading)に注目し、与えられた文節(または文脈)に基づいてモデルが質問に答えることを期待する。大規模深層モデルの問合せ生成過程と暗記能力から生じる3つの臨界バイアスを同定する。 3つの制御ノブを通してこれらのバイアスに対処するための体系的枠組みを提案する。
論文参考訳（メタデータ） (2021-10-22T16:33:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。