論文の概要: Harnessing PDF Data for Improving Japanese Large Multimodal Models

• arxiv url: http://arxiv.org/abs/2502.14778v1
• Date: Thu, 20 Feb 2025 17:59:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:30:23.339881
• Title: Harnessing PDF Data for Improving Japanese Large Multimodal Models
• Title（参考訳）: 大規模マルチモーダルモデル改善のためのPDFデータのハーネス化
• Authors: Jeonghun Baek, Akiko Aizawa, Kiyoharu Aizawa,
• Abstract要約: 大規模マルチモーダルモデル (LMM) は英語では高い性能を示したが、日本語では有効性は限られている。 現在の日本のLMMは、しばしば翻訳された英語のデータセットに依存しており、日本固有の文化知識を捉える能力を制限する。 我々は、事前訓練されたモデルを利用してPDFから画像とテキストのペアを抽出する完全自動パイプラインを導入する。
• 参考スコア（独自算出の注目度）: 56.80385809059738
• License:
• Abstract: Large Multimodal Models (LMMs) have demonstrated strong performance in English, but their effectiveness in Japanese remains limited due to the lack of high-quality training data. Current Japanese LMMs often rely on translated English datasets, restricting their ability to capture Japan-specific cultural knowledge. To address this, we explore the potential of Japanese PDF data as a training resource, an area that remains largely underutilized. We introduce a fully automated pipeline that leverages pretrained models to extract image-text pairs from PDFs through layout analysis, OCR, and vision-language pairing, removing the need for manual annotation. Additionally, we construct instruction data from extracted image-text pairs to enrich the training data. To evaluate the effectiveness of PDF-derived data, we train Japanese LMMs and assess their performance on the Japanese LMM Benchmark. Our results demonstrate substantial improvements, with performance gains ranging from 3.9% to 13.8% on Heron-Bench. Further analysis highlights the impact of PDF-derived data on various factors, such as model size and language models, reinforcing its value as a multimodal resource for Japanese LMMs. We plan to make the source code and data publicly available upon acceptance.
• Abstract（参考訳）: 大規模マルチモーダルモデル (LMM) は英語では高い性能を示しているが, 高品質な学習データがないため, 日本語での有効性は限られている。 現在の日本のLMMは、しばしば翻訳された英語のデータセットに依存しており、日本固有の文化知識を捉える能力を制限する。 そこで本研究では,日本語PDFデータの学習資源としての可能性について検討する。 我々は、事前訓練されたモデルを利用してレイアウト解析、OCR、視覚言語ペアリングを通じてPDFから画像とテキストのペアを抽出し、手動のアノテーションを不要にする完全自動化パイプラインを導入する。 さらに、抽出した画像とテキストのペアから命令データを構築し、トレーニングデータを強化する。 PDFデータの有効性を評価するため,日本語LMMを学習し,その性能を日本語LMMベンチマークで評価する。 その結果,Heron-Benchでは3.9%から13.8%のパフォーマンス向上が見られた。 さらに分析により,日本語LMMのマルチモーダルリソースとしての価値を高めるモデルサイズや言語モデルなど,さまざまな要因に対するPDFデータの影響が強調された。 受け入れ次第、ソースコードとデータを公開する予定です。

関連論文リスト

• Understanding In-Context Machine Translation for Low-Resource Languages: A Case Study on Manchu [53.437954702561065]
  In-context machine translation (MT) with large language model (LLMs) は低リソースMTにおいて有望な手法である。 本研究では,各資源とその品質が満州語による翻訳性能に与える影響を体系的に検討した。 結果から,良質な辞書や優れた並列例は有用であり,文法はほとんど役に立たないことが明らかとなった。
  論文  参考訳（メタデータ） (2025-02-17T14:53:49Z)
• PDF-WuKong: A Large Multimodal Model for Efficient Long PDF Reading with End-to-End Sparse Sampling [63.93112754821312]
  マルチモーダル文書理解は,大量のテキスト情報や視覚情報を処理し,理解するための課題である。 大規模言語モデル(LLM)の最近の進歩は、このタスクの性能を大幅に改善した。 長いPDF文書に対する多モーダル質問回答(QA)を強化するために設計された多モーダル大言語モデル(MLLM)であるPDF-WuKongを紹介する。
  論文  参考訳（メタデータ） (2024-10-08T12:17:42Z)
• How Much Data is Enough Data? Fine-Tuning Large Language Models for In-House Translation: Performance Evaluation Across Multiple Dataset Sizes [2.0109318570325847]
  ソフトウェア分野の特定の組織からTMを用いたLlama 3モデルの微調整の影響について検討する。 トレーニングセット毎にモデルを微調整し,自動メトリクス,BLEU,chrF++,TER,COMETに基づいて評価する。 以上の結果から,全指標にまたがるより大きなデータセットによる翻訳性能の向上が示された。
  論文  参考訳（メタデータ） (2024-09-05T12:06:38Z)
• Towards Zero-Shot Multimodal Machine Translation [64.9141931372384]
  本稿では,マルチモーダル機械翻訳システムの学習において,完全教師付きデータの必要性を回避する手法を提案する。 我々の手法はZeroMMTと呼ばれ、2つの目的の混合で学習することで、強いテキストのみの機械翻訳(MT)モデルを適応させることである。 本手法が完全に教師付きトレーニングデータを持たない言語に一般化されることを証明するため,CoMMuTE評価データセットをアラビア語,ロシア語,中国語の3言語に拡張した。
  論文  参考訳（メタデータ） (2024-07-18T15:20:31Z)
• Improving Language Models Trained on Translated Data with Continual Pre-Training and Dictionary Learning Analysis [3.16714407449467]
  学習言語モデルにおける翻訳と合成データの役割について検討する。 NLLB-3B MTモデルを用いて英語からアラビア語に翻訳した。 これらの問題を是正するために、我々は、合成された高品質のアラビア物語の小さなデータセットでモデルを事前訓練する。
  論文  参考訳（メタデータ） (2024-05-23T07:53:04Z)
• Towards Better Instruction Following Language Models for Chinese: Investigating the Impact of Training Data and Evaluation [12.86275938443485]
  本研究では,データ量,品質,言語分布などの学習データ要素がモデル性能に及ぼす影響について検討する。 我々は,実世界の9つのシナリオを含む1,000のサンプルを用いて,様々なモデルを評価する。 GPT-3のようなプロプライエタリな言語モデルに最も近いオープンソースパフォーマンスを持つモデルであるLLaMAの語彙を拡張します。
  論文  参考訳（メタデータ） (2023-04-16T18:37:39Z)
• Beyond Triplet: Leveraging the Most Data for Multimodal Machine Translation [53.342921374639346]
  マルチモーダル機械翻訳は、視覚などの他のモーダルからの情報を取り入れることで、翻訳品質を向上させることを目的としている。 従来のMMTシステムは主に視覚情報へのアクセスと利用に重点を置いており、画像関連データセット上でそれらの手法を検証する傾向がある。 本稿では,MTのための新しい手法と新しいデータセットを確立する。
  論文  参考訳（メタデータ） (2022-12-20T15:02:38Z)
• ChrEnTranslate: Cherokee-English Machine Translation Demo with Quality Estimation and Corrective Feedback [70.5469946314539]
  ChrEnTranslateは、英語と絶滅危惧言語チェロキーとの翻訳のためのオンライン機械翻訳デモシステムである。 統計モデルとニューラルネットワークモデルの両方をサポートし、信頼性をユーザに通知するための品質評価を提供する。
  論文  参考訳（メタデータ） (2021-07-30T17:58:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。