論文の概要: DIMT25@ICDAR2025: HW-TSC's End-to-End Document Image Machine Translation System Leveraging Large Vision-Language Model

• arxiv url: http://arxiv.org/abs/2504.17315v1
• Date: Thu, 24 Apr 2025 07:17:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.282787
• Title: DIMT25@ICDAR2025: HW-TSC's End-to-End Document Image Machine Translation System Leveraging Large Vision-Language Model
• Title（参考訳）: DIMT25@ICDAR2025:HW-TSCの大規模ビジョンランゲージモデルを活用した文書画像機械翻訳システム
• Authors: Zhanglin Wu, Tengfei Song, Ning Xie, Weidong Zhang, Pengfei Li, Shuang Wu, Chong Li, Junhao Zhu, Hao Yang,
• Abstract要約: 本稿では,Huawei Translation Service Center (HW-TSC) が提案する「複雑なレイアウトのための文書画像機械翻訳」コンペティションの技術的解決について述べる。 本稿では,マルチタスク学習と知覚連鎖を組み合わせ,総合的なエンドツーエンド文書翻訳システムを開発するためのトレーニングフレームワークを提案する。 本ソリューションは,OCR ベースおよび OCR フリーな文書画像変換タスクを統一されたフレームワーク内で一意に処理する。
• 参考スコア（独自算出の注目度）: 26.977174272835995
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This paper presents the technical solution proposed by Huawei Translation Service Center (HW-TSC) for the "End-to-End Document Image Machine Translation for Complex Layouts" competition at the 19th International Conference on Document Analysis and Recognition (DIMT25@ICDAR2025). Leveraging state-of-the-art open-source large vision-language model (LVLM), we introduce a training framework that combines multi-task learning with perceptual chain-of-thought to develop a comprehensive end-to-end document translation system. During the inference phase, we apply minimum Bayesian decoding and post-processing strategies to further enhance the system's translation capabilities. Our solution uniquely addresses both OCR-based and OCR-free document image translation tasks within a unified framework. This paper systematically details the training methods, inference strategies, LVLM base models, training data, experimental setups, and results, demonstrating an effective approach to document image machine translation.
• Abstract（参考訳）: 本稿では,Huawei Translation Service Center(HW-TSC)が提案する,第19回国際文書解析・認識会議(DIMT25@ICDAR2025)における「複雑なレイアウトのための文書画像機械翻訳」コンペティションの技術的解決について述べる。 我々は、最先端のオープンソース大規模視覚言語モデル(LVLM)を活用し、マルチタスク学習と知覚連鎖を組み合わせた学習フレームワークを導入し、包括的なエンドツーエンド文書翻訳システムを開発した。 推論フェーズでは、最小ベイズ復号と後処理戦略を適用し、システムの翻訳機能をさらに強化する。 本ソリューションは,OCR ベースおよび OCR フリーな文書画像変換タスクを統一されたフレームワーク内で一意に解決する。 本稿では, トレーニング手法, 推論戦略, LVLMベースモデル, トレーニングデータ, 実験装置, 結果について体系的に詳述し, 画像機械翻訳への効果的なアプローチを示す。

関連論文リスト

• ViLa-MIL: Dual-scale Vision-Language Multiple Instance Learning for Whole Slide Image Classification [52.405499816861635]
  多重インスタンス学習(MIL)ベースのフレームワークは、スライド画像全体(WSI)を処理する上で主流になっている。 スライド画像全体の分類のための2次元視覚言語多言語学習(ViLa-MIL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-12T13:28:46Z)
• DoPTA: Improving Document Layout Analysis using Patch-Text Alignment [3.3181276611945267]
  本稿では,文書画像のテキスト情報を利用した視覚的タスクの性能向上を目的とした,新しい画像テキストアライメント手法を提案する。 本手法で訓練した文書エンコーダモデルDoPTAは,OCRを必要とせず,幅広い文書イメージ理解タスクにおいて高い性能を示す。 DoPTAはまた、D4LAと2つの挑戦的なドキュメントビジュアル分析ベンチマークであるFUNSDで、新しい最先端のアート結果も設定している。
  論文  参考訳（メタデータ） (2024-12-17T13:26:31Z)
• LayoutLLM: Large Language Model Instruction Tuning for Visually Rich Document Understanding [0.0]
  本稿では,より柔軟な画像文書解析手法であるLayoutLLMを提案する。 画像,テキスト,レイアウト構造を事前学習することで,文書の理解を高める手法が開発されている。 本実験は,文書解析タスクにおけるベースラインモデルの改善を実証する。
  論文  参考訳（メタデータ） (2024-03-21T09:25:24Z)
• GlobalDoc: A Cross-Modal Vision-Language Framework for Real-World Document Image Retrieval and Classification [8.880856137902947]
  我々は、自己教師型で事前訓練されたクロスモーダルトランスフォーマーベースのアーキテクチャであるGlobalDocを紹介する。 GlobalDocは、言語と視覚表現を統合することによって、よりリッチなセマンティックな概念の学習を改善する。 適切な評価のために,Few-Shot Document Image Classification (DIC)とContent-based Document Image Retrieval (DIR)の2つの新しい文書レベル下流VDUタスクを提案する。
  論文  参考訳（メタデータ） (2023-09-11T18:35:14Z)
• Exploring Better Text Image Translation with Multimodal Codebook [39.12169843196739]
  テキスト画像翻訳(TIT)は、画像に埋め込まれたソーステキストをターゲット翻訳に変換することを目的としている。 本研究ではまず,中国語のTITデータセットOCRMT30Kに注釈を付け,その後の研究に便宜を提供する。 そこで本研究では,画像と関連するテキストを関連付けることができるマルチモーダルコードブックを用いたTITモデルを提案する。 本稿では,テキスト機械翻訳,画像テキストアライメント,TITタスクを含む多段階学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-27T08:41:18Z)
• Scene Graph as Pivoting: Inference-time Image-free Unsupervised Multimodal Machine Translation with Visual Scene Hallucination [88.74459704391214]
  本研究では,より現実的なマルチモーダル機械翻訳(UMMT)について検討する。 視覚・言語シーングラフ(SG)を用いて,入力画像とテキストを表現し,その微細な視覚言語特徴が意味論の全体的理解を確実にする。 教師なし翻訳学習には,SG-pivotingに基づく学習目的がいくつか導入されている。 提案手法は,タスクとセットアップにおいて,BLEUスコアの有意な向上により,最良性能のベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-05-20T18:17:20Z)
• Improving End-to-End Text Image Translation From the Auxiliary Text Translation Task [26.046624228278528]
  本稿では,テキスト翻訳を補助タスクとするエンドツーエンドモデルを訓練する,新しいテキスト翻訳拡張テキスト画像翻訳を提案する。 モデルパラメータとマルチタスクのトレーニングを共有することで,大規模テキスト並列コーパスを最大限に活用することができる。
  論文  参考訳（メタデータ） (2022-10-08T02:35:45Z)
• Pretraining is All You Need for Image-to-Image Translation [59.43151345732397]
  画像から画像への一般的な翻訳を促進するために,事前学習を使うことを提案する。 提案した事前学習型画像画像変換(PITI)は,前例のないリアリズムと忠実さのイメージを合成できることを示す。
  論文  参考訳（メタデータ） (2022-05-25T17:58:26Z)
• Vision-Language Pre-Training for Boosting Scene Text Detectors [57.08046351495244]
  シーンテキスト検出に視覚言語を用いた共同学習を特に応用する。 本稿では,視覚言語による事前学習を通して,文脈化された共同表現を学習することを提案する。 事前訓練されたモデルは、よりリッチなセマンティクスでより情報的な表現を生成することができる。
  論文  参考訳（メタデータ） (2022-04-29T03:53:54Z)
• Unsupervised Vision-and-Language Pre-training via Retrieval-based Multi-Granular Alignment [66.77841319057299]
  非並列テキストと画像のための教師なしビジョン・アンド・ランゲージ事前学習カリキュラムを提案する。 まず、検索に基づく手法を用いて、弱整列画像テキストコーパスを構築し、次に、複数粒状アライメントの事前学習タスクを適用する。 包括的なアブレーション研究は、それぞれの粒度がより強力な事前学習モデルを学ぶのに役立つことを示している。
  論文  参考訳（メタデータ） (2022-03-01T05:34:01Z)
• Object Relational Graph with Teacher-Recommended Learning for Video Captioning [92.48299156867664]
  本稿では,新しいモデルと効果的なトレーニング戦略の両方を含む完全なビデオキャプションシステムを提案する。 具体的には,オブジェクトリレーショナルグラフ(ORG)に基づくエンコーダを提案する。 一方,教師推薦学習(TRL)手法を設計し,成功した外部言語モデル(ELM)をフル活用し,豊富な言語知識をキャプションモデルに統合する。
  論文  参考訳（メタデータ） (2020-02-26T15:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。