論文の概要: TextDoctor: Unified Document Image Inpainting via Patch Pyramid Diffusion Models

• arxiv url: http://arxiv.org/abs/2503.04021v1
• Date: Thu, 06 Mar 2025 02:16:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-07 16:01:24.036652
• Title: TextDoctor: Unified Document Image Inpainting via Patch Pyramid Diffusion Models
• Title（参考訳）: TextDoctor: パッチピラミッド拡散モデルによる統一文書画像の描画
• Authors: Wanglong Lu, Lingming Su, Jingjing Zheng, Vinícius Veloso de Melo, Farzaneh Shoeleh, John Hawkin, Terrence Tricco, Hanli Zhao, Xianta Jiang,
• Abstract要約: 本稿では,新しい統一文書画像インペイント手法であるTextDoctorを紹介する。 TextDoctorは人間の読書行動にインスパイアされ、パッチから基本的なテキスト要素を復元する。 構造ピラミッド予測とパッチピラミッド拡散モデルを用いて,テキストサイズの変化に対処する。
• 参考スコア（独自算出の注目度）: 3.158608366563426
• License:
• Abstract: Digital versions of real-world text documents often suffer from issues like environmental corrosion of the original document, low-quality scanning, or human interference. Existing document restoration and inpainting methods typically struggle with generalizing to unseen document styles and handling high-resolution images. To address these challenges, we introduce TextDoctor, a novel unified document image inpainting method. Inspired by human reading behavior, TextDoctor restores fundamental text elements from patches and then applies diffusion models to entire document images instead of training models on specific document types. To handle varying text sizes and avoid out-of-memory issues, common in high-resolution documents, we propose using structure pyramid prediction and patch pyramid diffusion models. These techniques leverage multiscale inputs and pyramid patches to enhance the quality of inpainting both globally and locally. Extensive qualitative and quantitative experiments on seven public datasets validated that TextDoctor outperforms state-of-the-art methods in restoring various types of high-resolution document images.
• Abstract（参考訳）: 現実世界のテキスト文書のデジタル版は、オリジナルの文書の環境腐食、低品質のスキャン、人間の干渉といった問題に悩まされることが多い。 既存の文書復元と塗装法は、通常、目に見えない文書のスタイルを一般化し、高解像度の画像を扱うのに苦労する。 これらの課題に対処するために,新しい統一文書画像インペイント手法であるTextDoctorを紹介する。 TextDoctorは人間の読書行動にインスパイアされ、パッチから基本的なテキスト要素を復元し、特定のドキュメントタイプに関するモデルをトレーニングする代わりに、ドキュメントイメージ全体に拡散モデルを適用する。 テキストサイズの変化に対処し,高解像度文書に共通するメモリ外問題を回避するために,構造ピラミッド予測とパッチピラミッド拡散モデルを提案する。 これらの技術は、マルチスケールの入力とピラミッドのパッチを利用して、グローバルおよびローカルの両方の塗装品質を高める。 7つの公開データセットに対する大規模な定性的かつ定量的な実験は、TextDoctorが様々な種類の高解像度文書画像の復元において最先端の手法より優れていることを検証した。

関連論文リスト

• Text Image Inpainting via Global Structure-Guided Diffusion Models [22.859984320894135]
  現実世界のテキストは、環境や人為的な要因によって引き起こされる腐食問題によって損傷を受けることがある。 現在の塗装技術は、しばしばこの問題に適切に対処するのに失敗する。 我々は,新たなニューラルネットワークフレームワークであるGlobal Structure-Guided Diffusion Model (GSDM) を潜在的ソリューションとして開発する。
  論文  参考訳（メタデータ） (2024-01-26T13:01:28Z)
• ENTED: Enhanced Neural Texture Extraction and Distribution for Reference-based Blind Face Restoration [51.205673783866146]
  我々は,高品質でリアルな肖像画を復元することを目的とした,ブラインドフェイス修復のための新しいフレームワークであるENTEDを提案する。 劣化した入力画像と参照画像の間で高品質なテクスチャ特徴を伝達するために,テクスチャ抽出と分布の枠組みを利用する。 われわれのフレームワークにおけるStyleGANのようなアーキテクチャは、現実的な画像を生成するために高品質な潜伏符号を必要とする。
  論文  参考訳（メタデータ） (2024-01-13T04:54:59Z)
• UDiffText: A Unified Framework for High-quality Text Synthesis in Arbitrary Images via Character-aware Diffusion Models [25.219960711604728]
  本稿では,事前学習した拡散モデルを用いたテキスト画像生成手法を提案する。 我々のアプローチは、オリジナルのCLIPエンコーダを置き換える軽量文字レベルテキストエンコーダの設計と訓練である。 推論段階の精細化プロセスを用いることで、任意に与えられた画像のテキストを合成する際に、顕著に高いシーケンス精度を実現する。
  論文  参考訳（メタデータ） (2023-12-08T07:47:46Z)
• Enhancing Scene Text Detectors with Realistic Text Image Synthesis Using Diffusion Models [63.99110667987318]
  DiffTextは、前景のテキストと背景の本質的な特徴をシームレスにブレンドするパイプラインです。 テキストインスタンスが少なくなると、生成したテキストイメージはテキスト検出を支援する他の合成データを一貫して上回ります。
  論文  参考訳（メタデータ） (2023-11-28T06:51:28Z)
• DocMAE: Document Image Rectification via Self-supervised Representation Learning [144.44748607192147]
  文書画像修正のための新しい自己教師型フレームワークDocMAEを提案する。 まず、背景を除いた文書画像のランダムなパッチをマスクし、欠落したピクセルを再構成する。 このような自己教師型学習手法により、ネットワークは変形文書の本質的な構造を学習することが奨励される。
  論文  参考訳（メタデータ） (2023-04-20T14:27:15Z)
• Deep Unrestricted Document Image Rectification [110.61517455253308]
  文書画像修正のための新しい統合フレームワークDocTr++を提案する。 我々は,階層型エンコーダデコーダ構造を多スケール表現抽出・解析に適用することにより,元のアーキテクチャをアップグレードする。 実際のテストセットとメトリクスをコントリビュートして、修正品質を評価します。
  論文  参考訳（メタデータ） (2023-04-18T08:00:54Z)
• Unified Multi-Modal Latent Diffusion for Joint Subject and Text Conditional Image Generation [63.061871048769596]
  本稿では, 特定対象を含む画像と共同テキストを入力シーケンスとして用いた, Unified Multi-Modal Latent Diffusion (UMM-Diffusion) を提案する。 より具体的には、入力テキストと画像の両方を1つの統一マルチモーダル潜在空間に符号化する。 入力テキストと画像の両面から複雑な意味を持つ高品質な画像を生成することができる。
  論文  参考訳（メタデータ） (2023-03-16T13:50:20Z)
• Unifying Vision, Text, and Layout for Universal Document Processing [105.36490575974028]
  本稿では,テキスト,画像,レイアウトのモダリティを文書理解と生成を含むさまざまなタスク形式とともに統合するドキュメントAIモデルを提案する。 我々の手法は、財務報告、学術論文、ウェブサイトなど、さまざまなデータ領域にまたがって、文書理解やQAといった9つのドキュメントAIタスクの最先端を定めている。
  論文  参考訳（メタデータ） (2022-12-05T22:14:49Z)
• Enhance to Read Better: An Improved Generative Adversarial Network for Handwritten Document Image Enhancement [1.7491858164568674]
  本稿では,GAN(Generative Adversarial Networks)に基づくエンド・ツー・エンドアーキテクチャを提案する。 私たちの知る限りでは、これは手書き文書をバイナライズしながらテキスト情報を使用する最初の作業である。 H-DIBCO 2018の課題では、人工的に劣化したラテン手書き画像でトレーニング済みのモデルを微調整した後、アートの状況よりも優れています。
  論文  参考訳（メタデータ） (2021-05-26T17:44:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。