論文の概要: Generalized Tampered Scene Text Detection in the era of Generative AI

• arxiv url: http://arxiv.org/abs/2407.21422v1
• Date: Wed, 31 Jul 2024 08:17:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-01 18:32:01.697948
• Title: Generalized Tampered Scene Text Detection in the era of Generative AI
• Title（参考訳）: ジェネレーティブAI時代の一般的なタンパー付きシーンテキスト検出
• Authors: Chenfan Qu, Yiwu Zhong, Fengjun Guo, Lianwen Jin,
• Abstract要約: 提案手法は,視覚的および見えない偽造型の両方を識別する能力について,法医学モデルの評価を行う。 本稿では,画像中の選択したテキストのテクスチャを微調整し,これらの領域を特定するためにモデルを訓練する,新しい,効果的な事前学習パラダイムを提案する。 また,テキストの特徴を識別することで,オープンセットの一般化を改善するフレームワークであるDAFを提案する。
• 参考スコア（独自算出の注目度）: 33.38946428507517
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid advancements of generative AI have fueled the potential of generative text image editing while simultaneously escalating the threat of misinformation spreading. However, existing forensics methods struggle to detect unseen forgery types that they have not been trained on, leaving the development of a model capable of generalized detection of tampered scene text as an unresolved issue. To tackle this, we propose a novel task: open-set tampered scene text detection, which evaluates forensics models on their ability to identify both seen and previously unseen forgery types. We have curated a comprehensive, high-quality dataset, featuring the texts tampered by eight text editing models, to thoroughly assess the open-set generalization capabilities. Further, we introduce a novel and effective pre-training paradigm that subtly alters the texture of selected texts within an image and trains the model to identify these regions. This approach not only mitigates the scarcity of high-quality training data but also enhances models' fine-grained perception and open-set generalization abilities. Additionally, we present DAF, a novel framework that improves open-set generalization by distinguishing between the features of authentic and tampered text, rather than focusing solely on the tampered text's features. Our extensive experiments validate the remarkable efficacy of our methods. For example, our zero-shot performance can even beat the previous state-of-the-art full-shot model by a large margin. Our dataset and code will be open-source.
• Abstract（参考訳）: 生成AIの急速な進歩は、偽情報拡散の脅威をエスカレートしつつ、生成テキスト画像編集の可能性を高めている。 しかし、既存の法医学的手法では、訓練されていない未確認の偽造型を検知することは困難であり、未解決問題として、改ざんされたシーンテキストの一般的な検出が可能なモデルの開発が残されている。 そこで,本研究では,これまで見つからなかった偽造型とを識別する上で,法科学モデルの評価を行うオープンセット・タンパードシーンテキスト検出手法を提案する。 我々は,8つのテキスト編集モデルによって改ざんされたテキストを含む包括的で高品質なデータセットをキュレートし,オープンセットの一般化能力を徹底的に評価した。 さらに、画像内の選択したテキストのテクスチャを微調整し、これらの領域を特定するためにモデルを訓練する、新規で効果的な事前学習パラダイムを導入する。 このアプローチは、高品質なトレーニングデータの不足を緩和するだけでなく、モデルのきめ細かい認識とオープンセットの一般化能力を高める。 さらに,改ざんされたテキストの特徴のみに焦点をあてるのではなく,テキストの特徴と改ざんされたテキストの特徴を区別することで,オープンセットの一般化を改善する新しいフレームワークであるDAFを提案する。 本手法の顕著な有効性を検証するため, 広範囲な実験を行った。 例えば、ゼロショットのパフォーマンスは、以前の最先端フルショットモデルよりも大きなマージンで勝てるのです。 データセットとコードはオープンソースになります。

関連論文リスト

• Text Grouping Adapter: Adapting Pre-trained Text Detector for Layout Analysis [52.34110239735265]
  本稿では,事前学習したテキスト検出装置のレイアウト解析を学習するためのモジュールであるText Grouping Adapter (TGA)を提案する。 我々の総合的な実験は、凍結した事前学習モデルであっても、TGAを様々な事前学習されたテキスト検出器やテキストスポッターに組み込むことで、より優れたレイアウト解析性能が得られることを示した。
  論文  参考訳（メタデータ） (2024-05-13T05:48:35Z)
• UDiffText: A Unified Framework for High-quality Text Synthesis in Arbitrary Images via Character-aware Diffusion Models [25.219960711604728]
  本稿では,事前学習した拡散モデルを用いたテキスト画像生成手法を提案する。 我々のアプローチは、オリジナルのCLIPエンコーダを置き換える軽量文字レベルテキストエンコーダの設計と訓練である。 推論段階の精細化プロセスを用いることで、任意に与えられた画像のテキストを合成する際に、顕著に高いシーケンス精度を実現する。
  論文  参考訳（メタデータ） (2023-12-08T07:47:46Z)
• Enhancing Scene Text Detectors with Realistic Text Image Synthesis Using Diffusion Models [63.99110667987318]
  DiffTextは、前景のテキストと背景の本質的な特徴をシームレスにブレンドするパイプラインです。 テキストインスタンスが少なくなると、生成したテキストイメージはテキスト検出を支援する他の合成データを一貫して上回ります。
  論文  参考訳（メタデータ） (2023-11-28T06:51:28Z)
• Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
  ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。 既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。 本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:22:33Z)
• Three ways to improve feature alignment for open vocabulary detection [88.65076922242184]
  ゼロショットオープンボキャブラリ検出の鍵となる問題は、視覚的特徴とテキスト的特徴の整合性である。 以前のアプローチでは、特徴ピラミッドと検出ヘッドをゼロからトレーニングし、事前トレーニング中に確立された視覚テキストの特徴アライメントを壊す。 本稿では,これらの問題を緩和する3つの方法を提案する。まず,テキストの埋め込みを強化するための簡単なスキームを用いて,学習中に見られる少数のクラスへの過度な適合を防止する。 次に、特徴ピラミッドネットワークと検出ヘッドをトレーニング可能なショートカットを含むように変更する。 最後に、より大きなコーパスを活用するために、自己学習アプローチが使用される。
  論文  参考訳（メタデータ） (2023-03-23T17:59:53Z)
• Verifying the Robustness of Automatic Credibility Assessment [50.55687778699995]
  入力テキストにおける意味保存的変化がモデルを誤解させる可能性があることを示す。 また、誤情報検出タスクにおける被害者モデルと攻撃方法の両方をテストするベンチマークであるBODEGAについても紹介する。 我々の実験結果によると、現代の大規模言語モデルは、以前のより小さなソリューションよりも攻撃に対して脆弱であることが多い。
  論文  参考訳（メタデータ） (2023-03-14T16:11:47Z)
• SpaText: Spatio-Textual Representation for Controllable Image Generation [61.89548017729586]
  SpaTextはオープン語彙シーン制御を用いたテキスト・ツー・イメージ生成の新しい手法である。 シーン全体を記述したグローバルテキストプロンプトに加えて、ユーザはセグメンテーションマップを提供する。 現状拡散モデルである画素ベースと潜在条件ベースでの有効性を示す。
  論文  参考訳（メタデータ） (2022-11-25T18:59:10Z)
• The Surprisingly Straightforward Scene Text Removal Method With Gated Attention and Region of Interest Generation: A Comprehensive Prominent Model Analysis [0.76146285961466]
  STR(Scene text removal)は、自然のシーン画像からテキストを消去するタスクである。 本稿では,シンプルなかつ極めて効果的なGated Attention(GA)手法とRerea-of-Interest Generation(RoIG)手法を紹介する。 ベンチマークデータを用いた実験結果から,提案手法は既存の最先端手法よりもほぼすべての指標で有意に優れていた。
  論文  参考訳（メタデータ） (2022-10-14T03:34:21Z)
• Which and Where to Focus: A Simple yet Accurate Framework for Arbitrary-Shaped Nearby Text Detection in Scene Images [8.180563824325086]
  そこで本研究では,任意の形状の近接するシーンテキスト検出のための簡易かつ効果的な手法を提案する。 OMTS(One-to-Many Training Scheme)は、混乱を排除し、提案がより適切な基盤構造を学べるように設計されている。 また,提案提案に対してより効果的な機能を利用するために,提案機能注意モジュール(PFAM)を提案する。
  論文  参考訳（メタデータ） (2021-09-08T06:25:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。