論文の概要: Linguistically Informed Multimodal Fusion for Vietnamese Scene-Text Image Captioning: Dataset, Graph Framework, and Phonological Attention

• arxiv url: http://arxiv.org/abs/2604.27712v1
• Date: Thu, 30 Apr 2026 10:57:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-01 16:31:54.053912
• Title: Linguistically Informed Multimodal Fusion for Vietnamese Scene-Text Image Captioning: Dataset, Graph Framework, and Phonological Attention
• Title（参考訳）: ベトナムのシーン画像キャプションのための言語学的インフォームドマルチモーダルフュージョン:データセット,グラフフレームワーク,音韻的注意
• Authors: Nhi Ngoc-Yen Nguyen, Anh-Duc Nguyen, Nghia Hieu Nguyen, Kiet Van Nguyen, Ngan Luu-Thuy Nguyen,
• Abstract要約: 既存の融合アプローチは、テキストを言語に依存しないものとして扱い、ベトナムでは失敗する。 空間的注意バイアスを学習する汎用グラフ融合フレームワークである textbfHSTFG (Heterogeneous Scene-Text Fusion Graph) を提案する。 評価を支援するために,ベトナム初の大規模シーンテキストキャプションデータセットである textbfViTextCaps を導入する。
• 参考スコア（独自算出の注目度）: 9.780847280426382
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Scene-text image captioning requires fusing three information streams -- visual features, OCR-detected text, and linguistic knowledge -- to generate descriptions that faithfully integrate text visible in images. Existing fusion approaches treat text as language-agnostic, which fails for Vietnamese: a tonal language where diacritics alter word meaning, OCR errors are pervasive, and word boundaries are ambiguous. We argue that Vietnamese scene-text captioning demands \textit{linguistically informed multimodal fusion}, where language-specific structural knowledge is explicitly incorporated into the fusion mechanism. Motivated from these insights, we propose \textbf{HSTFG} (Heterogeneous Scene-Text Fusion Graph), a general-purpose graph fusion framework with learned spatial attention bias, and show through topology analysis that cross-modal graph edges are harmful for scene-text fusion. Building on this finding, we design \textbf{PhonoSTFG} (Phonological Scene-Text Fusion Graph) which specializes graph-level fusion for Vietnamese linguistic reasoning. To support evaluation, we introduce \textbf{ViTextCaps}, the first large-scale Vietnamese scene-text captioning dataset (\textbf{15{,}729} images with \textbf{74{,}970} captions), with comprehensive linguistic analysis showing that 52.8\% of the vocabulary is at risk of diacritic collision.
• Abstract（参考訳）: シーンテキストのキャプションには、視覚的特徴、OCR検出されたテキスト、言語知識の3つの情報ストリームを融合させ、画像で見えるテキストを忠実に統合する記述を生成する必要がある。 既存の融合アプローチでは、テキストを言語に依存しないものとして扱うが、ベトナム語では失敗する。 ベトナムのシーンテキストキャプションは,言語固有の構造知識を融合機構に明示的に組み込んだマルチモーダル・フュージョン(Multimodal fusion)を必要とする。 これらの知見から,空間的注意バイアスを学習した汎用グラフ融合フレームワークである \textbf{HSTFG} (Heterogeneous Scene-Text Fusion Graph) を提案する。 この発見に基づいて,ベトナム語推論のためのグラフレベルの融合を専門とする「textbf{PhonoSTFG} (Phonological Scene-Text Fusion Graph)」を設計した。 評価を支援するため,ベトナム初の大規模シーンテキストキャプションデータセットである \textbf{ViTextCaps} (\textbf{15{,}729} と \textbf{74{,}970} のキャプション) を紹介した。

関連論文リスト

• KhmerST: A Low-Resource Khmer Scene Text Detection and Recognition Benchmark [1.5409800688911346]
  我々は,1,544人の専門家による注釈付き画像を含む,最初のKhmerシーンテキストデータセットを紹介した。 この多様なデータセットには、平らなテキスト、起立したテキスト、照度の低いテキスト、遠くのポリゴン、部分的に不明瞭なテキストが含まれる。
  論文  参考訳（メタデータ） (2024-10-23T21:04:24Z)
• Image Fusion via Vision-Language Model [91.36809431547128]
  VIsion-Language Model (FILM)による画像融合という新しい融合パラダイムを導入する。 FILMは画像からセマンティックプロンプトを生成し、それらをChatGPTに入力し、包括的なテキスト記述を行う。 これらの記述はテキスト領域内で融合され、視覚情報融合を導く。 FILMは、赤外線可視、医療、マルチ露光、マルチフォーカス画像融合の4つの画像融合タスクにおいて有望な結果を示している。
  論文  参考訳（メタデータ） (2024-02-03T18:36:39Z)
• Brush Your Text: Synthesize Any Scene Text on Images via Diffusion Model [31.819060415422353]
  Diff-Textは、任意の言語のためのトレーニング不要のシーンテキスト生成フレームワークである。 本手法は, テキスト認識の精度と, 前景と後景のブレンディングの自然性の両方において, 既存の手法よりも優れる。
  論文  参考訳（メタデータ） (2023-12-19T15:18:40Z)
• GPT4SGG: Synthesizing Scene Graphs from Holistic and Region-specific Narratives [69.36723767339001]
  我々は,より正確で包括的なシーングラフ信号を得るために,textitGPT4SGという新しいフレームワークを提案する。 textitGPT4SGGは、画像キャプチャーデータに基づいて訓練されたSGGモデルの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-12-07T14:11:00Z)
• Show Me the World in My Language: Establishing the First Baseline for Scene-Text to Scene-Text Translation [1.9085074258303771]
  本研究では,ソース言語からターゲット言語へのシーンテキストの視覚的翻訳作業について検討する。 視覚翻訳は、シーンテキストの認識と翻訳だけでなく、翻訳された画像の生成も含む。 本稿では、シーンテキスト認識、機械翻訳、シーンテキスト合成のための最先端モジュールを組み合わせた視覚翻訳のためのケースケードフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-06T05:23:25Z)
• FACTUAL: A Benchmark for Faithful and Consistent Textual Scene Graph Parsing [66.70054075041487]
  画像キャプションをシーングラフに変換する既存のシーングラフは、しばしば2種類のエラーに悩まされる。 まず、生成されたシーングラフはキャプションや対応する画像の真の意味を捉えず、忠実さの欠如をもたらす。 第二に、生成されたシーングラフは一貫性が高く、同じセマンティクスは異なるアノテーションで表される。
  論文  参考訳（メタデータ） (2023-05-27T15:38:31Z)
• Scene Graph Based Fusion Network For Image-Text Retrieval [2.962083552798791]
  画像テキスト検索における重要な課題は、画像とテキストの正確な対応を学習する方法である。 そこで我々は,Scene GraphベースのFusion Network(SGFN)を提案する。 我々のSGFNは、非常に少数のSOTA画像テキスト検索方法よりも優れている。
  論文  参考訳（メタデータ） (2023-03-20T13:22:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。