論文の概要: Combining Visual and Textual Features for Semantic Segmentation of Historical Newspapers

• arxiv url: http://arxiv.org/abs/2002.06144v4
• Date: Mon, 14 Dec 2020 16:56:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-01 03:47:43.026677
• Title: Combining Visual and Textual Features for Semantic Segmentation of Historical Newspapers
• Title（参考訳）: 歴史的新聞のセマンティックセグメンテーションのための視覚的特徴とテキスト的特徴の組み合わせ
• Authors: Rapha\"el Barman, Maud Ehrmann, Simon Clematide, Sofia Ares Oliveira, Fr\'ed\'eric Kaplan
• Abstract要約: 本稿では,歴史新聞のセマンティックセマンティックセグメンテーションのためのマルチモーダルアプローチを提案する。 ダイアクロニックなスイスとルクセンブルクの新聞の実験に基づいて、視覚的特徴とテキスト的特徴の予測力について検討する。 その結果、強力な視覚ベースラインと比較して、マルチモーダルモデルの一貫した改善が見られた。
• 参考スコア（独自算出の注目度）: 2.5899040911480187
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The massive amounts of digitized historical documents acquired over the last decades naturally lend themselves to automatic processing and exploration. Research work seeking to automatically process facsimiles and extract information thereby are multiplying with, as a first essential step, document layout analysis. If the identification and categorization of segments of interest in document images have seen significant progress over the last years thanks to deep learning techniques, many challenges remain with, among others, the use of finer-grained segmentation typologies and the consideration of complex, heterogeneous documents such as historical newspapers. Besides, most approaches consider visual features only, ignoring textual signal. In this context, we introduce a multimodal approach for the semantic segmentation of historical newspapers that combines visual and textual features. Based on a series of experiments on diachronic Swiss and Luxembourgish newspapers, we investigate, among others, the predictive power of visual and textual features and their capacity to generalize across time and sources. Results show consistent improvement of multimodal models in comparison to a strong visual baseline, as well as better robustness to high material variance.
• Abstract（参考訳）: 過去数十年間、膨大な量のデジタル化された歴史文書が、自然と自動処理と探索に役立っている。 ファクシミリの自動処理と情報抽出を目的とした研究は、文書レイアウト分析の第1ステップとして、多重化される。 深層学習技術により文書画像のセグメントの識別と分類がここ数年で大きな進歩を遂げたとすれば, 細粒度セグメンテーションタイプロジの使用や, 歴史新聞などの複雑で異質な文書の考察など, 多くの課題が残されている。 さらに、ほとんどのアプローチは視覚的特徴のみを考慮し、テキスト信号を無視している。 そこで本研究では,視覚的特徴とテキスト的特徴を組み合わせた歴史新聞の意味セグメンテーションのためのマルチモーダルアプローチを提案する。 ダイアクロニックなスイスとルクセンブルクの新聞の一連の実験に基づいて、視覚的特徴とテキスト的特徴の予測力と、時間と情報源をまたいで一般化する能力について検討する。 その結果,マルチモーダルモデルでは強い視覚的ベースラインに比べて一貫した改善が見られ,高い材料分散に対するロバスト性も向上した。

関連論文リスト

• Leveraging Open-Vocabulary Diffusion to Camouflaged Instance Segmentation [59.78520153338878]
  テキスト・ツー・イメージ拡散技術は、テキスト記述から高品質な画像を生成する素晴らしい能力を示している。 そこで本研究では,オープン語彙を応用した最先端拡散モデルを用いて,多スケールのテキスト・視覚的特徴を学習する手法を提案する。
  論文  参考訳（メタデータ） (2023-12-29T07:59:07Z)
• Prompt me a Dataset: An investigation of text-image prompting for historical image dataset creation using foundation models [0.9065034043031668]
  基礎モデルを用いた歴史資料からの画像抽出のためのパイプラインを提案する。 我々は,テキスト画像のプロンプトと,それらが複雑度の異なる人文科学データセットに与える影響を評価する。
  論文  参考訳（メタデータ） (2023-09-04T15:37:03Z)
• The Learnable Typewriter: A Generative Approach to Text Analysis [17.355857281085164]
  テキスト行中の文字解析と認識に対する生成文書固有のアプローチを提案する。 同様のフォントや手書きのテキスト行を入力として、我々のアプローチは多数の異なる文字を学習することができる。
  論文  参考訳（メタデータ） (2023-02-03T11:17:59Z)
• Holistic Visual-Textual Sentiment Analysis with Prior Models [64.48229009396186]
  本稿では,頑健な視覚・テキスト感情分析を実現するための総合的手法を提案する。 提案手法は,(1)感情分析のためのデータから特徴を直接学習する視覚テキストブランチ,(2)選択された意味的特徴を抽出する事前学習された「専門家」エンコーダを備えた視覚専門家ブランチ,(3)暗黙的に視覚テキスト対応をモデル化するCLIPブランチ,(4)多モード特徴を融合して感情予測を行うBERTに基づくマルチモーダル特徴融合ネットワークの4つの部分から構成される。
  論文  参考訳（メタデータ） (2022-11-23T14:40:51Z)
• TRIE++: Towards End-to-End Information Extraction from Visually Rich Documents [51.744527199305445]
  本稿では,視覚的にリッチな文書からエンド・ツー・エンドの情報抽出フレームワークを提案する。 テキスト読み出しと情報抽出は、よく設計されたマルチモーダルコンテキストブロックを介して互いに強化することができる。 フレームワークはエンドツーエンドのトレーニング可能な方法でトレーニングでき、グローバルな最適化が達成できる。
  論文  参考訳（メタデータ） (2022-07-14T08:52:07Z)
• Where Does the Performance Improvement Come From? - A Reproducibility Concern about Image-Text Retrieval [85.03655458677295]
  画像テキスト検索は、情報検索分野において、徐々に主要な研究方向になりつつある。 まず、画像テキスト検索タスクに焦点が当てられている理由と関連性について検討する。 本研究では,事前学習と非事前学習による検索モデルの再現の諸側面を解析する。
  論文  参考訳（メタデータ） (2022-03-08T05:01:43Z)
• Including Keyword Position in Image-based Models for Act Segmentation of Historical Registers [2.064923532131528]
  我々は、歴史的レジスターを、アクトのような構造的で意味のある単位に分割するために、視覚情報とテキスト情報の両方を使用することに焦点をあてる。 ある行為は、人口統計情報(洗礼、婚姻または死)や王室の決定(寄付または恩赦)などの貴重な知識を含む文書記録である。
  論文  参考訳（メタデータ） (2021-09-17T11:38:34Z)
• From Show to Tell: A Survey on Image Captioning [48.98681267347662]
  視覚と言語を結びつけることは、ジェネレーティブ・インテリジェンスにおいて重要な役割を担っている。 画像キャプションの研究はまだ結論に達していない。 本研究の目的は,画像キャプション手法の包括的概要と分類を提供することである。
  論文  参考訳（メタデータ） (2021-07-14T18:00:54Z)
• Cross-Media Keyphrase Prediction: A Unified Framework with Multi-Modality Multi-Head Attention and Image Wordings [63.79979145520512]
  マルチメディア投稿におけるキーワード予測におけるテキストと画像の併用効果について検討する。 複雑なマルチメディアインタラクションを捉えるために,M3H-Att(Multi-Modality Multi-Head Attention)を提案する。 我々のモデルは,従来の注目ネットワークに基づいて,過去の技術状況よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2020-11-03T08:44:18Z)
• The Devil is in the Details: Evaluating Limitations of Transformer-based Methods for Granular Tasks [19.099852869845495]
  トランスフォーマーベースのニューラルネットワークモデルから派生したコンテキスト埋め込みは、様々なタスクに対して最先端のパフォーマンスを示している。 本稿では,文書の粒度の一致と抽象レベルという2つの観点から,テキストの類似性の問題に焦点をあてる。 異なるドメインからの2つのデータセットに対して、期待されるように抽象的なドキュメントマッチングのパフォーマンスが高いにもかかわらず、コンテキスト埋め込みは、よりきめ細かいタスクのためにTF-IDFのような単純なベースラインによって一貫して(そして非常に)パフォーマンスが向上していることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-11-02T18:41:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。