Fugu-MT 論文翻訳(概要): Self-Supervised Representation Learning on Document Images

論文の概要: Self-Supervised Representation Learning on Document Images

arxiv url: http://arxiv.org/abs/2004.10605v2
Date: Wed, 27 May 2020 08:48:48 GMT
ステータス: 処理完了
システム内更新日: 2022-12-12 05:00:54.146487
Title: Self-Supervised Representation Learning on Document Images
Title（参考訳）: 文書画像における自己教師付き表現学習
Authors: Adrian Cosma, Mihai Ghidoveanu, Michael Panaitescu-Liess and Marius Popescu
Abstract要約: パッチベースの事前学習は,異なる構造特性とサンプル内セマンティック情報が乏しいため,文書画像上では不十分であることを示す。そこで本稿では,Tobacco-3482画像分類タスクの性能向上のための2つのコンテキスト認識手法を提案する。
参考スコア（独自算出の注目度）: 8.927538538637783
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This work analyses the impact of self-supervised pre-training on document images in the context of document image classification. While previous approaches explore the effect of self-supervision on natural images, we show that patch-based pre-training performs poorly on document images because of their different structural properties and poor intra-sample semantic information. We propose two context-aware alternatives to improve performance on the Tobacco-3482 image classification task. We also propose a novel method for self-supervision, which makes use of the inherent multi-modality of documents (image and text), which performs better than other popular self-supervised methods, including supervised ImageNet pre-training, on document image classification scenarios with a limited amount of data.
Abstract（参考訳）: 本研究は,文書画像分類における自己指導型事前学習が文書画像に与える影響を分析する。従来,自然画像に対する自己監督の効果について検討してきたが,パッチベースの事前学習は,その構造的特性やサンプル内意味情報の低さから,文書画像に対して不十分な効果を示した。本研究では,タバコ3482画像分類タスクの性能を向上させるための2つのコンテキスト対応手法を提案する。また,データ量に制限のある文書画像分類シナリオにおいて,教師付きイメージネット事前学習を含む他の一般的な自己教師付き手法よりも優れた文書(画像とテキスト)のマルチモーダリティを利用する自己監督手法を提案する。

関連論文リスト

DocXplain: A Novel Model-Agnostic Explainability Method for Document Image Classification [5.247930659596986]
本稿では,高解釈性特徴属性マップの生成に特化して設計された新しいモデルに依存しない説明可能性手法であるDocXplainを紹介する。 4つの異なる評価指標を用いて,文書画像分類の文脈において提案手法を広範囲に評価した。著者の知識を最大限に活用するために、本研究は、特に文書画像に適した、モデルに依存しない属性に基づく説明可能性法を初めて提示する。
論文参考訳（メタデータ） (2024-07-04T10:59:15Z)
Shatter and Gather: Learning Referring Image Segmentation with Text Supervision [52.46081425504072]
入力画像中の意味的エンティティを検出し,テキストクエリに関連するエンティティを組み合わせて参照者のマスクを予測するモデルを提案する。提案手法は,イメージセグメンテーションを参照するための4つの公開ベンチマークで評価され,既存のタスクと最近の全てのベンチマークにおけるオープン語彙セグメンテーションモデルよりも明らかに優れていた。
論文参考訳（メタデータ） (2023-08-29T15:39:15Z)
EAML: Ensemble Self-Attention-based Mutual Learning Network for Document Image Classification [1.1470070927586016]
我々は、アンサンブルトレーニング可能なネットワークのブロックとして機能する自己アテンションベースの融合モジュールを設計する。トレーニング段階を通して、画像とテキストの区別された特徴を同時に学習することができる。文書画像分類を行うための自己注意に基づく融合モジュールとともに、相互学習アプローチを活用するのはこれが初めてである。
論文参考訳（メタデータ） (2023-05-11T16:05:03Z)
DocMAE: Document Image Rectification via Self-supervised Representation Learning [144.44748607192147]
文書画像修正のための新しい自己教師型フレームワークDocMAEを提案する。まず、背景を除いた文書画像のランダムなパッチをマスクし、欠落したピクセルを再構成する。このような自己教師型学習手法により、ネットワークは変形文書の本質的な構造を学習することが奨励される。
論文参考訳（メタデータ） (2023-04-20T14:27:15Z)
Towards Unsupervised Sketch-based Image Retrieval [126.77787336692802]
本稿では,教師なし表現学習とスケッチ写真領域アライメントを同時に行う新しいフレームワークを提案する。このフレームワークは,新しい教師なし設定では優れた性能を達成し,ゼロショット設定では最先端以上の性能を発揮する。
論文参考訳（メタデータ） (2021-05-18T02:38:22Z)
Multimodal Contrastive Training for Visual Representation Learning [45.94662252627284]
マルチモーダルデータを取り入れた視覚表現の学習手法を開発した。本手法は,各モダリティおよびセマンティクス情報内の本質的なデータ特性をクロスモーダル相関から同時に利用する。統合フレームワークにマルチモーダルトレーニングを組み込むことで,より強力で汎用的な視覚的特徴を学習することができる。
論文参考訳（メタデータ） (2021-04-26T19:23:36Z)
An Unsupervised Sampling Approach for Image-Sentence Matching Using Document-Level Structural Information [64.66785523187845]
教師なし画像文マッチングの問題に焦点をあてる。既存の研究では、文書レベルの構造情報を用いて、モデルトレーニングの正および負のインスタンスをサンプリングする方法が検討されている。そこで本研究では,追加の文書内画像-文対を正あるいは負のサンプルとして選択する新しいサンプリング手法を提案する。
論文参考訳（メタデータ） (2021-03-21T05:43:29Z)
Instance Localization for Self-supervised Detection Pretraining [68.24102560821623]
インスタンスローカリゼーションと呼ばれる,新たな自己監視型プリテキストタスクを提案する。境界ボックスを事前学習に組み込むことで、より優れたタスクアライメントとアーキテクチャアライメントが促進されることを示す。実験結果から, オブジェクト検出のための最先端の転送学習結果が得られた。
論文参考訳（メタデータ） (2021-02-16T17:58:57Z)
Multiple Document Datasets Pre-training Improves Text Line Detection With Deep Neural Networks [2.5352713493505785]
本稿では,文書レイアウト解析タスクのための完全畳み込みネットワークを提案する。 Doc-UFCNは、歴史的文書から物体を検出するためにゼロから訓練されたU字型モデルを用いています。 Doc-UFCNが様々なデータセットの最先端のメソッドより優れていることを示す。
論文参考訳（メタデータ） (2020-12-28T09:48:33Z)
Improving Image Captioning with Better Use of Captions [65.39641077768488]
本稿では,画像表現とキャプション生成の両方を強化するために,キャプションで利用可能なセマンティクスをよりよく探求するための新しい画像キャプションアーキテクチャを提案する。我々のモデルはまず,弱教師付きマルチインスタンス学習を用いて,有益な帰納バイアスをもたらすキャプション誘導型視覚関係グラフを構築した。生成期間中、このモデルは、単語とオブジェクト/述語タグのシーケンスを共同で予測するために、マルチタスク学習を用いた視覚関係をさらに取り入れる。
論文参考訳（メタデータ） (2020-06-21T14:10:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。