Fugu-MT 論文翻訳(概要): Pre-training without Natural Images

論文の概要: Pre-training without Natural Images

arxiv url: http://arxiv.org/abs/2101.08515v1
Date: Thu, 21 Jan 2021 09:47:32 GMT
ステータス: 処理完了
システム内更新日: 2021-03-21 08:02:44.668586
Title: Pre-training without Natural Images
Title（参考訳）: 自然画像のない事前学習
Authors: Hirokatsu Kataoka and Kazushige Okayasu and Asato Matsumoto and Eisuke Yamagata and Ryosuke Yamada and Nakamasa Inoue and Akio Nakamura and Yutaka Satoh
Abstract要約: この論文は、新しい概念、公式駆動教師あり学習を提案する。私たちは、現実世界の背景知識に存在する自然法則に基づくフラクタルを割り当てることで、画像パターンとそのカテゴリラベルを自動的に生成します。自然画像のないデータベースであるフラクタルデータベース(fractaldb)で事前トレーニングされたモデルは、すべての設定で人間の注釈付きデータセットで事前トレーニングされたモデルを上回るものではない。
参考スコア（独自算出の注目度）: 21.0934389974642
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Is it possible to use convolutional neural networks pre-trained without any natural images to assist natural image understanding? The paper proposes a novel concept, Formula-driven Supervised Learning. We automatically generate image patterns and their category labels by assigning fractals, which are based on a natural law existing in the background knowledge of the real world. Theoretically, the use of automatically generated images instead of natural images in the pre-training phase allows us to generate an infinite scale dataset of labeled images. Although the models pre-trained with the proposed Fractal DataBase (FractalDB), a database without natural images, does not necessarily outperform models pre-trained with human annotated datasets at all settings, we are able to partially surpass the accuracy of ImageNet/Places pre-trained models. The image representation with the proposed FractalDB captures a unique feature in the visualization of convolutional layers and attentions.
Abstract（参考訳）: 自然画像の理解を補助するために、自然画像なしで事前学習された畳み込みニューラルネットワークを使うことは可能か? この論文は、新しい概念、公式駆動教師あり学習を提案する。実世界の背景知識に存在する自然法則に基づいたフラクタルを割り当てることで,画像パターンとそのカテゴリラベルを自動的に生成する。理論的には、事前学習段階で自然画像の代わりに自動生成画像を使用することで、ラベル付き画像の無限規模のデータセットを生成することができる。自然画像のないデータベースであるフラクタルデータベース(fractaldb)で事前トレーニングされたモデルは、すべての設定で人間の注釈付きデータセットで事前トレーニングされたモデルを上回るとは限らないが、imagenet/placesプリトレーニングモデルの精度を部分的に上回ることができる。提案するfractaldbによる画像表現は、畳み込み層と注意の可視化においてユニークな特徴を捉えている。