Fugu-MT 論文翻訳(概要): MENTOR: Human Perception-Guided Pretraining for Increased Generalization

論文の概要: MENTOR: Human Perception-Guided Pretraining for Increased Generalization

arxiv url: http://arxiv.org/abs/2310.19545v2
Date: Mon, 12 Feb 2024 17:04:46 GMT
ステータス: 処理完了
システム内更新日: 2024-02-13 21:57:10.713542
Title: MENTOR: Human Perception-Guided Pretraining for Increased Generalization
Title（参考訳）: メンター: 一般化を促進するための人間の知覚誘導前訓練
Authors: Colton R. Crum, Adam Czajka
Abstract要約: MENTOR (huMan pErceptioN-guided preTraining fOr increased geneRalization) を紹介する。我々は、クラスラベルを使わずに、入力された画像からヒトの唾液マップを学習するためにオートエンコーダを訓練する。我々は、デコーダ部分を取り除き、エンコーダの上に分類層を追加し、従来の新しいモデルを微調整する。
参考スコア（独自算出の注目度）: 5.596752018167751
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Incorporating human perception into training of convolutional neural networks (CNN) has boosted generalization capabilities of such models in open-set recognition tasks. One of the active research questions is where (in the model architecture) and how to efficiently incorporate always-limited human perceptual data into training strategies of models. In this paper, we introduce MENTOR (huMan pErceptioN-guided preTraining fOr increased geneRalization), which addresses this question through two unique rounds of training the CNNs tasked with open-set anomaly detection. First, we train an autoencoder to learn human saliency maps given an input image, without class labels. The autoencoder is thus tasked with discovering domain-specific salient features which mimic human perception. Second, we remove the decoder part, add a classification layer on top of the encoder, and fine-tune this new model conventionally. We show that MENTOR's benefits are twofold: (a) significant accuracy boost in anomaly detection tasks (in this paper demonstrated for detection of unknown iris presentation attacks, synthetically-generated faces, and anomalies in chest X-ray images), compared to models utilizing conventional transfer learning (e.g., sourcing the weights from ImageNet-pretrained models) as well as to models trained with the state-of-the-art approach incorporating human perception guidance into loss functions, and (b) an increase in the efficiency of model training, requiring fewer epochs to converge compared to state-of-the-art training methods.
Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)のトレーニングに人間の知覚を取り入れることで、オープンセット認識タスクにおけるそのようなモデルの一般化能力が向上した。アクティブな研究課題の1つは、(モデルアーキテクチャにおいて)どこで、そしてモデルのトレーニング戦略に常に制限された人間の知覚データを効率的に組み込むかである。本稿では、オープンセットの異常検出を行うCNNの2つの訓練ラウンドを通じて、この問題に対処するMENTOR(huMan pErceptioN-guided preTraining fOr increased geneRalization)を紹介する。まず,オートエンコーダを訓練して,クラスラベルを使わずに,入力画像から人間の給与マップを学習する。オートエンコーダは、人間の知覚を模倣するドメイン固有の有能な特徴を発見する。次に、デコーダ部分を削除し、エンコーダの上に分類層を追加し、この新モデルを従来より微調整する。 MENTORの利点は2つあります。 (a) 異常検出タスクにおける精度向上(本論文では、従来の移動学習を利用したモデル(例えば、ImageNet-pretrained modelからの重みの抽出)や、人間の知覚誘導を損失関数に組み込んだ最先端アプローチで訓練されたモデルと比較して、未知の虹彩提示攻撃、合成顔、胸部X線画像の異常の検出を実証する。 b) モデルトレーニングの効率が向上し, 最先端の訓練方法に比べて収束するエポックが少なくなる。

関連論文リスト

Training Better Deep Learning Models Using Human Saliency [11.295653130022156]
本研究では、画像の正常領域に関する人間の判断が、ディープ畳み込みニューラルネットワーク(DCNN)トレーニングにどのように導入できるかを考察する。本稿では,ConveYs Brain Oversight to raise Generalization (CYBORG) における損失関数の新たな構成要素を提案する。
論文参考訳（メタデータ） (2024-10-21T16:52:44Z)
Defect Classification in Additive Manufacturing Using CNN-Based Vision Processing [76.72662577101988]
本稿では、まず、畳み込みニューラルネットワーク(CNN)を用いて、画像データセットの欠陥をAMから第2に正確に分類し、発達した分類モデルにアクティブラーニング技術を適用する。これにより、トレーニングデータやトレーニングデータの生成に必要なデータのサイズを削減できる、ヒューマン・イン・ザ・ループ機構の構築が可能になる。
論文参考訳（メタデータ） (2023-07-14T14:36:58Z)
TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文参考訳（メタデータ） (2023-03-20T14:12:55Z)
EfficientTrain: Exploring Generalized Curriculum Learning for Training Visual Backbones [80.662250618795]
本稿では視覚バックボーン(例えば視覚変換器)の効率的なトレーニングのための新しいカリキュラム学習手法を提案する。オフザシェルフ方式として、様々な人気モデルのウォールタイムトレーニングコストを、精度を犠牲にすることなく、ImageNet-1K/22Kで1.5倍に削減する。
論文参考訳（メタデータ） (2022-11-17T17:38:55Z)
Reconciliation of Pre-trained Models and Prototypical Neural Networks in Few-shot Named Entity Recognition [35.34238362639678]
本研究では,このようなミスマッチを経験的・理論的根拠と整合させる一線符号正規化法を提案する。我々の研究は、数発のエンティティ認識における一般的な問題に対処するための分析的な視点も提供します。
論文参考訳（メタデータ） (2022-11-07T02:33:45Z)
Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文参考訳（メタデータ） (2022-02-01T17:11:13Z)
With Greater Distance Comes Worse Performance: On the Perspective of Layer Utilization and Model Generalization [3.6321778403619285]
ディープニューラルネットワークの一般化は、マシンラーニングにおける主要なオープンな問題の1つだ。初期のレイヤは一般的に、トレーニングデータとテストデータの両方のパフォーマンスに関する表現を学びます。より深いレイヤは、トレーニングのリスクを最小限に抑え、テストや不正なラベル付けされたデータとうまく連携できない。
論文参考訳（メタデータ） (2022-01-28T05:26:32Z)
CYBORG: Blending Human Saliency Into the Loss Improves Deep Learning [5.092711491848192]
本稿では,脳の一般性を高めるための初となるトレーニング戦略を提案する。新しいトレーニングアプローチでは、人間の注釈付き唾液マップをCYBORG損失関数に組み込む。合成顔検出作業の結果,CYBORG損失は,GAN(Generative Adversarial Networks)6つの顔画像から生成した複数の分類ネットワークアーキテクチャから生成した未知のサンプルに対して,顕著な性能向上をもたらすことが示された。
論文参考訳（メタデータ） (2021-12-01T18:04:15Z)
Adversarially-Trained Deep Nets Transfer Better: Illustration on Image Classification [53.735029033681435]
トランスファーラーニングは、訓練済みのディープニューラルネットワークを画像認識タスクに新しいドメインに適用するための強力な方法論である。本研究では,非逆学習モデルよりも逆学習モデルの方が優れていることを示す。
論文参考訳（メタデータ） (2020-07-11T22:48:42Z)
Feature Purification: How Adversarial Training Performs Robust Deep Learning [66.05472746340142]
ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
論文参考訳（メタデータ） (2020-05-20T16:56:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。