論文の概要: Reduction of Class Activation Uncertainty with Background Information

• arxiv url: http://arxiv.org/abs/2305.03238v2
• Date: Tue, 23 May 2023 01:31:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 23:47:28.751599
• Title: Reduction of Class Activation Uncertainty with Background Information
• Title（参考訳）: 背景情報によるクラスアクティベーションの不確かさの低減
• Authors: H M Dipu Kabir
• Abstract要約: マルチタスク学習と比較して,より低い計算量での一般化を実現するためのバックグラウンドクラスを提案する。 提案手法をいくつかのデータセットに適用し,計算量を大幅に削減して一般化を実現した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Multitask learning is a popular approach to training high-performing neural networks with improved generalization. In this paper, we propose a background class to achieve improved generalization at a lower computation compared to multitask learning to help researchers and organizations with limited computation power. We also present a methodology for selecting background images and discuss potential future improvements. We apply our approach to several datasets and achieved improved generalization with much lower computation. We also investigate class activation mappings (CAMs) of the trained model and observed the tendency towards looking at a bigger picture in a few class classification problems with the proposed model training methodology. Applying transformer with the proposed background class, we receive state-of-the-art (SOTA) performance on STL-10, CIFAR-10, CIFAR-100, Oxford-102, Caltech-101, and CINIC-10 datasets. Example scripts are available in the 'CAM' folder of the following GitHub Repository: github.com/dipuk0506/UQ
• Abstract（参考訳）: マルチタスク学習は、一般化を改善したハイパフォーマンスニューラルネットワークをトレーニングするための一般的なアプローチである。 本稿では,計算能力の低い研究者や組織に対して,マルチタスク学習よりも低い計算速度で一般化を実現するためのバックグラウンドクラスを提案する。 また,背景画像の選択手法を提案し,今後の改善について検討する。 提案手法を複数のデータセットに適用し,より少ない計算量で一般化した。 また,学習モデルのクラスアクティベーションマッピング(cams)についても検討し,提案するモデルトレーニング手法を用いて,いくつかのクラス分類問題において,より大きな視点を見る傾向を観察した。 STL-10、CIFAR-10、CIFAR-100、Oxford-102、Caltech-101、CINIC-10データセット上で、トランスフォーマーをバックグラウンドクラスに応用し、最先端(SOTA)性能を得る。 サンプルスクリプトは、次のgithubリポジトリの'cam'フォルダで利用可能である。

関連論文リスト

• Intra-task Mutual Attention based Vision Transformer for Few-Shot Learning [12.5354658533836]
  人間は、ほんのわずかの例に晒された後に、新しい、目に見えない画像を正確に分類する能力を持っている。 人工ニューラルネットワークモデルでは、限られたサンプルを持つ2つのイメージを区別する最も関連性の高い特徴を決定することが課題である。 本稿では,サポートとクエリサンプルをパッチに分割するタスク内相互注意手法を提案する。
  論文  参考訳（メタデータ） (2024-05-06T02:02:57Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• Retrieval-Enhanced Contrastive Vision-Text Models [61.783728119255365]
  そこで本研究では,メモリから取得したクロスモーダルな情報を推論時に表現することで,その埋め込みを洗練できる視覚テキストモデルを提案する。 注目すべきことに、これは凍ったCLIPの上に軽量の単層核融合トランスを用いて行うことができる。 検索強化コントラスト訓練(RECO)がCLIPの性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-06-12T15:52:02Z)
• EfficientTrain: Exploring Generalized Curriculum Learning for Training Visual Backbones [80.662250618795]
  本稿では視覚バックボーン(例えば視覚変換器)の効率的なトレーニングのための新しいカリキュラム学習手法を提案する。 オフザシェルフ方式として、様々な人気モデルのウォールタイムトレーニングコストを、精度を犠牲にすることなく、ImageNet-1K/22Kで1.5倍に削減する。
  論文  参考訳（メタデータ） (2022-11-17T17:38:55Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Revisiting Classifier: Transferring Vision-Language Models for Video Recognition [102.93524173258487]
  ダウンストリームタスクのためのタスク非依存の深層モデルから知識を伝達することは、コンピュータビジョン研究において重要なトピックである。 本研究では,映像分類作業における知識の伝達に着目した。 予測された言語モデルを用いて、効率的な翻訳学習のための適切なセマンティックターゲットを生成する。
  論文  参考訳（メタデータ） (2022-07-04T10:00:47Z)
• Pre-Trained Image Processing Transformer [95.93031793337613]
  我々は、新しい事前学習モデル、すなわち、画像処理変換器(IPT)を開発する。 本稿では、よく知られたImageNetベンチマークを用いて、大量の画像ペアを生成する。 IPTモデルは、これらの画像をマルチヘッドとマルチテールでトレーニングする。
  論文  参考訳（メタデータ） (2020-12-01T09:42:46Z)
• Multi-task pre-training of deep neural networks for digital pathology [8.74883469030132]
  私たちはまず、多くのデジタル病理データセットを22の分類タスクと約900kの画像のプールに組み立て、変換しました。 特徴抽出器として使用されるモデルは、ImageNet事前訓練されたモデルよりも大幅に改善されるか、同等のパフォーマンスを提供するかを示す。
  論文  参考訳（メタデータ） (2020-05-05T08:50:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。