論文の概要: Fighting Fire with Fire: Avoiding DNN Shortcuts through Priming

• arxiv url: http://arxiv.org/abs/2206.10816v1
• Date: Wed, 22 Jun 2022 03:03:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-23 14:45:12.706963
• Title: Fighting Fire with Fire: Avoiding DNN Shortcuts through Priming
• Title（参考訳）: 火で戦う - プライミングを通したdnnショートカットを避ける
• Authors: Chuan Wen, Jianing Qian, Jierui Lin, Jiaye Teng, Dinesh Jayaraman, Yang Gao
• Abstract要約: 我々は、キー入力機能から計算した「価格」機能を追加することにより、ディープラーニングをコアックスすることで、ショートカットの悪さを回避することができることを示す。 NICO画像分類、MuJoCo連続制御、CARLA自動運転について、私たちのプライミング戦略は、いくつかの一般的な最先端アプローチよりもはるかに優れている。
• 参考スコア（独自算出の注目度）: 23.494845461991442
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Across applications spanning supervised classification and sequential control, deep learning has been reported to find "shortcut" solutions that fail catastrophically under minor changes in the data distribution. In this paper, we show empirically that DNNs can be coaxed to avoid poor shortcuts by providing an additional "priming" feature computed from key input features, usually a coarse output estimate. Priming relies on approximate domain knowledge of these task-relevant key input features, which is often easy to obtain in practical settings. For example, one might prioritize recent frames over past frames in a video input for visual imitation learning, or salient foreground over background pixels for image classification. On NICO image classification, MuJoCo continuous control, and CARLA autonomous driving, our priming strategy works significantly better than several popular state-of-the-art approaches for feature selection and data augmentation. We connect these empirical findings to recent theoretical results on DNN optimization, and argue theoretically that priming distracts the optimizer away from poor shortcuts by creating better, simpler shortcuts.
• Abstract（参考訳）: 教師付き分類とシーケンシャルコントロールにまたがるアプリケーション全体にわたって、ディープラーニングはデータ分布の小さな変化の下で破滅的に失敗する「ショートカット」ソリューションを見つけることが報告されている。 本稿では、キー入力特徴(通常、粗い出力推定値)から計算した「価格」を付加することで、DNNを粗末なショートカットを避けることができることを示す。 プライミングは、これらのタスクに関連するキー入力機能の近似的なドメイン知識に依存している。 例えば、視覚模倣学習のためのビデオ入力や、画像分類のための背景ピクセル上のsaient foregroundにおいて、過去のフレームよりも最近のフレームを優先することができる。 NICO画像分類、MuJoCo連続制御、CARLA自動運転について、我々のプライミング戦略は、特徴選択とデータ拡張のためのいくつかの最先端アプローチよりもはるかに優れている。 我々はこれらの経験的結果と最近のDNN最適化の理論的結果とを結びつけるとともに、プリミングはより良いより単純なショートカットを作成することにより、最適化者を貧弱なショートカットから遠ざけることを理論的に論じる。

関連論文リスト

• COSCO: A Sharpness-Aware Training Framework for Few-shot Multivariate Time Series Classification [19.593625378366472]
  シャープネス認識最小化(SAM)最適化とプロトタイプ損失関数からなる新しい学習フレームワークCOSCOを提案する。 本研究では,提案手法が既存のベースライン法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-15T07:41:55Z)
• Fast Deep Predictive Coding Networks for Videos Feature Extraction without Labels [2.554431612189437]
  ディープ予測符号化ネットワーク(DPCN)は、双方向情報フローを通じて映像特徴をキャプチャする。 本稿では,特徴クラスタリングの空間性と精度を向上する内部モデル変数を高速に推定するDPCNを提案する。 CIFAR-10、スーパーマリオブラザース、Coil-100などのデータセットで実験を行った結果、そのアプローチが検証された。
  論文  参考訳（メタデータ） (2024-09-08T01:53:25Z)
• Visual Saliency-Guided Channel Pruning for Deep Visual Detectors in Autonomous Driving [3.236217153362305]
  ディープニューラルネットワーク(DNN)プルーニングは、リソース制約のあるデバイスにデプロイするデファクトコンポーネントになっている。 本稿では,視覚的検出のための勾配に基づく新しいサリエンシ尺度を提案し,それをチャネルプルーニングのガイドに利用する。 KITTIおよびCOCOトラヒックデータセットの実験は、最先端の競合するアプローチよりもプルーニング手法の有効性と優位性を実証している。
  論文  参考訳（メタデータ） (2023-03-04T22:08:22Z)
• Deep Unsupervised Key Frame Extraction for Efficient Video Classification [63.25852915237032]
  本研究は、畳み込みニューラルネットワーク(CNN)と時間セグメント密度ピーククラスタリング(TSDPC)を組み合わせたキーフレームの検索方法を提案する。 提案した TSDPC は汎用的で強力なフレームワークであり,従来の研究に比べて2つの利点がある。 さらに、CNNの上部にLong Short-Term Memory Network (LSTM)を追加し、分類性能をさらに高める。
  論文  参考訳（メタデータ） (2022-11-12T20:45:35Z)
• Rethinking Nearest Neighbors for Visual Classification [56.00783095670361]
  k-NNは、トレーニングセット内のテストイメージとトップk隣人間の距離を集約する遅延学習手法である。 我々は,教師付き手法と自己監督型手法のいずれでも,事前学習した視覚表現を持つk-NNを2つのステップで採用する。 本研究は,幅広い分類タスクに関する広範な実験により,k-NN統合の汎用性と柔軟性を明らかにした。
  論文  参考訳（メタデータ） (2021-12-15T20:15:01Z)
• A Closer Look at Few-Shot Video Classification: A New Baseline and Benchmark [33.86872697028233]
  本研究は,3つのコントリビューションを生かした映像分類の詳細な研究である。 まず,既存のメートル法を一貫した比較研究を行い,表現学習の限界を明らかにする。 第2に,新しいアクションクラスとImageNetオブジェクトクラスとの間には高い相関関係があることが判明した。 第3に,事前学習をせずに将来的な数ショットビデオ分類を容易にするため,より多くのベースデータを持つ新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-10-24T06:01:46Z)
• Accurate Grid Keypoint Learning for Efficient Video Prediction [87.71109421608232]
  キーポイントベースのビデオ予測手法は、トレーニングやデプロイメントにおいて、かなりの計算資源を消費することができる。 本稿では,長期的効率的な映像予測のための頑健で説明可能な中間キーポイント表現を目的とした,新しいグリッドキーポイント学習フレームワークを設計する。 提案手法は,計算資源の98%以上を節約しつつ,最先端のビデオ予測手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-07-28T05:04:30Z)
• Unlocking Pixels for Reinforcement Learning via Implicit Attention [61.666538764049854]
  我々は最近,トランスフォーマーに非常に有効であることが示されている,新しい効率的なアテンションアルゴリズムを利用している。 これにより、注意に基づくコントローラは、より大きな視覚入力にスケールでき、より小さなパッチの使用が容易になります。 さらに,ソフトマックスの注目度をハイブリッドランダム特徴量で近似するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-08T17:00:26Z)
• Image Restoration by Deep Projected GSURE [115.57142046076164]
  Ill-posed inverse problem は、デブロアリングや超解像など、多くの画像処理アプリケーションに現れる。 本稿では,一般化されたSteinUnbiased Risk Estimator(GSURE)の「投影変換」とCNNによる潜在画像のパラメータ化を含む損失関数の最小化に基づく,新たな画像復元フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-04T08:52:46Z)
• Anchor-free Small-scale Multispectral Pedestrian Detection [88.7497134369344]
  適応型単一段アンカーフリーベースアーキテクチャにおける2つのモードの効果的かつ効率的な多重スペクトル融合法を提案する。 我々は,直接的境界ボックス予測ではなく,対象の中心と規模に基づく歩行者表現の学習を目指す。 その結果,小型歩行者の検出における本手法の有効性が示唆された。
  論文  参考訳（メタデータ） (2020-08-19T13:13:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。