論文の概要: Three approaches to facilitate DNN generalization to objects in out-of-distribution orientations and illuminations: late-stopping, tuning batch normalization and invariance loss

• arxiv url: http://arxiv.org/abs/2111.00131v1
• Date: Sat, 30 Oct 2021 00:31:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-04 11:59:24.401630
• Title: Three approaches to facilitate DNN generalization to objects in out-of-distribution orientations and illuminations: late-stopping, tuning batch normalization and invariance loss
• Title（参考訳）: 分布外配向と照明におけるオブジェクトへのDNN一般化を促進する3つのアプローチ:遅延ストッピング、バッチ正規化のチューニング、不変損失
• Authors: Akira Sakai, Taro Sunagawa, Spandan Madan, Kanata Suzuki, Takashi Katoh, Hiromichi Kobashi, Hanspeter Pfister, Pawan Sinha, Xavier Boix, Tomotake Sasaki
• Abstract要約: 本稿では,OoD(Out-of-distribution)方向の物体認識におけるディープニューラルネットワーク(DNN)の改良について検討する。 これらのアプローチはいずれも、DNNのOoD精度を大幅に改善する(場合によっては20%以上)。 MNISTデータセットとiLabデータセットから2つのデータセットが修正され、残りの2つは新規である。
• 参考スコア（独自算出の注目度）: 16.183571058735275
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The training data distribution is often biased towards objects in certain orientations and illumination conditions. While humans have a remarkable capability of recognizing objects in out-of-distribution (OoD) orientations and illuminations, Deep Neural Networks (DNNs) severely suffer in this case, even when large amounts of training examples are available. In this paper, we investigate three different approaches to improve DNNs in recognizing objects in OoD orientations and illuminations. Namely, these are (i) training much longer after convergence of the in-distribution (InD) validation accuracy, i.e., late-stopping, (ii) tuning the momentum parameter of the batch normalization layers, and (iii) enforcing invariance of the neural activity in an intermediate layer to orientation and illumination conditions. Each of these approaches substantially improves the DNN's OoD accuracy (more than 20% in some cases). We report results in four datasets: two datasets are modified from the MNIST and iLab datasets, and the other two are novel (one of 3D rendered cars and another of objects taken from various controlled orientations and illumination conditions). These datasets allow to study the effects of different amounts of bias and are challenging as DNNs perform poorly in OoD conditions. Finally, we demonstrate that even though the three approaches focus on different aspects of DNNs, they all tend to lead to the same underlying neural mechanism to enable OoD accuracy gains -- individual neurons in the intermediate layers become more selective to a category and also invariant to OoD orientations and illuminations.
• Abstract（参考訳）: トレーニングデータ分布は、特定の方向や照明条件のオブジェクトに対して偏りがしばしばある。 人間は、od(out-of-distribution)方向と照度で物体を認識する能力を持っているが、大量のトレーニング例がある場合でも、このケースではディープニューラルネットワーク(dnn)がひどく苦しむ。 本稿では,OoD配向と照明における物体認識において,DNNを改善するための3つのアプローチについて検討する。 すなわち、これらは (i)in-distribution(ind)検証精度、すなわち遅延停止精度の収束後、はるかに長い訓練 (ii)バッチ正規化層の運動量パラメータの調整、及び (iii)配向および照明条件に対する中間層における神経活動のばらつきを強制する。 これらのアプローチはいずれも、DNNのOoD精度を大幅に改善する(場合によっては20%以上)。 MNISTとiLabのデータセットから2つのデータセットが修正され、残りの2つが新しい(3Dレンダリングされた車のうちの1つと、様々な制御された向きと照明条件から取られたオブジェクト)。 これらのデータセットは、異なるバイアスの影響を研究することができ、dnnがood条件で性能が悪いため困難である。 最後に、3つのアプローチはdnnの異なる側面に焦点を当てているが、いずれもoodの精度向上を実現するために、同じ基盤となる神経機構をもたらす傾向があることを実証する。

関連論文リスト

• DNN-GDITD: Out-of-distribution detection via Deep Neural Network based Gaussian Descriptor for Imbalanced Tabular Data [3.3842496750884457]
  本研究では,DNN-GDITD(Deep Neural Network-based Gaussian Descriptor for Im Balanced Tabular Data)という新しいOOD検出アルゴリズムを提案する。 このアルゴリズムは任意のDNNの上に置かれ、球面決定境界を用いた不均衡データのより良い分類とOOD検出を容易にする。
  論文  参考訳（メタデータ） (2024-09-02T06:52:01Z)
• Unveiling and Mitigating Generalized Biases of DNNs through the Intrinsic Dimensions of Perceptual Manifolds [46.47992213722412]
  公正なディープニューラルネットワーク(DNN)の構築は、信頼できる人工知能を達成するための重要なステップである。 本稿では,モデルの公平性と性能を高める固有次元正規化(IDR)を提案する。 様々な画像認識ベンチマークテストにおいて、IDRはモデルバイアスを低減し、性能を向上する。
  論文  参考訳（メタデータ） (2024-04-22T04:16:40Z)
• Self-supervised Feature Adaptation for 3D Industrial Anomaly Detection [59.41026558455904]
  具体的には,大規模ビジュアルデータセット上で事前学習されたモデルを利用した初期のマルチモーダルアプローチについて検討する。 本研究では,アダプタを微調整し,異常検出に向けたタスク指向の表現を学習するためのLSFA法を提案する。
  論文  参考訳（メタデータ） (2024-01-06T07:30:41Z)
• SAfER: Layer-Level Sensitivity Assessment for Efficient and Robust Neural Network Inference [20.564198591600647]
  ディープニューラルネットワーク(DNN)は、ほとんどのコンピュータビジョンタスクにおいて優れたパフォーマンスを示す。 自律運転や医療画像などの重要な応用には、その行動の調査も必要である。 DNNの属性は、DNNの予測と入力の関係を研究することである。
  論文  参考訳（メタデータ） (2023-08-09T07:45:51Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• A Uniform Framework for Anomaly Detection in Deep Neural Networks [0.5099811144731619]
  異常入力のクラスを3つ検討する。 1)DNNとは異なる分布からの自然な入力は、OOD(Out-of-Distribution)サンプルとして訓練される。 2) 攻撃者によるIDから生成された入力は、しばしば敵(AD)サンプルとして知られ、(3)無意味なデータから生成されたノイズ(NS)サンプルである。 事前学習したDNNに対して,これらすべての異常を検出することを目的としたフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-06T22:42:30Z)
• SelfVoxeLO: Self-supervised LiDAR Odometry with Voxel-based Deep Neural Networks [81.64530401885476]
  本稿では,これら2つの課題に対処するために,自己教師型LiDARオドメトリー法(SelfVoxeLO)を提案する。 具体的には、生のLiDARデータを直接処理する3D畳み込みネットワークを提案し、3D幾何パターンをよりよく符号化する特徴を抽出する。 我々は,KITTIとApollo-SouthBayという2つの大規模データセット上での手法の性能を評価する。
  論文  参考訳（メタデータ） (2020-10-19T09:23:39Z)
• Misalignment Resilient Diffractive Optical Networks [14.520023891142698]
  本稿では,3次元のミスアライメントと耐加工性に対する拡散ネットワークのロバスト性を大幅に向上させる新しいトレーニング手法を紹介し,実験的に実証する。 3次元の望ましくない層間ミスアライメントを光フォワードモデルにおける連続的ランダム変数としてモデル化することにより、拡散ネットワークは広い範囲のミスアライメントにわたって推論精度を維持するように訓練される。
  論文  参考訳（メタデータ） (2020-05-23T04:22:48Z)
• Generalized ODIN: Detecting Out-of-distribution Image without Learning from Out-of-distribution Data [87.61504710345528]
  我々は,OoD検出性能を改善しつつ,ニューラルネットワークをOoDデータのチューニングから解放する2つの方法を提案する。 具体的には、信頼性スコアリングと修正された入力前処理法を分離することを提案する。 大規模画像データセットのさらなる解析により、セマンティックシフトと非セマンティックシフトの2種類の分布シフトが有意な差を示すことが示された。
  論文  参考訳（メタデータ） (2020-02-26T04:18:25Z)
• SESS: Self-Ensembling Semi-Supervised 3D Object Detection [138.80825169240302]
  具体的には、ラベルのない新しい未知のデータに基づくネットワークの一般化を促進するための、徹底的な摂動スキームを設計する。 我々のSESSは、50%のラベル付きデータを用いて、最先端の完全教師付き手法と比較して、競争性能を達成している。
  論文  参考訳（メタデータ） (2019-12-26T08:48:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。