論文の概要: Introspective Learning : A Two-Stage Approach for Inference in Neural Networks

• arxiv url: http://arxiv.org/abs/2209.08425v1
• Date: Sat, 17 Sep 2022 23:31:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-20 15:47:54.715394
• Title: Introspective Learning : A Two-Stage Approach for Inference in Neural Networks
• Title（参考訳）: イントロスペクティブラーニング : ニューラルネットワークにおける推論のための2段階的アプローチ
• Authors: Mohit Prabhushankar, Ghassan AlRegib
• Abstract要約: 我々は、ニューラルネットワークの意思決定プロセスの2つの段階を提唱する。 ひとつは、既存のフィードフォワード推論フレームワークで、与えられたデータのパターンを検知し、以前に学習したパターンと関連付ける。 2つ目は、利用可能なすべての選択肢を考慮し、評価することで、フィードフォワードの決定を反映するようにネットワークに要求する、遅いリフレクションステージである。
• 参考スコア（独自算出の注目度）: 18.32369721322249
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we advocate for two stages in a neural network's decision making process. The first is the existing feed-forward inference framework where patterns in given data are sensed and associated with previously learned patterns. The second stage is a slower reflection stage where we ask the network to reflect on its feed-forward decision by considering and evaluating all available choices. Together, we term the two stages as introspective learning. We use gradients of trained neural networks as a measurement of this reflection. A simple three-layered Multi Layer Perceptron is used as the second stage that predicts based on all extracted gradient features. We perceptually visualize the post-hoc explanations from both stages to provide a visual grounding to introspection. For the application of recognition, we show that an introspective network is 4% more robust and 42% less prone to calibration errors when generalizing to noisy data. We also illustrate the value of introspective networks in downstream tasks that require generalizability and calibration including active learning, out-of-distribution detection, and uncertainty estimation. Finally, we ground the proposed machine introspection to human introspection for the application of image quality assessment.
• Abstract（参考訳）: 本稿では,ニューラルネットワークの意思決定過程における2つの段階を提唱する。 1つは、既存のフィードフォワード推論フレームワークで、与えられたデータのパターンを検知し、以前に学習したパターンと関連付ける。 第2段階は、利用可能なすべての選択肢を考慮し、評価することで、フィードフォワードの決定を反映するようにネットワークに求める、遅いリフレクションステージである。 2つの段階をイントロスペクティブラーニング(introspective learning)と呼ぶ。 この反射の測定には、トレーニングされたニューラルネットワークの勾配を使用します。 単純な3層多層パーセプトロンは、抽出された全ての勾配特徴に基づいて予測する第2段階として用いられる。 両段階からホック後の説明を視覚的に可視化し,イントロスペクションに対する視覚的根拠を提供する。 認識の応用として,ノイズデータへの一般化において,イントロスペクティブネットワークの方が4%,キャリブレーション誤差が42%少なくなっていることを示す。 また,ダウンストリームタスクにおいて,アクティブラーニング,アウト・オブ・ディストリビューション検出,不確実性推定など,一般化可能性と校正を必要とするイントロスペクティブネットワークの価値について述べる。 最後に,画像品質評価の適用のために,提案したマシンイントロスペクションを人間のイントロスペクションに適用する。

関連論文リスト

• A Novel Information-Theoretic Objective to Disentangle Representations for Fair Classification [46.884905701771004]
  そのような非絡み合った表現に対する主な応用の1つは、公平な分類である。 我々は、この問題の情報理論的視点を採用し、レギュレータの新しいファミリーを動機付けている。 結果として得られた損失はCLINICと呼ばれ、パラメータフリーである。
  論文  参考訳（メタデータ） (2023-10-21T12:35:48Z)
• A Study of Forward-Forward Algorithm for Self-Supervised Learning [65.268245109828]
  本研究では,自己指導型表現学習におけるフォワードとバックプロパゲーションのパフォーマンスについて検討する。 我々の主な発見は、フォワードフォワードアルゴリズムが(自己教師付き)トレーニング中にバックプロパゲーションに相容れないように機能するのに対し、転送性能は研究されたすべての設定において著しく遅れていることである。
  論文  参考訳（メタデータ） (2023-09-21T10:14:53Z)
• Gaussian Switch Sampling: A Second Order Approach to Active Learning [11.775252660867285]
  能動的学習において、取得関数は、モデル多様体内の表現位置に直接情報性を定義する。 本稿では,アクティブラーニングの文脈における情報内容とサンプルの重要性の2次定義を提案する。 我々は,モデル表現が訓練データの欠如によって制約されている場合でも,その定義が極めて正確な重要度スコアを生成することを示す。
  論文  参考訳（メタデータ） (2023-02-16T15:24:56Z)
• Neural Maximum A Posteriori Estimation on Unpaired Data for Motion Deblurring [87.97330195531029]
  本稿では、ニューラルネットワークをトレーニングし、失明したデータから視覚情報や鋭いコンテンツを復元するためのニューラルネットワークの最大Aポストエリオリ(NeurMAP)推定フレームワークを提案する。 提案されたNeurMAPは、既存のデブロアリングニューラルネットワークに対するアプローチであり、未使用データセット上のイメージデブロアリングネットワークのトレーニングを可能にする最初のフレームワークである。
  論文  参考訳（メタデータ） (2022-04-26T08:09:47Z)
• DIAL: Deep Interactive and Active Learning for Semantic Segmentation in Remote Sensing [34.209686918341475]
  我々は、ディープニューラルネットワークと人間のループでの協調を構築することを提案する。 簡単に言うと、エージェントはネットワークと反復的に対話して、当初欠陥があった予測を修正する。 本研究では,不確実性推定に基づくアクティブラーニングにより,ユーザを迅速に誤りに導くことができることを示す。
  論文  参考訳（メタデータ） (2022-01-04T09:11:58Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)
• Training Binary Neural Networks through Learning with Noisy Supervision [76.26677550127656]
  本稿では,ニューラルネットワーク上の二項化操作を学習の観点から定式化する。 ベンチマークデータセットの実験結果から,提案手法がベースラインよりも一貫した改善を達成できることが示唆された。
  論文  参考訳（メタデータ） (2020-10-10T01:59:39Z)
• Scalable Polyhedral Verification of Recurrent Neural Networks [9.781772283276734]
  本稿では, Prover と呼ばれる再帰型ニューラルネットワークのスケーラブルかつ高精度な検証手法を提案する。 評価の結果,Proverはコンピュータビジョン,音声,モーションセンサの分類において,いくつかの難解な再帰モデルを検証できた。
  論文  参考訳（メタデータ） (2020-05-27T11:57:01Z)
• Ventral-Dorsal Neural Networks: Object Detection via Selective Attention [51.79577908317031]
  我々はVDNet(Ventral-Dorsal Networks)と呼ばれる新しいフレームワークを提案する。 人間の視覚システムの構造にインスパイアされた我々は「Ventral Network」と「Dorsal Network」の統合を提案する。 実験の結果,提案手法は最先端の物体検出手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-05-15T23:57:36Z)
• Binary Neural Networks: A Survey [126.67799882857656]
  バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。 バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。 本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
  論文  参考訳（メタデータ） (2020-03-31T16:47:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。