論文の概要: RecycleNet: Latent Feature Recycling Leads to Iterative Decision Refinement

• arxiv url: http://arxiv.org/abs/2309.07513v1
• Date: Thu, 14 Sep 2023 08:30:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-15 15:48:17.146860
• Title: RecycleNet: Latent Feature Recycling Leads to Iterative Decision Refinement
• Title（参考訳）: RecycleNet: 反復的決定リファインメントへの潜在機能リサイクリング
• Authors: Gregor Koehler, Tassilo Wald, Constantin Ulrich, David Zimmerer, Paul F. Jaeger, J\"org K.H. Franke, Simon Kohl, Fabian Isensee, Klaus H. Maier-Hein
• Abstract要約: 本稿では,ニューラルネットワークの潜在的特徴リサイクル手法であるRecycleNetを提案する。 遅延特徴のリサイクルにより,ネットワークが初期予測を反復的に洗練できることを示す。 我々は,これを様々なセグメンテーションベンチマークで評価し,高い性能のセグメンテーション手法と比較して一貫した改善を示した。
• 参考スコア（独自算出の注目度）: 1.9603538468830042
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the remarkable success of deep learning systems over the last decade, a key difference still remains between neural network and human decision-making: As humans, we cannot only form a decision on the spot, but also ponder, revisiting an initial guess from different angles, distilling relevant information, arriving at a better decision. Here, we propose RecycleNet, a latent feature recycling method, instilling the pondering capability for neural networks to refine initial decisions over a number of recycling steps, where outputs are fed back into earlier network layers in an iterative fashion. This approach makes minimal assumptions about the neural network architecture and thus can be implemented in a wide variety of contexts. Using medical image segmentation as the evaluation environment, we show that latent feature recycling enables the network to iteratively refine initial predictions even beyond the iterations seen during training, converging towards an improved decision. We evaluate this across a variety of segmentation benchmarks and show consistent improvements even compared with top-performing segmentation methods. This allows trading increased computation time for improved performance, which can be beneficial, especially for safety-critical applications.
• Abstract（参考訳）: 過去10年間のディープラーニングシステムの成功にもかかわらず、ニューラルネットワークと人間の意思決定の間には重要な違いが残っている。人間として、我々はその場で意思決定をするだけでなく、異なる角度から最初の推測を再検討し、関連する情報を蒸留し、より良い決定にたどり着く。 本稿では, ニューラルネットワークが多くのリサイクル工程において初期決定を洗練し, 出力を従来のネットワーク層に反復的にフィードバックする, 潜在機能リサイクル手法であるRecycleNetを提案する。 このアプローチは、ニューラルネットワークアーキテクチャに関する仮定を最小にすることで、さまざまなコンテキストで実装することができる。 評価環境として医用画像セグメンテーションを用い, 潜在的特徴リサイクリングによって, 学習中のイテレーションを超えても, ネットワークが反復的に初期予測を洗練できることを示す。 様々なセグメンテーションベンチマークでこれを評価し、高い性能のセグメンテーション手法と比較しても一貫した改善を示す。 これにより、パフォーマンス向上のための計算時間のトレーディングが向上し、特にセーフティクリティカルなアプリケーションでは有益である。

関連論文リスト

• Neural Poisson Surface Reconstruction: Resolution-Agnostic Shape Reconstruction from Point Clouds [53.02191521770926]
  我々は,3次元形状を点から復元するという課題に対処する形状再構成アーキテクチャであるニューラルポアソン表面再構成(nPSR)を導入する。 nPSRには2つの大きな利点がある: まず、高分解能評価において同等の性能を達成しつつ、低分解能データの効率的なトレーニングを可能にする。 全体として、ニューラル・ポアソン表面の再構成は、形状再構成における古典的なディープニューラルネットワークの限界を改良するだけでなく、再構築品質、走行時間、分解能非依存の観点からも優れた結果が得られる。
  論文  参考訳（メタデータ） (2023-08-03T13:56:07Z)
• Dynamic Iterative Refinement for Efficient 3D Hand Pose Estimation [87.54604263202941]
  本稿では,従来の推定値の修正に部分的レイヤを反復的に活用する,小さなディープニューラルネットワークを提案する。 学習したゲーティング基準を用いて、ウェイトシェアリングループから抜け出すかどうかを判断し、モデルにサンプルごとの適応を可能にする。 提案手法は,広く使用されているベンチマークの精度と効率の両面から,最先端の2D/3Dハンドポーズ推定手法より一貫して優れている。
  論文  参考訳（メタデータ） (2021-11-11T23:31:34Z)
• Edge Rewiring Goes Neural: Boosting Network Resilience via Policy Gradient [62.660451283548724]
  ResiNetは、さまざまな災害や攻撃に対する回復力のあるネットワークトポロジを発見するための強化学習フレームワークである。 ResiNetは複数のグラフに対してほぼ最適のレジリエンス向上を実現し,ユーティリティのバランスを保ちながら,既存のアプローチに比べて大きなマージンを持つことを示す。
  論文  参考訳（メタデータ） (2021-10-18T06:14:28Z)
• Clustering-Based Interpretation of Deep ReLU Network [17.234442722611803]
  我々はReLU関数の非線形挙動が自然なクラスタリングを引き起こすことを認識している。 本稿では,完全連結フィードフォワードReLUニューラルネットワークの解釈可能性を高める手法を提案する。
  論文  参考訳（メタデータ） (2021-10-13T09:24:11Z)
• The Impact of Reinitialization on Generalization in Convolutional Neural Networks [3.462210753108297]
  12のベンチマーク画像分類データセットにまたがる複数の畳み込みアーキテクチャにおける異なる再初期化手法の影響について検討する。 本稿では,従来の手法よりも優れた階層的再初期化アルゴリズムを提案する。 我々のメッセージは、ボトムアップ階層の再初期化を用いて、小さなデータセットに対して畳み込みニューラルネットワークの精度を改善することができるということだ。
  論文  参考訳（メタデータ） (2021-09-01T09:25:57Z)
• Self-Reorganizing and Rejuvenating CNNs for Increasing Model Capacity Utilization [8.661269034961679]
  本稿では,ニューラルネットワークの計算資源利用を改善するための生物学的手法を提案する。 提案手法では,畳み込み層のチャネルアクティベーションを利用して,その層パラメータを再構成する。 再生されたパラメータは、再構成された生存パラメータから学んだことを補うために異なる特徴を学ぶ。
  論文  参考訳（メタデータ） (2021-02-13T06:19:45Z)
• Short-Term Memory Optimization in Recurrent Neural Networks by Autoencoder-based Initialization [79.42778415729475]
  線形オートエンコーダを用いた列列の明示的暗記に基づく代替解を提案する。 このような事前学習が、長いシーケンスで難しい分類タスクを解くのにどのように役立つかを示す。 提案手法は, 長周期の復元誤差をはるかに小さくし, 微調整時の勾配伝播を良くすることを示す。
  論文  参考訳（メタデータ） (2020-11-05T14:57:16Z)
• Retrospective Loss: Looking Back to Improve Training of Deep Neural Networks [15.329684157845872]
  我々は、ディープニューラルネットワークモデルのトレーニングを改善するために、新しい振り返り損失を導入する。 レトロスペクティブの損失を最小限に抑え、タスク固有の損失と共に、現在のトレーニングステップでパラメータ状態を最適なパラメータ状態にプッシュします。 簡単なアイデアではあるが、我々はこの手法を解析し、ドメイン全体にわたる包括的な実験を行う。
  論文  参考訳（メタデータ） (2020-06-24T10:16:36Z)
• Boosting Connectivity in Retinal Vessel Segmentation via a Recursive Semantics-Guided Network [23.936946593048987]
  U字型ネットワークはセマンティクス誘導モジュールを導入して拡張され、拡張されたセマンティクス情報を浅い層に統合し、ネットワークがより強力な機能を探索できるようにする。 慎重に設計されたセマンティクス誘導ネットワークは、いくつかの公開データセットで広く評価されている。
  論文  参考訳（メタデータ） (2020-04-24T09:18:04Z)
• Binary Neural Networks: A Survey [126.67799882857656]
  バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。 バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。 本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
  論文  参考訳（メタデータ） (2020-03-31T16:47:20Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。