論文の概要: One Hyper-Initializer for All Network Architectures in Medical Image Analysis

• arxiv url: http://arxiv.org/abs/2206.03661v1
• Date: Wed, 8 Jun 2022 03:18:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-09 13:57:55.115239
• Title: One Hyper-Initializer for All Network Architectures in Medical Image Analysis
• Title（参考訳）: 医用画像解析における全ネットワークアーキテクチャのための1つのハイパーイニシャライザ
• Authors: Fangxin Shang, Yehui Yang, Dalu Yang, Junde Wu, Xiaorong Wang, Yanwu Xu
• Abstract要約: 本稿では,任意のネットワークアーキテクチャを1回だけ事前学習した後に初期化できるアーキテクチャ非関連ハイパーrを提案する。 本研究は,複数の医用画像モダリティに関する実験結果を通じて,ハイパートレーニング-rの有効性と有効性を示す。
• 参考スコア（独自算出の注目度）: 4.838649878011893
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-training is essential to deep learning model performance, especially in medical image analysis tasks where limited training data are available. However, existing pre-training methods are inflexible as the pre-trained weights of one model cannot be reused by other network architectures. In this paper, we propose an architecture-irrelevant hyper-initializer, which can initialize any given network architecture well after being pre-trained for only once. The proposed initializer is a hypernetwork which takes a downstream architecture as input graphs and outputs the initialization parameters of the respective architecture. We show the effectiveness and efficiency of the hyper-initializer through extensive experimental results on multiple medical imaging modalities, especially in data-limited fields. Moreover, we prove that the proposed algorithm can be reused as a favorable plug-and-play initializer for any downstream architecture and task (both classification and segmentation) of the same modality.
• Abstract（参考訳）: 事前トレーニングはディープラーニングモデルの性能、特に限られたトレーニングデータが利用可能な医療画像解析タスクに不可欠である。 しかし、既存の事前学習手法は、あるモデルの事前学習重量は他のネットワークアーキテクチャでは再利用できないため、柔軟性がない。 本稿では,ネットワークアーキテクチャを1回だけ事前学習した後,任意のネットワークアーキテクチャを十分に初期化することができるアーキテクチャ非関係のハイパーイニシャライザを提案する。 提案する初期化器は、ダウンストリームアーキテクチャを入力グラフとして、各アーキテクチャの初期化パラメータを出力するハイパーネットワークである。 特にデータ制限領域において,複数の医用画像モダリティに対する広範囲な実験結果を通して,ハイパーイニシャライザの有効性と有効性を示す。 さらに,提案アルゴリズムは,任意の下流アーキテクチャやタスク(分類とセグメンテーションの両方)に対して,プラグイン・アンド・プレイのイニシャライザとして再利用可能であることを示す。

関連論文リスト

• Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
  高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。 本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。 ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
  論文  参考訳（メタデータ） (2024-02-27T11:52:49Z)
• Towards Architecture-Agnostic Untrained Network Priors for Image Reconstruction with Frequency Regularization [14.73423587548693]
  ネットワーク先行のスペクトルバイアスを直接変調する効率的なアーキテクチャ非依存手法を提案する。 ほんの数行のコードで、パフォーマンスの低いアーキテクチャでの過度な適合を減らし、パフォーマンスの低いアーキテクチャとパフォーマンスのギャップを埋めることができます。 その結果、アーキテクチャ上のバイアス、過度な適合、および未トレーニングのネットワークプリエントのランタイム上の問題に、アーキテクチャの変更なしに同時に対処できることが初めて明らかとなった。
  論文  参考訳（メタデータ） (2023-12-15T18:01:47Z)
• AIO-P: Expanding Neural Performance Predictors Beyond Image Classification [22.743278613519152]
  アーキテクチャの例でニューラルネットワーク予測器を事前訓練するための新しいオールインワン予測器(AIO-P)を提案する。 AIO-Pは平均絶対誤差(MAE)とスピアマンランク相関(SRCC)をそれぞれ1%以下と0.5以上で達成できる。
  論文  参考訳（メタデータ） (2022-11-30T18:30:41Z)
• Towards Theoretically Inspired Neural Initialization Optimization [66.04735385415427]
  我々は,ニューラルネットワークの初期状態を評価するための理論的知見を備えた,GradCosineという微分可能な量を提案する。 標準制約下でGradCosineを最大化することにより、ネットワークのトレーニングとテストの両方の性能を向上させることができることを示す。 サンプル分析から実際のバッチ設定に一般化されたNIOは、無視可能なコストで、より優れた初期化を自動で探すことができる。
  論文  参考訳（メタデータ） (2022-10-12T06:49:16Z)
• FlowNAS: Neural Architecture Search for Optical Flow Estimation [65.44079917247369]
  本研究では,フロー推定タスクにおいて,より優れたエンコーダアーキテクチャを自動で見つけるために,FlowNASというニューラルアーキテクチャ探索手法を提案する。 実験の結果、スーパーネットワークから受け継いだ重み付きアーキテクチャは、KITTI上で4.67%のF1-allエラーを達成していることがわかった。
  論文  参考訳（メタデータ） (2022-07-04T09:05:25Z)
• Hysteretic Behavior Simulation Based on Pyramid Neural Network:Principle, Network Architecture, Case Study and Explanation [0.0]
  ニューラルネットワークに基づく代理モデルでは、効率と精度のバランスをとる大きな可能性を示している。 単一レベルの特徴に基づく連続的な情報フローと予測は、ネットワーク性能に悪影響を及ぼす。 ここでは重み付けされたピラミッドニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-04-29T16:42:00Z)
• Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
  私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。 我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
  論文  参考訳（メタデータ） (2021-11-02T20:24:01Z)
• Joint Learning of Neural Transfer and Architecture Adaptation for Image Recognition [77.95361323613147]
  現在の最先端の視覚認識システムは、大規模データセット上でニューラルネットワークを事前トレーニングし、より小さなデータセットでネットワーク重みを微調整することに依存している。 本稿では,各ドメインタスクに適応したネットワークアーキテクチャの動的適応と,効率と効率の両面で重みの微調整の利点を実証する。 本手法は,ソースドメインタスクでスーパーネットトレーニングを自己教師付き学習に置き換え,下流タスクで線形評価を行うことにより,教師なしパラダイムに容易に一般化することができる。
  論文  参考訳（メタデータ） (2021-03-31T08:15:17Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。