論文の概要: LENAS: Learning-based Neural Architecture Search and Ensemble for 3D Radiotherapy Dose Prediction
- arxiv url: http://arxiv.org/abs/2106.06733v4
- Date: Mon, 13 May 2024 11:03:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-15 20:27:15.168531
- Title: LENAS: Learning-based Neural Architecture Search and Ensemble for 3D Radiotherapy Dose Prediction
- Title（参考訳）: LENAS:3次元放射線治療線量予測のための学習型ニューラルネットワーク探索とアンサンブル
- Authors: Yi Lin, Yanfei Liu, Hao Chen, Xin Yang, Kai Ma, Yefeng Zheng, Kwang-Ting Cheng,
- Abstract要約: 本稿では3次元放射線治療線量予測のための知識蒸留とニューラルネットワーク検索を統合した,学習に基づく新しいアンサンブル手法 LENAS を提案する。
当社のアプローチは、巨大なアーキテクチャ空間から各ブロックを徹底的に検索して、有望なパフォーマンスを示す複数のアーキテクチャを識別することから始まります。
モデルアンサンブルによってもたらされる複雑さを軽減するため、教師-学生パラダイムを採用し、複数の学習ネットワークからの多様な出力を監視信号として活用する。
- 参考スコア（独自算出の注目度）: 42.38793195337463
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Radiation therapy treatment planning requires balancing the delivery of the target dose while sparing normal tissues, making it a complex process. To streamline the planning process and enhance its quality, there is a growing demand for knowledge-based planning (KBP). Ensemble learning has shown impressive power in various deep learning tasks, and it has great potential to improve the performance of KBP. However, the effectiveness of ensemble learning heavily depends on the diversity and individual accuracy of the base learners. Moreover, the complexity of model ensembles is a major concern, as it requires maintaining multiple models during inference, leading to increased computational cost and storage overhead. In this study, we propose a novel learning-based ensemble approach named LENAS, which integrates neural architecture search with knowledge distillation for 3D radiotherapy dose prediction. Our approach starts by exhaustively searching each block from an enormous architecture space to identify multiple architectures that exhibit promising performance and significant diversity. To mitigate the complexity introduced by the model ensemble, we adopt the teacher-student paradigm, leveraging the diverse outputs from multiple learned networks as supervisory signals to guide the training of the student network. Furthermore, to preserve high-level semantic information, we design a hybrid-loss to optimize the student network, enabling it to recover the knowledge embedded within the teacher networks. The proposed method has been evaluated on two public datasets, OpenKBP and AIMIS. Extensive experimental results demonstrate the effectiveness of our method and its superior performance to the state-of-the-art methods.
- Abstract（参考訳）: 放射線治療計画では、正常な組織を分散させながら標的の投与量のバランスをとる必要があるため、複雑なプロセスである。
計画プロセスの合理化と品質向上のために,知識ベース計画(KBP)の需要が高まっている。
アンサンブル学習は様々なディープラーニングタスクにおいて印象的な能力を示しており、KBPの性能向上に大きな可能性を秘めている。
しかし,アンサンブル学習の有効性は,基礎学習者の多様性と個人的精度に大きく依存する。
さらに、モデルアンサンブルの複雑さは、推論中に複数のモデルを維持する必要があり、計算コストとストレージオーバーヘッドが増加するため、大きな懸念事項である。
本研究では,3次元放射線照射量予測のための知識蒸留とニューラルネットワーク検索を統合した,学習に基づく新しいアンサンブル手法 LENAS を提案する。
当社のアプローチは、巨大なアーキテクチャ空間から各ブロックを徹底的に検索して、有望なパフォーマンスと大きな多様性を示す複数のアーキテクチャを識別することから始まります。
モデルアンサンブルによってもたらされる複雑さを軽減するため,教師-学生パラダイムを採用し,複数の学習ネットワークからの多様な出力を教師信号として活用し,学生ネットワークのトレーニングを指導する。
さらに,高レベルのセマンティック情報を保存するために,学生ネットワークを最適化するハイブリッドロスを設計し,教師ネットワークに埋め込まれた知識を復元する。
提案手法はOpenKBPとAIMISの2つの公開データセットで評価されている。
実験結果から,本手法の有効性を実証し,その有効性を実証した。
関連論文リスト
- Ensemble Learning via Knowledge Transfer for CTR Prediction [9.891226177252653]
本稿では,より大規模なアンサンブルネットワークを調査し,一般的なアンサンブル学習法に特有の3つの制約を見出す。
我々は,新しいモデルに依存しないアンサンブル知識伝達フレームワーク(EKTF)を提案する。
実世界の5つのデータセットの実験結果は、EKTFの有効性と互換性を示している。
論文 参考訳（メタデータ） (2024-11-25T06:14:20Z) - Contrastive-Adversarial and Diffusion: Exploring pre-training and fine-tuning strategies for sulcal identification [3.0398616939692777]
対人学習、コントラスト学習、拡散認知学習、通常の再構成学習といった技術が標準となっている。
この研究は、ニューラルネットワークの学習プロセスを強化するために、事前学習技術と微調整戦略の利点を解明することを目的としている。
論文 参考訳（メタデータ） (2024-05-29T15:44:51Z) - Empowering Private Tutoring by Chaining Large Language Models [87.76985829144834]
本研究は,最先端の大規模言語モデル(LLM)を活用した,本格的な知的チューリングシステムの開発を探求する。
このシステムは、相互に接続された3つのコアプロセス(相互作用、反射、反応)に分けられる。
各プロセスは LLM ベースのツールと動的に更新されたメモリモジュールによって実装される。
論文 参考訳（メタデータ） (2023-09-15T02:42:03Z) - NEVIS'22: A Stream of 100 Tasks Sampled from 30 Years of Computer Vision
Research [96.53307645791179]
我々は,100以上の視覚的分類タスクのストリームからなるベンチマークであるNever-Ending VIsual-classification Stream (NEVIS'22)を紹介する。
分類に制限されているにもかかわらず、OCR、テクスチャ分析、シーン認識など、様々なタスクが生成される。
NEVIS'22は、タスクの規模と多様性のために、現在のシーケンシャルな学習アプローチに対して前例のない課題を提起している。
論文 参考訳（メタデータ） (2022-11-15T18:57:46Z) - Hierarchically Structured Task-Agnostic Continual Learning [0.0]
本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。
我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。
既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
論文 参考訳（メタデータ） (2022-11-14T19:53:15Z) - Learning Knowledge Representation with Meta Knowledge Distillation for
Single Image Super-Resolution [82.89021683451432]
単一画像超解像課題に対する教師/学生アーキテクチャに基づくモデルに依存しないメタ知識蒸留法を提案する。
種々の単一画像超解像データセットを用いた実験により,提案手法は既存の知識表現関連蒸留法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2022-07-18T02:41:04Z) - Hybrid Learning for Orchestrating Deep Learning Inference in Multi-user
Edge-cloud Networks [3.7630209350186807]
ディープラーニングのためのコラボレーション型のエッジクラウドコンピューティングは、さまざまなパフォーマンスと効率を提供する。
ディープラーニング推論オーケストレーション戦略では、最適なオーケストレーションポリシを見つけるために強化学習を採用している。
我々は、最先端のRLベースの推論オーケストレーションを実験的に比較することで、HL戦略の有効性を実証する。
論文 参考訳（メタデータ） (2022-02-21T21:50:50Z) - Towards the One Learning Algorithm Hypothesis: A System-theoretic
Approach [0.0]
人間の認知における普遍的な学習アーキテクチャの存在は、神経科学の実験的な発見によって支持される広範囲にわたる推測である。
i) マルチレゾリューション分析プリプロセッサ, (ii) グループ不変の特徴抽出器, (iii) プログレッシブ知識に基づく学習モジュールの3つの主成分からなる閉ループシステムを開発した。
複数の解像度で徐々に成長する知識表現を構成する新しい学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-12-04T05:54:33Z) - Learning Multi-Objective Curricula for Deep Reinforcement Learning [55.27879754113767]
深部強化学習(DRL)のサンプル効率と最終性能を向上させるために,各種自動カリキュラム学習(ACL)手法が提案されている。
本稿では,多目的だがコヒーレントなカリキュラムを作成するための統合された自動カリキュラム学習フレームワークを提案する。
既存の手設計のカリキュラムパラダイムに加えて,抽象カリキュラムを学習するためのフレキシブルなメモリ機構を設計する。
論文 参考訳（メタデータ） (2021-10-06T19:30:25Z) - Investigating Bi-Level Optimization for Learning and Vision from a
Unified Perspective: A Survey and Beyond [114.39616146985001]
機械学習やコンピュータビジョンの分野では、モチベーションやメカニズムが異なるにもかかわらず、複雑な問題の多くは、一連の密接に関連するサブプロトコルを含んでいる。
本稿では,BLO(Bi-Level Optimization)の観点から,これらの複雑な学習と視覚問題を一様に表現する。
次に、値関数に基づく単一レベル再構成を構築し、主流勾配に基づくBLO手法を理解し、定式化するための統一的なアルゴリズムフレームワークを確立する。
論文 参考訳（メタデータ） (2021-01-27T16:20:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。