論文の概要: Advancing Brain Imaging Analysis Step-by-step via Progressive Self-paced Learning

• arxiv url: http://arxiv.org/abs/2407.16128v1
• Date: Tue, 23 Jul 2024 02:26:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 18:55:32.857658
• Title: Advancing Brain Imaging Analysis Step-by-step via Progressive Self-paced Learning
• Title（参考訳）: プログレッシブ・セルフペースト学習による脳画像解析のステップバイステップ向上
• Authors: Yanwu Yang, Hairui Chen, Jiesi Hu, Xutao Guo, Ting Ma,
• Abstract要約: 適応型・進行型ペーシング・蒸留機構を応用したPSPD(Progressive Self-Paced Distillation)フレームワークを提案する。 我々は、アルツハイマー病神経画像イニシアチブ(ADNI)データセットを用いて、様々な畳み込みニューラルネットワークにおけるPSPDの有効性と適応性を検証する。
• 参考スコア（独自算出の注目度）: 0.5840945370755134
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in deep learning have shifted the development of brain imaging analysis. However, several challenges remain, such as heterogeneity, individual variations, and the contradiction between the high dimensionality and small size of brain imaging datasets. These issues complicate the learning process, preventing models from capturing intrinsic, meaningful patterns and potentially leading to suboptimal performance due to biases and overfitting. Curriculum learning (CL) presents a promising solution by organizing training examples from simple to complex, mimicking the human learning process, and potentially fostering the development of more robust and accurate models. Despite its potential, the inherent limitations posed by small initial training datasets present significant challenges, including overfitting and poor generalization. In this paper, we introduce the Progressive Self-Paced Distillation (PSPD) framework, employing an adaptive and progressive pacing and distillation mechanism. This allows for dynamic curriculum adjustments based on the states of both past and present models. The past model serves as a teacher, guiding the current model with gradually refined curriculum knowledge and helping prevent the loss of previously acquired knowledge. We validate PSPD's efficacy and adaptability across various convolutional neural networks using the Alzheimer's Disease Neuroimaging Initiative (ADNI) dataset, underscoring its superiority in enhancing model performance and generalization capabilities. The source code for this approach will be released at https://github.com/Hrychen7/PSPD.
• Abstract（参考訳）: 近年のディープラーニングの進歩は、脳画像解析の発展に変化をもたらした。 しかし、不均一性、個人差、高次元と小さな脳画像データセットの矛盾など、いくつかの課題が残っている。 これらの問題は学習プロセスを複雑にし、モデルが本質的で有意義なパターンを捉えないことを防ぎ、バイアスや過度な適合によって最適以下のパフォーマンスにつながる可能性がある。 カリキュラム学習(CL)は、簡単なものから複雑なものまでトレーニング例を整理し、人間の学習プロセスを模倣し、より堅牢で正確なモデルの開発を促進することによって、有望なソリューションを提供する。 その可能性にもかかわらず、小さな初期トレーニングデータセットによって引き起こされる固有の制限は、過度な適合や一般化の欠如など、重大な課題を呈している。 本稿では, 適応的かつプログレッシブなペーシングと蒸留機構を応用した, プログレッシブセルフペースト蒸留(PSPD)フレームワークについて紹介する。 これにより、過去のモデルと現在のモデルの両方の状態に基づいた動的カリキュラムの調整が可能になる。 過去のモデルは教師として機能し、徐々に洗練されたカリキュラム知識で現在のモデルを指導し、以前取得した知識の喪失を防ぐのに役立つ。 我々は、アルツハイマー病神経画像イニシアチブ(ADNI)データセットを用いて、様々な畳み込みニューラルネットワークにおけるPSPDの有効性と適応性を検証する。 このアプローチのソースコードはhttps://github.com/Hrychen7/PSPDで公開される。

関連論文リスト

• Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
  蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。 Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。 提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-11-11T07:36:19Z)
• Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [49.043599241803825]
  Iterative Contrastive Unlearning (ICU)フレームワークは3つのコアコンポーネントで構成されている。 知識未学習誘導モジュールは、未学習の損失を通じて特定の知識を除去する。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を維持する。 また、特定のデータ片の未学習範囲を動的に評価し、反復的な更新を行う反復未学習リファインメントモジュールも用意されている。
  論文  参考訳（メタデータ） (2024-07-25T07:09:35Z)
• Neuromimetic metaplasticity for adaptive continual learning [2.1749194587826026]
  本研究では,人間の作業記憶にインスパイアされたメタ塑性モデルを提案する。 このアプローチの重要な側面は、安定から柔軟性までの異なるタイプのシナプスを実装し、それらをランダムに混在させて、柔軟性の異なるシナプス接続をトレーニングすることである。 このモデルは、追加の訓練や構造変更を必要とせず、メモリ容量と性能のバランスのとれたトレードオフを実現した。
  論文  参考訳（メタデータ） (2024-07-09T12:21:35Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Enhancing Dynamical System Modeling through Interpretable Machine Learning Augmentations: A Case Study in Cathodic Electrophoretic Deposition [0.8796261172196743]
  本稿では,物理システムのモデリング向上を目的とした包括的データ駆動フレームワークを提案する。 実証的応用として,電顕的電気泳動沈着(EPD)のモデル化を追求する。
  論文  参考訳（メタデータ） (2024-01-16T14:58:21Z)
• Learning Objective-Specific Active Learning Strategies with Attentive Neural Processes [72.75421975804132]
  学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。 能動学習問題の対称性と独立性を利用した新しい分類法を提案する。 私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
  論文  参考訳（メタデータ） (2023-09-11T14:16:37Z)
• Looking deeper into interpretable deep learning in neuroimaging: a comprehensive survey [20.373311465258393]
  本稿では、ニューロイメージング領域における解釈可能なディープラーニングモデルについて包括的にレビューする。 近年の神経画像研究は、モデル解釈可能性を利用して、モデル予測に最も関係のある解剖学的および機能的脳変化を捉える方法について論じている。
  論文  参考訳（メタデータ） (2023-07-14T04:50:04Z)
• PIGNet2: A Versatile Deep Learning-based Protein-Ligand Interaction Prediction Model for Binding Affinity Scoring and Virtual Screening [0.0]
  タンパク質-リガンド相互作用の予測(PLI)は、薬物発見において重要な役割を果たす。 結合親和性を正確に評価し、効率的な仮想スクリーニングを行う汎用モデルの開発は依然として課題である。 本稿では、物理インフォームドグラフニューラルネットワークと組み合わせて、新しいデータ拡張戦略を導入することにより、実現可能なソリューションを提案する。
  論文  参考訳（メタデータ） (2023-07-03T14:46:49Z)
• Continual Learning with Bayesian Model based on a Fixed Pre-trained Feature Extractor [55.9023096444383]
  現在のディープラーニングモデルは、新しいクラスを学ぶ際に古い知識を破滅的に忘れることによって特徴づけられる。 人間の脳における新しい知識の学習プロセスに着想を得て,連続学習のためのベイズ生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-04-28T08:41:51Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。