論文の概要: ATHENA: Knowledge-guided agentic neural architecture search for AutoFormer-based electronic health record modeling

• arxiv url: http://arxiv.org/abs/2608.21712v2
• Date: Tue, 25 Aug 2026 19:53:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:14.921533
• Title: ATHENA: Knowledge-guided agentic neural architecture search for AutoFormer-based electronic health record modeling
• Title（参考訳）: AtheNA: AutoFormer を用いた電子健康記録モデリングのための知識誘導型エージェントニューラルアーキテクチャ探索
• Authors: Deyi Li, Qi Xu, Lingyao Li, Tiansheng Wang, Muxuan Liang, Mei Liu,
• Abstract要約: AtheNAは、TransformerベースのEHRモデリングのための知識誘導型エージェントNASフレームワークである。 以前の2層クロスホスピタルアーキテクチャが組み込まれていた。 AtheNAは、検索予算30の12評価のうち、9位にランクインしている。
• 参考スコア（独自算出の注目度）: 28.23933389505974
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer-based models are widely used for clinical prediction from electronic health records (EHRs), yet their architectures require manual tuning, and the optimal configuration may vary across tasks and hospitals. Neural architecture search (NAS) automates architecture design, but conventional methods are computationally costly for Transformer-based EHR models. Recent large language model (LLM)-guided NAS methods reduce manual search design but conduct each search independently, without reusing architecture knowledge across hospitals. In this study, we propose ATHENA (Agentic Transfer across Hospitals for EHR Neural Architecture Search), a knowledge-guided agentic NAS framework for Transformer-based EHR modeling. ATHENA uses a weight-sharing supernet that is pretrained once per hospital, allowing candidate architectures to be instantiated as inherited subnetworks and evaluated through fine-tuning rather than independent pretraining. It incorporates a two-layer cross-hospital architecture prior. The first layer retrieves high-performing architecture examples from source sites based on task descriptors, while the second estimates the effects of architectural components using SHapley Additive exPlanations (SHAP)-based meta-regression. These priors guide a multi-agent LLM search using validation feedback from the target hospital. Across six clinical prediction tasks evaluated at one held-out OneFlorida+ site and one external MIMIC-IV site, ATHENA significantly outperforms all four baselines in 9 of 12 site-task evaluations under a strict equal-compute comparison. Using a common pretrained AutoFormer supernet for candidate evaluation, ATHENA ranks first in 9 of 12 evaluations at a search budget of 30. It also shows more consistent architecture selection across repeated searches. ATHENA provides a practical approach for reducing manual architecture tuning in Transformer-based EHR modeling.
• Abstract（参考訳）: トランスフォーマーベースのモデルは、電子健康記録(EHR)からの臨床予測に広く用いられているが、それらのアーキテクチャは手動チューニングを必要とし、最適な構成はタスクや病院によって異なる可能性がある。 ニューラルアーキテクチャサーチ(NAS)はアーキテクチャ設計を自動化するが、従来の手法はトランスフォーマーベースのEHRモデルでは計算コストがかかる。 最近の大規模言語モデル (LLM) 誘導型NAS法は手動検索設計を減らしているが, 病院全体のアーキテクチャ知識を再利用することなく, 個別に検索を行う。 本研究では,トランスフォーマーに基づくEHRモデリングのための知識誘導型エージェントNASフレームワークであるAtheNA(Agentic Transfer across Hospitals for EHR Neural Architecture Search)を提案する。 AtheNAは、病院ごとに1度事前トレーニングされた重量共有スーパーネットを使用して、候補アーキテクチャを継承サブネットとしてインスタンス化し、独立した事前トレーニングではなく、微調整によって評価する。 以前の2層クロスホスピタルアーキテクチャが組み込まれていた。 第1のレイヤは、タスク記述子に基づいて、ソースサイトから高性能なアーキテクチャ例を検索し、第2のレイヤは、SHAP(SHapley Additive ExPlanations)ベースのメタ回帰を使用して、アーキテクチャコンポーネントの効果を推定する。 これらの先行情報は,対象病院からのバリデーションフィードバックを用いた多エージェントLSM検索をガイドする。 1ヶ所のOneFlorida+サイトと1ヶ所のMIMIC-IVサイトにおいて評価された6つの臨床予測課題のうち、ATHENAは、厳密な同値比較により、12ヶ所のサイトタスク評価のうち9ヶ所の4つのベースラインを著しく上回っている。 ATHENAは、一般的な事前訓練されたAutoFormerスーパーネットを候補評価に使用し、検索予算30の12評価のうち9位にランクインした。 また、繰り返し検索するたびに、より一貫性のあるアーキテクチャ選択を示す。 AtheNA は Transformer ベースの EHR モデリングにおいて,手作業によるアーキテクチャチューニングを減らすための実用的なアプローチを提供する。

関連論文リスト

• Neural Architecture Search using Particle Swarm and Ant Colony Optimization [0.0]
  本稿では,OpenNASのSwarm Intelligence (SI)コンポーネントを用いたCNNのトレーニングと最適化に焦点を当てる。 画像の分類において,OpenNAS(Neural Architecture Search)のオープンソースツールを統合するシステムを開発した。
  論文  参考訳（メタデータ） (2024-03-06T15:23:26Z)
• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• Automated Fusion of Multimodal Electronic Health Records for Better Medical Predictions [48.0590120095748]
  本稿では,多様な入力モダリティと融合戦略を符号化する最適なモデルアーキテクチャを自動検索する,AutoFMという新しいニューラルネットワーク探索フレームワークを提案する。 我々は実世界のマルチモーダルEHRデータと予測タスクについて徹底的な実験を行い、その結果、我々のフレームワークが既存の最先端手法よりも大幅な性能向上を実現していることを示す。
  論文  参考訳（メタデータ） (2024-01-20T15:14:14Z)
• DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit CNNs [53.82853297675979]
  バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。 自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。 本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
  論文  参考訳（メタデータ） (2023-06-27T11:28:29Z)
• Training-free Neural Architecture Search for RNNs and Transformers [0.0]
  我々は、RNNアーキテクチャのトレーニング性能を予測する、隠れ共分散と呼ばれる新しいトレーニングフリーメトリックを開発した。 トランスフォーマーアーキテクチャの現在の検索空間パラダイムは、トレーニング不要なニューラルアーキテクチャサーチに最適化されていない。
  論文  参考訳（メタデータ） (2023-06-01T02:06:13Z)
• DiffusionNAG: Predictor-guided Neural Architecture Generation with Diffusion Models [56.584561770857306]
  本研究では拡散モデルに基づく新しい条件付きニューラルネットワーク生成(NAG)フレームワークDiffusionNAGを提案する。 具体的には、ニューラルネットワークを有向グラフとみなし、それらを生成するためのグラフ拡散モデルを提案する。 本研究では,2つの予測型NAS(Transferable NAS)とベイズ最適化(BO)に基づくNAS(Bayesian Optimization)の2つのシナリオにおいて,DiffusionNAGの有効性を検証する。 BOベースのアルゴリズムに統合されると、DiffusionNAGは既存のBOベースのNASアプローチ、特にImageNet 1Kデータセット上の大規模なMobileNetV3検索スペースよりも優れている。
  論文  参考訳（メタデータ） (2023-05-26T13:58:18Z)
• Weak NAS Predictors Are All You Need [91.11570424233709]
  最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。 私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。 NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-02-21T01:58:43Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)
• Learning Architectures from an Extended Search Space for Language Modeling [37.79977691127229]
  ニューラルアーキテクチャサーチ(NAS)のセル内アーキテクチャとセル間アーキテクチャの両方を学ぶための一般的なアプローチを提案する。 繰り返しのニューラルネットワークモデリングでは、TBとWikiTextのデータに対して強力なベースラインをはるかに上回り、TBに新たな最先端技術が導入された。 学習したアーキテクチャは、他のシステムに優れた転送可能性を示す。
  論文  参考訳（メタデータ） (2020-05-06T05:02:33Z)
• ADWPNAS: Architecture-Driven Weight Prediction for Neural Architecture Search [6.458169480971417]
  ニューラルアーキテクチャ探索(NAS)のためのアーキテクチャ駆動重み予測(ADWP)手法を提案する。 提案手法では,まずアーキテクチャ集約型検索空間を設計し,次にアーキテクチャパラメータをエンコードすることでハイパーネットワークワークを訓練する。 結果は、CIFAR-10上で1つの探索手順を4.0GPU時間で完了することを示す。
  論文  参考訳（メタデータ） (2020-03-03T05:06:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。