論文の概要: Fine-tuning -- a Transfer Learning approach

• arxiv url: http://arxiv.org/abs/2411.03941v1
• Date: Wed, 06 Nov 2024 14:18:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 19:24:15.774858
• Title: Fine-tuning -- a Transfer Learning approach
• Title（参考訳）: ファインチューニング-トランスファーラーニングアプローチ
• Authors: Joseph Arul Raj, Linglong Qian, Zina Ibrahim,
• Abstract要約: 電子健康記録(EHR)の欠落は、この貴重な資源に欠落するデータが豊富にあるため、しばしば妨げられる。 既存の深い計算手法は、計算処理とダウンストリーム解析の両方を組み込んだエンドツーエンドのパイプラインに依存している。 本稿では,モジュール型深層学習型計算・分類パイプラインの開発について検討する。
• 参考スコア（独自算出の注目度）: 0.22344294014777952
• License:
• Abstract: Secondary research use of Electronic Health Records (EHRs) is often hampered by the abundance of missing data in this valuable resource. Missingness in EHRs occurs naturally as a result of the data recording practices during routine clinical care, but handling it is crucial to the precision of medical analysis and the decision-making that follows. The literature contains a variety of imputation methodologies based on deep neural networks. Those aim to overcome the dynamic, heterogeneous and multivariate missingness patterns of EHRs, which cannot be handled by classical and statistical imputation methods. However, all existing deep imputation methods rely on end-to-end pipelines that incorporate both imputation and downstream analyses, e.g. classification. This coupling makes it difficult to assess the quality of imputation and takes away the flexibility of re-using the imputer for a different task. Furthermore, most end-to-end deep architectures tend to use complex networks to perform the downstream task, in addition to the already sophisticated deep imputation network. We, therefore ask if the high performance reported in the literature is due to the imputer or the classifier and further ask if an optimised state-of-the-art imputer is used, a simpler classifier can achieve comparable performance. This paper explores the development of a modular, deep learning-based imputation and classification pipeline, specifically built to leverage the capabilities of state-of-the-art imputation models for downstream classification tasks. Such a modular approach enables a) objective assessment of the quality of the imputer and classifier independently, and b) enables the exploration of the performance of simpler classification architectures using an optimised imputer.
• Abstract（参考訳）: 電子健康記録(EHR)の二次的な研究利用は、この貴重な資源に欠落するデータが豊富にあるため、しばしば妨げられる。 EHRの欠失は、日常的な臨床医療におけるデータ記録の実践の結果、自然に発生するが、それを扱うことは、医療分析の精度と、それに続く意思決定に不可欠である。 この文献は、ディープニューラルネットワークに基づく様々な計算方法を含んでいる。 それらは、古典的および統計的計算法では扱えない、EHRの動的、不均一、多変量欠如パターンを克服することを目的としている。 しかし、既存のディープ・インプット法はすべて、インプットとダウンストリーム解析の両方を組み込んだエンドツーエンドのパイプラインに依存している。 この結合により、計算の質を評価するのが難しくなり、異なるタスクに対して計算器を再利用する柔軟性が失われる。 さらに、エンド・ツー・エンドのディープ・アーキテクチャの多くは、既に洗練されたディープ・インパクション・ネットワークに加えて、複雑なネットワークを使って下流のタスクを実行する傾向にある。 そこで,本論文で報告されているハイパフォーマンスがインプタか分類器によるものなのかを問うとともに,最適化された最先端のインプタが使用されているかどうかを問う。 本稿では,下流分類タスクにおける最先端計算モデルの能力を活用するために構築された,モジュール型深層学習型命令処理・分類パイプラインの開発について検討する。 このようなモジュラーアプローチは a) 命令器及び分類器の品質を独立して客観的に評価し、 b) 最適化インデューサを用いて、より単純な分類アーキテクチャの性能を探索することができる。

関連論文リスト

• LoRKD: Low-Rank Knowledge Decomposition for Medical Foundation Models [59.961172635689664]
  知識分解」は、特定の医療課題のパフォーマンス向上を目的としている。 我々はLow-Rank Knowledge Decomposition(LoRKD)という新しいフレームワークを提案する。 LoRKDは、低ランクのエキスパートモジュールと効率的な知識分離畳み込みを組み込むことで、グラデーションを異なるタスクから明確に分離する。
  論文  参考訳（メタデータ） (2024-09-29T03:56:21Z)
• Informed deep hierarchical classification: a non-standard analysis inspired approach [0.0]
  出力層の前に配置された特定のプロジェクション演算子を備えた多出力ディープニューラルネットワークで構成されている。 このようなアーキテクチャの設計は、LH-DNN(Lexicographic Hybrid Deep Neural Network)と呼ばれ、異なる研究分野と非常に離れた研究分野のツールを組み合わせることで実現されている。 アプローチの有効性を評価するために、階層的な分類タスクに適した畳み込みニューラルネットワークであるB-CNNと比較する。
  論文  参考訳（メタデータ） (2024-09-25T14:12:50Z)
• Rethinking Model Prototyping through the MedMNIST+ Dataset Collection [0.11999555634662634]
  本研究は,MedMNIST+データベースに対する評価環境の多様化のためのベンチマークを示す。 我々は、医用画像分類のための共通畳み込みニューラルネットワーク(CNN)とトランスフォーマーベースのアーキテクチャを徹底的に分析する。 この結果から,計算効率のよいトレーニングスキームと最新の基礎モデルは,高額なエンドツーエンドトレーニングとリソース強化アプローチのギャップを埋める上で有望であることが示唆された。
  論文  参考訳（メタデータ） (2024-04-24T10:19:25Z)
• Adaptive Variance Thresholding: A Novel Approach to Improve Existing Deep Transfer Vision Models and Advance Automatic Knee-Joint Osteoarthritis Classification [0.11249583407496219]
  Knee-Joint型変形性関節症(KOA)は、世界的な障害の原因であり、診断に本質的に複雑である。 1つの有望な分類経路は、ディープラーニングの手法を適用することである。 本研究は,学習後特殊分類器を改善するための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-11-10T00:17:07Z)
• Physics Inspired Hybrid Attention for SAR Target Recognition [61.01086031364307]
  本稿では,物理にヒントを得たハイブリットアテンション(PIHA)機構と,この問題に対処するためのOFA評価プロトコルを提案する。 PIHAは、物理的情報の高レベルなセマンティクスを活用して、ターゲットの局所的なセマンティクスを認識した特徴群を活性化し、誘導する。 提案手法は,ASCパラメータが同じ12のテストシナリオにおいて,他の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2023-09-27T14:39:41Z)
• CorpusBrain: Pre-train a Generative Retrieval Model for Knowledge-Intensive Language Tasks [62.22920673080208]
  単一ステップ生成モデルは、検索プロセスを劇的に単純化し、エンドツーエンドで最適化することができる。 我々は、事前学習された生成検索モデルをCorpsBrainと名付け、コーパスに関する全ての情報が、追加のインデックスを構築することなく、そのパラメータにエンコードされる。
  論文  参考訳（メタデータ） (2022-08-16T10:22:49Z)
• Correntropy-Based Logistic Regression with Automatic Relevance Determination for Robust Sparse Brain Activity Decoding [18.327196310636864]
  相関学習フレームワークを,自動関係決定に基づくスパース分類モデルに導入する。 人工的データセット,脳波(EEG)データセット,機能的磁気共鳴画像(fMRI)データセットで評価した。
  論文  参考訳（メタデータ） (2022-07-20T06:49:23Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Handling Non-ignorably Missing Features in Electronic Health Records Data Using Importance-Weighted Autoencoders [8.518166245293703]
  本稿では,生体データのランダムなパターンではなく,欠落を柔軟に扱うために,重要度重み付きオートエンコーダ(iwaes)と呼ばれるvaesの新たな拡張を提案する。 提案手法は,組み込みニューラルネットワークを用いて欠落機構をモデル化し,欠落機構の正確な形式を事前に指定する必要をなくした。
  論文  参考訳（メタデータ） (2021-01-18T22:53:29Z)
• Rectified Meta-Learning from Noisy Labels for Robust Image-based Plant Disease Diagnosis [64.82680813427054]
  植物病は食料安全保障と作物生産に対する主要な脅威の1つである。 1つの一般的なアプローチは、葉画像分類タスクとしてこの問題を変換し、強力な畳み込みニューラルネットワーク(CNN)によって対処できる。 本稿では,正規化メタ学習モジュールを共通CNNパラダイムに組み込んだ新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-17T09:51:30Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。