論文の概要: Foundation Ark: Accruing and Reusing Knowledge for Superior and Robust Performance

• arxiv url: http://arxiv.org/abs/2310.09507v1
• Date: Sat, 14 Oct 2023 06:31:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-17 20:05:40.098799
• Title: Foundation Ark: Accruing and Reusing Knowledge for Superior and Robust Performance
• Title（参考訳）: foundation ark: 優れたパフォーマンスと堅牢性のための知識の探求と再利用
• Authors: DongAo Ma, Jiaxuan Pang, Michael B. Gotway, Jianming Liang
• Abstract要約: Arkは、さまざまなデータセットで異種の専門家アノテーションから知識を収集、再利用するフレームワークである。 335,484 と 704,363 の CXR で 2 台の Ark モデルを訓練した。 Ark は SOTA の完全/自己管理ベースラインと Google 独自の CXR-FM よりも優れ、堅牢である。
• 参考スコア（独自算出の注目度）: 6.5945105064281115
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning nowadays offers expert-level and sometimes even super-expert-level performance, but achieving such performance demands massive annotated data for training (e.g., Google's proprietary CXR Foundation Model (CXR-FM) was trained on 821,544 labeled and mostly private chest X-rays (CXRs)). Numerous datasets are publicly available in medical imaging but individually small and heterogeneous in expert labels. We envision a powerful and robust foundation model that can be trained by aggregating numerous small public datasets. To realize this vision, we have developed Ark, a framework that accrues and reuses knowledge from heterogeneous expert annotations in various datasets. As a proof of concept, we have trained two Ark models on 335,484 and 704,363 CXRs, respectively, by merging several datasets including ChestX-ray14, CheXpert, MIMIC-II, and VinDr-CXR, evaluated them on a wide range of imaging tasks covering both classification and segmentation via fine-tuning, linear-probing, and gender-bias analysis, and demonstrated our Ark's superior and robust performance over the SOTA fully/self-supervised baselines and Google's proprietary CXR-FM. This enhanced performance is attributed to our simple yet powerful observation that aggregating numerous public datasets diversifies patient populations and accrues knowledge from diverse experts, yielding unprecedented performance yet saving annotation cost. With all codes and pretrained models released at GitHub.com/JLiangLab/Ark, we hope that Ark exerts an important impact on open science, as accruing and reusing knowledge from expert annotations in public datasets can potentially surpass the performance of proprietary models trained on unusually large data, inspiring many more researchers worldwide to share codes and datasets to build open foundation models, accelerate open science, and democratize deep learning for medical imaging.
• Abstract（参考訳）: ディープラーニングは現在では専門家レベルであり、時には超熟練レベルのパフォーマンスも提供しているが、そのようなパフォーマンスを達成するには、トレーニングのための膨大なアノテートデータを必要とする(例えば、Googleの独自CXRファンデーションモデル(CXR-FM)は、ラベル付き821,544個の胸部X線(CXR)でトレーニングされている)。 医療画像では多くのデータセットが公開されているが、専門家ラベルでは個別に小さく異種である。 多数の小さな公開データセットを集約することでトレーニングできる、強力で堅牢な基盤モデルを構想する。 このビジョンを実現するために、さまざまなデータセットにおける異種専門家アノテーションからの知識を蓄積し再利用するフレームワークであるArkを開発した。 概念実証として,2つのarkモデルを335,484,704,363cxrで訓練し,stox-ray14,chexpert,mimeme-ii,vindr-cxrなど複数のデータセットを融合し,精細なチューニング,線形検出,ジェンダーバイアス分析を通じて分類とセグメンテーションの両面をカバーする幅広い撮像課題について評価し,sota完全教師付きベースラインとgoogle独自のcxr-fmに対して,arkの優れている,堅牢な性能を実証した。 このパフォーマンスの向上は、多くの公開データセットを集約することで、患者人口を多様化し、さまざまな専門家の知識を蓄積し、前例のないパフォーマンスを実現し、アノテーションコストを節約した、という単純な観測によるものです。 github.com/jlianglab/arkでリリースされたすべてのコードと事前トレーニングされたモデルにより、arkはオープンサイエンスに重要な影響を与えることを願っている。パブリックデータセットにおける専門家アノテーションからの知識の収集と再利用は、異常な規模のデータでトレーニングされたプロプライエタリなモデルのパフォーマンスを潜在的に超越し、世界中の多くの研究者がコードとデータセットを共有し、オープンファウンデーションモデルを構築し、オープンサイエンスを加速し、医学画像のためのディープラーニングを民主化する。

関連論文リスト

• LoRKD: Low-Rank Knowledge Decomposition for Medical Foundation Models [59.961172635689664]
  知識分解」は、特定の医療課題のパフォーマンス向上を目的としている。 我々はLow-Rank Knowledge Decomposition(LoRKD)という新しいフレームワークを提案する。 LoRKDは、低ランクのエキスパートモジュールと効率的な知識分離畳み込みを組み込むことで、グラデーションを異なるタスクから明確に分離する。
  論文  参考訳（メタデータ） (2024-09-29T03:56:21Z)
• MMSci: A Dataset for Graduate-Level Multi-Discipline Multimodal Scientific Understanding [59.41495657570397]
  このデータセットには、スキーマ図、シミュレーション画像、マクロ/顕微鏡写真、実験的可視化などの図が含まれている。 我々は,6つのプロプライエタリモデルと10以上のオープンソースモデルを評価し,科学的フィギュアキャプションと複数選択質問のベンチマークを開発した。 データセットとベンチマークは、さらなる研究をサポートするためにリリースされる予定だ。
  論文  参考訳（メタデータ） (2024-07-06T00:40:53Z)
• Query of CC: Unearthing Large Scale Domain-Specific Knowledge from Public Corpora [104.16648246740543]
  大規模言語モデルに基づく効率的なデータ収集手法を提案する。 この方法は、大きな言語モデルを通してシード情報をブートストラップし、公開コーパスから関連データを検索する。 特定のドメインに関する知識関連のデータを収集するだけでなく、潜在的な推論手順でデータを抽出する。
  論文  参考訳（メタデータ） (2024-01-26T03:38:23Z)
• DAMEX: Dataset-aware Mixture-of-Experts for visual understanding of mixture-of-datasets [34.780870585656395]
  本稿では,データセット・アウェア・ミックス・オブ・エクササイズ,DAMEXを提案する。 データセットトークンをマップされた専門家にルーティングすることを学ぶことで、データセットのエキスパートになるように専門家を訓練します。 Universal Object-Detection Benchmarkの実験では、既存の最先端技術よりも優れています。
  論文  参考訳（メタデータ） (2023-11-08T18:55:24Z)
• DeepMediX: A Deep Learning-Driven Resource-Efficient Medical Diagnosis Across the Spectrum [15.382184404673389]
  この作業では,この課題に大きく対処する,画期的な,リソース効率の高いモデルである textttDeepMediX が紹介されている。 MobileNetV2アーキテクチャ上に構築されたDeepMediXは、脳MRIスキャンと皮膚がん画像の分類に長けている。 DeepMediXの設計にはフェデレートラーニングの概念も含まれている。
  論文  参考訳（メタデータ） (2023-07-01T12:30:58Z)
• Recognizing Unseen Objects via Multimodal Intensive Knowledge Graph Propagation [68.13453771001522]
  画像の領域と対応するセマンティック埋め込みとをマッチングする多モード集中型ZSLフレームワークを提案する。 我々は、大規模な実世界のデータに基づいて、広範囲な実験を行い、そのモデルを評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:07:48Z)
• SuperCone: Modeling Heterogeneous Experts with Concept Meta-learning for Unified Predictive Segments System [8.917697023052257]
  統合述語セグメントシステムであるSuperConeについて述べる。 これは、各ユーザの異質なデジタルフットプリントを要約するフラットな概念表現の上に構築される。 様々な述語セグメントタスクにおいて、最先端のレコメンデーションとランキングアルゴリズムを上回ります。
  論文  参考訳（メタデータ） (2022-03-09T04:11:39Z)
• Deep Mining External Imperfect Data for Chest X-ray Disease Screening [57.40329813850719]
  我々は、外部のCXRデータセットを組み込むことで、不完全なトレーニングデータにつながると論じ、課題を提起する。 本研究は,多ラベル病分類問題を重み付き独立二分課題として分類する。 我々のフレームワークは、ドメインとラベルの相違を同時にモデル化し、対処し、優れた知識マイニング能力を実現する。
  論文  参考訳（メタデータ） (2020-06-06T06:48:40Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。