論文の概要: Validation of the Practicability of Logical Assessment Formula for Evaluations with Inaccurate Ground-Truth Labels: An Application Study on Tumour Segmentation for Breast Cancer
- arxiv url: http://arxiv.org/abs/2307.02709v2
- Date: Tue, 30 Jul 2024 08:26:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-31 22:59:28.175749
- Title: Validation of the Practicability of Logical Assessment Formula for Evaluations with Inaccurate Ground-Truth Labels: An Application Study on Tumour Segmentation for Breast Cancer
- Title(参考訳): 不正確なグラウンド・トゥルース・ラベルによる評価のための論理的評価式の実用性検証:乳癌の腫瘍切除への応用
- Authors: Yongquan Yang, Hong Bu,
- Abstract要約: 論理的評価式 (LAF) は,不正確な接地トラスラベル (IAGTL) を用いた評価のための新しい理論である。
本稿では,実世界のアプリケーションにおける IAGTL を用いた評価のための LAF の実用的検証について述べる。
- 参考スコア(独自算出の注目度): 1.0128808054306186
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The logical assessment formula (LAF) is a new theory proposed for evaluations with inaccurate ground-truth labels (IAGTLs) to assess the predictive models for artificial intelligence applications. However, the practicability of LAF for evaluations with IAGTLs has not yet been validated in real-world practice. In this paper, we applied LAF to two tasks of tumour segmentation for breast cancer (TSfBC) in medical histopathology whole slide image analysis (MHWSIA) for evaluations with IAGTLs. Experimental results and analysis show that the LAF-based evaluations with IAGTLs were unable to confidently act like usual evaluations with accurate ground-truth labels on the one easier task of TSfBC while being able to reasonably act like usual evaluations with AGTLs on the other more difficult task of TSfBC. These results and analysis reflect the potential of LAF applied to MHWSIA for evaluations with IAGTLs. This paper presents the first practical validation of LAF for evaluations with IAGTLs in a real-world application.
- Abstract(参考訳): 論理的評価公式 (LAF) は、人工知能応用の予測モデルを評価するために、不正確な基底真実ラベル (IAGTL) を用いた評価のために提案された新しい理論である。
しかし, IAGTLを用いた評価におけるLAFの実践性は実世界ではまだ検証されていない。
本報告では,乳腺癌に対する腫瘍分節法(TSfBC)の2つの課題にLAFを応用し,医用病理組織像解析(MHWSIA)を用いてIAGTLを用いた評価を行った。
実験結果と解析結果から, IAGTLを用いたRAFによる評価は, TSfBCの1つの簡単なタスクにおいて, 正確な接地木ラベルによる通常の評価のように確実に行うことができず, TSfBCのもう1つの難しいタスクにおけるAGTLによる通常の評価のように合理的に行うことが可能であった。
これらの結果は, IAGTL を用いた評価において, MHWSIA に適用された LAF の可能性を反映している。
本稿では,実世界のアプリケーションにおける IAGTL を用いた評価のための LAF の実用的検証について述べる。
関連論文リスト
- Fairness Evolution in Continual Learning for Medical Imaging [47.52603262576663]
医用画像の分類性能に関する連続学習戦略(CL)の行動について検討した。
我々は,リプレイ,フォーッティングなし学習(LwF),LwF,Pseudo-Label戦略を評価した。
LwF と Pseudo-Label は最適な分類性能を示すが、評価に公正度の測定値を含めると、Pseudo-Label がバイアスが少ないことは明らかである。
論文 参考訳(メタデータ) (2024-04-10T09:48:52Z) - Active Test-Time Adaptation: Theoretical Analyses and An Algorithm [51.84691955495693]
テスト時間適応(TTA)は、教師なし設定でストリーミングテストデータの分散シフトに対処する。
完全TTA設定内に能動学習を統合する能動テスト時間適応(ATTA)の新たな問題設定を提案する。
論文 参考訳(メタデータ) (2024-04-07T22:31:34Z) - PoLLMgraph: Unraveling Hallucinations in Large Language Models via State Transition Dynamics [51.17512229589]
PoLLMgraphは、大規模言語モデルのためのモデルベースのホワイトボックス検出および予測手法である。
LLMの内部状態遷移ダイナミクスを解析することにより,幻覚を効果的に検出できることを示す。
我々の研究は、LLMのモデルベースのホワイトボックス分析の新しい手法を開拓し、LLMの振る舞いの複雑なダイナミクスをさらに探求し、理解し、洗練する研究コミュニティを動機付けている。
論文 参考訳(メタデータ) (2024-04-06T20:02:20Z) - KIEval: A Knowledge-grounded Interactive Evaluation Framework for Large Language Models [53.84677081899392]
KIEvalは、大規模言語モデルのための知識ベースでインタラクティブな評価フレームワークである。
動的汚染耐性評価を達成するために、LSMを動力とする"インターアクター"の役割を初めて取り入れている。
5つのデータセットにわたる7つのLLMの大規模な実験により、KIEvalの有効性と一般化が検証された。
論文 参考訳(メタデータ) (2024-02-23T01:30:39Z) - STREAMLINE: An Automated Machine Learning Pipeline for Biomedicine
Applied to Examine the Utility of Photography-Based Phenotypes for OSA
Prediction Across International Sleep Centers [2.872498492478085]
我々は、シンプルで透明でエンドツーエンドの機械学習パイプライン(STREAMLINE)を開発し、検証する。
閉塞性睡眠時無呼吸(OSA)予測のための写真ベース表現型追加の有用性の検討にSTREAMLINEを適用した。
ベンチマーク分析により,データシミュレーションにおけるSTREAMLINEの有効性が検証された。
論文 参考訳(メタデータ) (2023-12-09T04:12:38Z) - DyVal: Dynamic Evaluation of Large Language Models for Reasoning Tasks [112.66827096358857]
大規模言語モデル(LLM)の動的評価のためのプロトコルであるDyValを紹介する。
この枠組みに基づき、有向非巡回グラフの構造的利点を活用してグラフインフォームドDyValを構築する。
Flan-T5-large から GPT-3.5-Turbo および GPT-4 まで様々な LLM の評価を行った。
論文 参考訳(メタデータ) (2023-09-29T12:04:14Z) - Investigating Poor Performance Regions of Black Boxes: LIME-based
Exploration in Sepsis Detection [0.5872014229110214]
本稿では,局部解釈可能なモデル非依存記述(LIME)を活用し,セプシス検出におけるブラックボックス分類モデルの解釈可能な記述を提供する。
誤分類されたインスタンスを分析することで、最適以下のパフォーマンスに寄与する重要な特徴が特定される。
論文 参考訳(メタデータ) (2023-06-21T18:36:15Z) - Active Surrogate Estimators: An Active Learning Approach to
Label-Efficient Model Evaluation [59.7305309038676]
モデル評価のためのアクティブサロゲート推定器(ASE)を提案する。
ASEは現在の最先端技術よりもラベル効率が高いことが分かりました。
論文 参考訳(メタデータ) (2022-02-14T17:15:18Z) - Unsupervised Approaches for Out-Of-Distribution Dermoscopic Lesion
Detection [3.930459638966971]
SimCLR-LOFは、SimCLRを使って意味のある機能を学び、テストサンプルがOODであるかどうかを評価するためにLOFを使用する。
我々は、SSDと競合する結果と、同じデータに適用された最近の教師付きアプローチを示す。
論文 参考訳(メタデータ) (2021-11-08T20:22:34Z) - Logical Assessment Formula and Its Principles for Evaluations with
Inaccurate Ground-Truth Labels [1.19658449368018]
不正確な基底構造ラベル(IAGTL)を用いた評価のための論理的評価式(LAF)を提案する。
LAF は IAGTL を用いた評価に応用でき、AGTL を用いた評価の通常の戦略のように合理的に行うことができる。
論文 参考訳(メタデータ) (2021-10-22T03:18:01Z) - Quantifying Explainability in NLP and Analyzing Algorithms for
Performance-Explainability Tradeoff [0.0]
臨床テキスト分類におけるケーススタディにおける説明可能性と解釈可能性の現状について考察する。
完全解釈可能な手法とモデルに依存しないポストホック属性に対する様々な可視化手法を実証する。
我々は,モデルの予測性能と利用可能な説明の質との間のフロンティアを,実践者や研究者が評価できる枠組みを導入する。
論文 参考訳(メタデータ) (2021-07-12T19:07:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。