論文の概要: Validation of the Practicability of Logical Assessment Formula for
Evaluations with Inaccurate Ground-Truth Labels
- arxiv url: http://arxiv.org/abs/2307.02709v1
- Date: Thu, 6 Jul 2023 01:17:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-07 15:32:05.611841
- Title: Validation of the Practicability of Logical Assessment Formula for
Evaluations with Inaccurate Ground-Truth Labels
- Title(参考訳): 不正確な地下構造評価のための論理的評価式の実用性検証
- Authors: Yongquan Yang and Hong Bu
- Abstract要約: 論理的アセスメント公式(LAF)は不正確な地下構造ラベル(IAGTL)を用いた評価のための新しい理論である
本報告では, 乳腺癌に対する腫瘍郭清法 (TSfBC) にLAFを応用し, 臨床病理組織学的スライス画像解析 (MHWSIA) を行った。
実験結果と解析結果から,TSfBC症例における IAGTL 評価における LAF の有効性と,MHWSIA に対する LAF の有用性が示唆された。
- 参考スコア(独自算出の注目度): 2.8681767712152193
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Logical assessment formula (LAF) is a new theory proposed for evaluations
with inaccurate ground-truth labels (IAGTLs) to assess the predictive models
for various artificial intelligence applications. However, the practicability
of LAF for evaluations with IAGTLs has not yet been validated in real-world
practice. In this paper, to address this issue, we applied LAF to tumour
segmentation for breast cancer (TSfBC) in medical histopathology whole slide
image analysis (MHWSIA). Experimental results and analysis show the validity of
LAF for evaluations with IAGTLs in the case of TSfBC and reflect the potentials
of LAF applied to MHWSIA.
- Abstract(参考訳): 論理的アセスメント公式 (LAF) は、様々な人工知能応用の予測モデルを評価するために、不正確な地上真実ラベル (IAGTL) を用いた評価のために提案された新しい理論である。
しかし, IAGTLを用いた評価において, LAFの実践性はまだ実証されていない。
本稿では,この課題に対処するため,臨床病理組織学的スライス画像解析(MHWSIA)における乳癌の腫瘍分節(TSfBC)にLAFを適用した。
実験結果と解析結果から,TSfBC症例における IAGTL 評価における LAF の有効性と,MHWSIA に対する LAF の有用性が示唆された。
関連論文リスト
- Decomposing Vision-based LLM Predictions for Auto-Evaluation with GPT-4 [14.884877292068351]
世界中のCT検査の量は毎年増加しており、放射線技師のバーンアウトにつながっている。大型言語モデル(LLM)は負担軽減の可能性を秘めているが、診療所での採用は放射線技師の信頼に依存している。
我々は,CTに基づく異常の正確な要約を生成する上で,視覚言語LLMの能力を評価するための新しい評価フレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-08T21:16:28Z) - KIEval: A Knowledge-grounded Interactive Evaluation Framework for Large
Language Models [55.8717261687206]
KIEvalは、大規模言語モデルのための知識ベースでインタラクティブな評価フレームワークである。
動的汚染耐性評価を達成するために、LSMを動力とする"インターアクター"の役割を初めて取り入れている。
5つのデータセットにわたる7つのLLMの大規模な実験により、KIEvalの有効性と一般化が検証された。
論文 参考訳(メタデータ) (2024-02-23T01:30:39Z) - DyVal: Dynamic Evaluation of Large Language Models for Reasoning Tasks [112.66827096358857]
大規模言語モデル(LLM)の動的評価のためのプロトコルであるDyValを紹介する。
この枠組みに基づき、有向非巡回グラフの構造的利点を活用してグラフインフォームドDyValを構築する。
Flan-T5-large から GPT-3.5-Turbo および GPT-4 まで様々な LLM の評価を行った。
論文 参考訳(メタデータ) (2023-09-29T12:04:14Z) - Can Domain Adaptation Improve Accuracy and Fairness of Skin Lesion
Classification? [55.49029146917322]
各種非教師付き領域適応法(UDA)の2値・多値皮膚病変分類における適用可能性について検討した。
実験の結果,UDAは二分分類に有効であり,不均衡が緩和された場合にはさらなる改善が見られた。
本研究は,少数派に対する偏見を効果的に低減し,公平性を重視したテクニックを明示的に用いなくても公平性を促進できることを示した。
論文 参考訳(メタデータ) (2023-07-06T17:32:38Z) - Investigating Poor Performance Regions of Black Boxes: LIME-based
Exploration in Sepsis Detection [0.5872014229110214]
本稿では,局部解釈可能なモデル非依存記述(LIME)を活用し,セプシス検出におけるブラックボックス分類モデルの解釈可能な記述を提供する。
誤分類されたインスタンスを分析することで、最適以下のパフォーマンスに寄与する重要な特徴が特定される。
論文 参考訳(メタデータ) (2023-06-21T18:36:15Z) - Interpretable Medical Diagnostics with Structured Data Extraction by
Large Language Models [59.89454513692417]
タブラルデータはしばしばテキストに隠され、特に医学的診断報告に使用される。
本稿では,TEMED-LLM と呼ばれるテキスト医療報告から構造化表状データを抽出する手法を提案する。
本手法は,医学診断における最先端のテキスト分類モデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-08T09:12:28Z) - Ontology-aware Learning and Evaluation for Audio Tagging [56.59107110017436]
平均平均精度(mAP)は、異なる種類の音をそれらの関係を考慮せずに独立したクラスとして扱う。
オントロジー認識平均平均精度(OmAP)は、評価中にAudioSetオントロジー情報を利用することで、mAPの弱点に対処する。
我々は人間の評価を行い、OmAPはmAPよりも人間の知覚と一致していることを示した。
論文 参考訳(メタデータ) (2022-11-22T11:35:14Z) - Active Surrogate Estimators: An Active Learning Approach to
Label-Efficient Model Evaluation [59.7305309038676]
モデル評価のためのアクティブサロゲート推定器(ASE)を提案する。
ASEは現在の最先端技術よりもラベル効率が高いことが分かりました。
論文 参考訳(メタデータ) (2022-02-14T17:15:18Z) - Unsupervised Approaches for Out-Of-Distribution Dermoscopic Lesion
Detection [3.930459638966971]
SimCLR-LOFは、SimCLRを使って意味のある機能を学び、テストサンプルがOODであるかどうかを評価するためにLOFを使用する。
我々は、SSDと競合する結果と、同じデータに適用された最近の教師付きアプローチを示す。
論文 参考訳(メタデータ) (2021-11-08T20:22:34Z) - Logical Assessment Formula and Its Principles for Evaluations with
Inaccurate Ground-Truth Labels [1.19658449368018]
不正確な基底構造ラベル(IAGTL)を用いた評価のための論理的評価式(LAF)を提案する。
LAF は IAGTL を用いた評価に応用でき、AGTL を用いた評価の通常の戦略のように合理的に行うことができる。
論文 参考訳(メタデータ) (2021-10-22T03:18:01Z) - Quantifying Explainability in NLP and Analyzing Algorithms for
Performance-Explainability Tradeoff [0.0]
臨床テキスト分類におけるケーススタディにおける説明可能性と解釈可能性の現状について考察する。
完全解釈可能な手法とモデルに依存しないポストホック属性に対する様々な可視化手法を実証する。
我々は,モデルの予測性能と利用可能な説明の質との間のフロンティアを,実践者や研究者が評価できる枠組みを導入する。
論文 参考訳(メタデータ) (2021-07-12T19:07:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。