論文の概要: Logical Assessment Formula and its Principles for Evaluations without
Accurate Ground-Truth Labels
- arxiv url: http://arxiv.org/abs/2110.11567v1
- Date: Fri, 22 Oct 2021 03:18:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-25 14:35:00.971523
- Title: Logical Assessment Formula and its Principles for Evaluations without
Accurate Ground-Truth Labels
- Title(参考訳): 正確な接地ラベルのない評価のための論理評価式とその原理
- Authors: Yongquan Yang
- Abstract要約: 正確な基底構造ラベル (AGTL) を持たない評価のための論理的評価式 (LAF) が提案された。
本稿では,LAFの原理を包括的理論的分析により明らかにする。
乳がんに対する腫瘍郭清に応用したLAFの実験結果と解析により,LAFの実用性は明らかであった原則から要約された。
- 参考スコア(独自算出の注目度): 3.299672391663527
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Logical assessment formula (LAF) was proposed for evaluations without
accurate ground-truth labels (AGTL). In this paper, we reveal the principles of
LAF via comprehensive theoretical analyses. From the revealed principles, we
summarize the practicability of LAF: 1) LAF can be reasonably applied for
evaluations without AGTL on a more difficult task, just acting like usual
strategies for evaluations with AGTL; 2) LAF can be applied for evaluations
without AGTL from the logical perspective on an easier task, unable to be
acting like usual strategies for evaluations with AGTL. Experimental results
and analyses of LAF applied on tumour segmentation for breast cancer support
the practicability of LAF summarized from the revealed principles.
- Abstract(参考訳): 正確な接地ラベル(agtl)のない評価のために論理評価式(laf)を提案した。
本稿では,LAFの原理を包括的理論的分析により明らかにする。
明らかにされた原則から, LAFの実践性について要約する。
1) LAF は AGTL を使わずに,より困難な作業において,AGTL を使わずに,通常の AGTL による評価戦略と同じように,合理的に適用することができる。
2) LAF は AGTL による評価の通常の戦略のように振る舞うことができないため,AGTL を含まない評価にも適用可能である。
乳がんに対する腫瘍郭清に応用したLAFの実験結果と解析により,LAFの実用性は明らかであった原則から要約された。
関連論文リスト
- Attribute Structuring Improves LLM-Based Evaluation of Clinical Text
Summaries [62.32403630651586]
大規模言語モデル(LLM)は、正確な臨床テキスト要約を生成する可能性を示しているが、根拠付けと評価に関する問題に苦慮している。
本稿では、要約評価プロセスを構成するAttribute Structuring(AS)を用いた一般的な緩和フレームワークについて検討する。
ASは、臨床テキスト要約における人間のアノテーションと自動メトリクスの対応性を一貫して改善する。
論文 参考訳(メタデータ) (2024-03-01T21:59:03Z) - KIEval: A Knowledge-grounded Interactive Evaluation Framework for Large
Language Models [55.8717261687206]
KIEvalは、大規模言語モデルのための知識ベースでインタラクティブな評価フレームワークである。
動的汚染耐性評価を達成するために、LSMを動力とする"インターアクター"の役割を初めて取り入れている。
5つのデータセットにわたる7つのLLMの大規模な実験により、KIEvalの有効性と一般化が検証された。
論文 参考訳(メタデータ) (2024-02-23T01:30:39Z) - Can Large Language Models be Trusted for Evaluation? Scalable
Meta-Evaluation of LLMs as Evaluators via Agent Debate [74.06294042304415]
エージェント・ディベート支援型メタ評価フレームワークであるScaleEvalを提案する。
フレームワークのコードをGitHubで公開しています。
論文 参考訳(メタデータ) (2024-01-30T07:03:32Z) - Evaluation of General Large Language Models in Contextually Assessing
Semantic Concepts Extracted from Adult Critical Care Electronic Health Record
Notes [17.648021186810663]
本研究の目的は,大規模言語モデル(LLM)の実際の臨床ノートの理解と処理における性能を評価することである。
GPTファミリーモデルは、コスト効率と時間節約能力によって証明された、かなりの効率性を示している。
論文 参考訳(メタデータ) (2024-01-24T16:52:37Z) - DyVal: Dynamic Evaluation of Large Language Models for Reasoning Tasks [112.66827096358857]
大規模言語モデル(LLM)の動的評価のためのプロトコルであるDyValを紹介する。
この枠組みに基づき、有向非巡回グラフの構造的利点を活用してグラフインフォームドDyValを構築する。
Flan-T5-large から GPT-3.5-Turbo および GPT-4 まで様々な LLM の評価を行った。
論文 参考訳(メタデータ) (2023-09-29T12:04:14Z) - Better Practices for Domain Adaptation [62.70267990659201]
ドメイン適応(DA)は、ラベルを使わずに、モデルを配置データに適用するためのフレームワークを提供することを目的としている。
DAの明確な検証プロトコルは、文献の悪い実践につながっている。
ドメイン適応手法の3つの分野にまたがる課題を示す。
論文 参考訳(メタデータ) (2023-09-07T17:44:18Z) - A Study on Differentiable Logic and LLMs for EPIC-KITCHENS-100
Unsupervised Domain Adaptation Challenge for Action Recognition 2023 [23.323548254515494]
本研究では,EPIC-KITCHENS-100 Unsupervised Domain Adaptation task for Action Recognitionについて検討した。
本研究は,動詞と名詞の共起関係を生かした学習における相異なる論理損失の革新的応用に焦点を当てた。
我々の最終提出(NS-LLM')は、トップ1アクション認識の精度で第1位を獲得しました。
論文 参考訳(メタデータ) (2023-07-13T05:54:05Z) - Validation of the Practicability of Logical Assessment Formula for
Evaluations with Inaccurate Ground-Truth Labels [2.8681767712152193]
論理的アセスメント公式(LAF)は不正確な地下構造ラベル(IAGTL)を用いた評価のための新しい理論である
本報告では, 乳腺癌に対する腫瘍郭清法 (TSfBC) にLAFを応用し, 臨床病理組織学的スライス画像解析 (MHWSIA) を行った。
実験結果と解析結果から,TSfBC症例における IAGTL 評価における LAF の有効性と,MHWSIA に対する LAF の有用性が示唆された。
論文 参考訳(メタデータ) (2023-07-06T01:17:29Z) - Multi-Scenario Empirical Assessment of Agile Governance Theory: A
Technical Report [55.2480439325792]
アジャイルガバナンス理論(AGT)は、ビジネスユニットやチーム間での責任の組織的連鎖の潜在的なモデルとして登場した。
本研究は,AGTが実際にどのように反映されているかを評価することを目的とする。
論文 参考訳(メタデータ) (2023-07-03T18:50:36Z) - A Framework for Cluster and Classifier Evaluation in the Absence of
Reference Labels [23.658440146240025]
本稿では, 略基底真理補正 (AGTR) と呼ばれる参照ラベルを用いたサプリメントを提案する。
クラスタリングアルゴリズムの評価に使用される特定のメトリクスのバウンダリは、参照ラベルなしで計算できることを実証する。
また、AGTRを用いて、疑わしい品質のデータセットから得られた不正確な評価結果を特定する手順も導入する。
論文 参考訳(メタデータ) (2021-09-23T03:42:01Z) - Handling Noisy Labels via One-Step Abductive Multi-Target Learning and
Its Application to Helicobacter Pylori Segmentation [32.635694819049306]
機械学習に一段階論理的推論を課す一段階帰納的多目的学習(OSAMTL)を提案する。
我々はOSAMTLにより、より合理的な予測を論理的に達成できることを示した。
論文 参考訳(メタデータ) (2020-11-25T09:40:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。