論文の概要: Hierarchical Divide-and-Conquer for Fine-Grained Alignment in LLM-Based Medical Evaluation

• arxiv url: http://arxiv.org/abs/2501.06741v1
• Date: Sun, 12 Jan 2025 07:30:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:26:01.651740
• Title: Hierarchical Divide-and-Conquer for Fine-Grained Alignment in LLM-Based Medical Evaluation
• Title（参考訳）: LLMを用いた細粒度アライメントのための階層的分割コンバータ
• Authors: Shunfan Zheng, Xiechi Zhang, Gerard de Melo, Xiaoling Wang, Linlin Wang,
• Abstract要約: HDCEvalは、専門医とのコラボレーションによって開発された、きめ細かい医療評価ガイドラインに基づいて構築されている。 このフレームワークは複雑な評価タスクを専門的なサブタスクに分解し、それぞれがエキスパートモデルによって評価される。 この階層的なアプローチは、評価の各側面が専門家の精度で扱われることを保証する。
• 参考スコア（独自算出の注目度）: 31.061600616994145
• License:
• Abstract: In the rapidly evolving landscape of large language models (LLMs) for medical applications, ensuring the reliability and accuracy of these models in clinical settings is paramount. Existing benchmarks often focus on fixed-format tasks like multiple-choice QA, which fail to capture the complexity of real-world clinical diagnostics. Moreover, traditional evaluation metrics and LLM-based evaluators struggle with misalignment, often providing oversimplified assessments that do not adequately reflect human judgment. To address these challenges, we introduce HDCEval, a Hierarchical Divide-and-Conquer Evaluation framework tailored for fine-grained alignment in medical evaluation. HDCEval is built on a set of fine-grained medical evaluation guidelines developed in collaboration with professional doctors, encompassing Patient Question Relevance, Medical Knowledge Correctness, and Expression. The framework decomposes complex evaluation tasks into specialized subtasks, each evaluated by expert models trained through Attribute-Driven Token Optimization (ADTO) on a meticulously curated preference dataset. This hierarchical approach ensures that each aspect of the evaluation is handled with expert precision, leading to a significant improvement in alignment with human evaluators.
• Abstract（参考訳）: 医学応用のための大規模言語モデル(LLM)の急速な発展の中で、臨床現場におけるこれらのモデルの信頼性と正確性を保証することが最重要である。 既存のベンチマークでは、実際の臨床診断の複雑さを捉えるのに失敗する多重選択QAのような固定形式のタスクにフォーカスすることが多い。 さらに、従来の評価指標とLLMに基づく評価指標は、しばしば人間の判断を適切に反映しない過度に単純化された評価を提供する。 これらの課題に対処するために,医療評価におけるきめ細かい調整に適した階層的分枝・コンカヤ評価フレームワークであるHDCEvalを紹介する。 HDCEvalは、専門医とのコラボレーションによって開発された、きめ細かい医療評価ガイドラインに基づいて構築されている。 このフレームワークは、複雑な評価タスクを専門のサブタスクに分解し、それぞれが慎重にキュレートされた選好データセット上で、属性駆動のトークン最適化(ADTO)によって訓練されたエキスパートモデルによって評価される。 この階層的なアプローチは、評価の各側面が専門家の精度で扱われることを保証する。

関連論文リスト

• MedCoT: Medical Chain of Thought via Hierarchical Expert [48.91966620985221]
  本稿では,新しい階層的検証手法であるMedCoTについて述べる。 生体画像検査における解釈可能性と精度を高めるように設計されている。 4つの標準Med-VQAデータセットに対する実験的評価は、MedCoTが既存の最先端アプローチを上回ることを示している。
  論文  参考訳（メタデータ） (2024-12-18T11:14:02Z)
• Comprehensive and Practical Evaluation of Retrieval-Augmented Generation Systems for Medical Question Answering [70.44269982045415]
  Retrieval-augmented Generation (RAG) は,大規模言語モデル (LLM) の性能向上のための有望なアプローチとして登場した。 医療用QAデータセットに様々な補助的要素を提供するMedRGB(MedRGB)を導入する。 実験結果から,検索した文書のノイズや誤情報の処理能力に限界があることが判明した。
  論文  参考訳（メタデータ） (2024-11-14T06:19:18Z)
• Exploring LLM-based Data Annotation Strategies for Medical Dialogue Preference Alignment [22.983780823136925]
  本研究は、医療対話モデルを改善するために、AIフィードバック(RLAIF)技術を用いた強化学習(Reinforcement Learning)について検討する。 医療におけるRLAIF研究の主な課題は、自動評価手法の限界である。 標準化された患者診査に基づく新しい評価枠組みを提案する。
  論文  参考訳（メタデータ） (2024-10-05T10:29:19Z)
• How Deep is your Guess? A Fresh Perspective on Deep Learning for Medical Time-Series Imputation [6.547981908229007]
  アーキテクチャとフレームワークのバイアスがモデルのパフォーマンスにどのように影響するかを示します。 実験では、プリプロセッシングと実装の選択に基づいて、最大20%の性能変化を示す。 我々は,現在の深層計算法と医療要件の相違点を同定する。
  論文  参考訳（メタデータ） (2024-07-11T12:33:28Z)
• Towards Automatic Evaluation for LLMs' Clinical Capabilities: Metric, Data, and Algorithm [15.627870862369784]
  大規模言語モデル (LLMs) は, 臨床診断の効率向上への関心が高まっている。 臨床サービス提供におけるLCMの能力を評価するための自動評価パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-03-25T06:17:54Z)
• HD-Eval: Aligning Large Language Model Evaluators Through Hierarchical Criteria Decomposition [92.17397504834825]
  HD-Evalは、大規模な言語モデル評価ツールと人間の好みを反復的に調整するフレームワークである。 HD-Evalは、人間の専門家の評価思想から本質を継承し、LLMに基づく評価器のアライメントを強化する。 3つの評価領域に関する広範囲な実験は、HD-Evalのさらなる整合状態評価器の優位性を実証している。
  論文  参考訳（メタデータ） (2024-02-24T08:01:32Z)
• TREEMENT: Interpretable Patient-Trial Matching via Personalized Dynamic Tree-Based Memory Network [54.332862955411656]
  臨床試験は薬物開発に不可欠であるが、しばしば高価で非効率な患者募集に苦しむ。 近年,患者と臨床試験を自動マッチングすることで患者採用を高速化する機械学習モデルが提案されている。 本稿では,TREement という名前の動的ツリーベースメモリネットワークモデルを導入する。
  論文  参考訳（メタデータ） (2023-07-19T12:35:09Z)
• Consultation Checklists: Standardising the Human Evaluation of Medical Note Generation [58.54483567073125]
  本稿では,コンサルテーションチェックリストの評価を基礎として,客観性向上を目的としたプロトコルを提案する。 このプロトコルを用いた最初の評価研究において,アノテータ間合意の良好なレベルを観察した。
  論文  参考訳（メタデータ） (2022-11-17T10:54:28Z)
• The Medkit-Learn(ing) Environment: Medical Decision Modelling through Simulation [81.72197368690031]
  医用シーケンシャルな意思決定に特化して設計された新しいベンチマークスイートを提案する。 Medkit-Learn(ing) Environmentは、高忠実度合成医療データに簡単かつ簡単にアクセスできるPythonパッケージである。
  論文  参考訳（メタデータ） (2021-06-08T10:38:09Z)
• Optimizing Medical Treatment for Sepsis in Intensive Care: from Reinforcement Learning to Pre-Trial Evaluation [2.908482270923597]
  本研究の目的は, 介入を最適化する強化学習(RL)が, 学習方針の治験に対する規制に適合する経路を遡及的に得る枠組みを確立することである。 我々は,死の主な原因の一つであり,複雑で不透明な患者動態のため治療が困難である集中治療室の感染症に焦点を当てた。
  論文  参考訳（メタデータ） (2020-03-13T20:31:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。