論文の概要: RubricsTree: Scalable and Evolving Open-Ended Evaluation of Personal Health Agents across Health Memory and Medical Skills
- arxiv url: http://arxiv.org/abs/2606.18203v1
- Date: Tue, 16 Jun 2026 17:34:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-17 17:15:32.580586
- Title: RubricsTree: Scalable and Evolving Open-Ended Evaluation of Personal Health Agents across Health Memory and Medical Skills
- Title（参考訳）: RubricsTree: 健康と医療のスキルにまたがるパーソナルヘルスエージェントのスケーラブルで進化的評価
- Abstract要約: 本稿では,100以上のアトミック,臨床的に検証可能なブールキュレーションの専門的階層的分類を用いたスケーラブルな評価フレームワークを提案する。
コンテキスト対応適応ルータは、クエリ毎の関連する自動重み付けサブセットのみをアクティベートする。
- 参考スコア（独自算出の注目度）: 39.43312624965993
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The LLM-empowered personal health agents with user health (sensor) metrics have offered a promising pathway to alleviate global disparities in healthcare access. However, large-scale clinical deployment remains constrained by an open-ended evaluation bottleneck: physician annotation is reliable but costly and unscalable, while LLM-as-a-judge evaluators are scalable but subjective, inconsistent, and sometimes clinically misaligned. We introduce RubricsTree, a scalable evaluation framework with an expert-aligned hierarchical taxonomy of over 100 atomic, clinically-verifiable Boolean rubrics, evolving from the insights of 4,000 real user queries through an iterative human-in-the-loop curation protocol with an expertise panel led by an experienced physician. A context-aware adaptive router activates only the relevant auto-weighted rubric subset per query, providing the throughput needed for scalable evaluation with expert-aligned quality. Through a systematic meta-evaluation, we show that RubricsTree (i) substantially exceeds a strong large-scale evaluation baseline in expert alignment on challenging open-ended queries; (ii) reliably penalizes contextually degraded responses; and (iii) when used as structured instructions, text feedback, or training rewards for performance optimization, yields up to ~66% relative gains on HealthBench for Gemini, GPT, and Qwen model families. RubricsTree thus provides a scalable, auditable, and evolving evaluation infrastructure required for the continuous optimization of product-level personal healthcare AI.
- Abstract（参考訳）: LLMを利用したパーソナルヘルスエージェントとユーザーヘルス(センサー)メトリクスは、医療アクセスの世界的な格差を緩和する有望な経路を提供する。
LLM-as-a-judge評価器はスケーラブルだが主観的であり、一貫性がなく、時には臨床的に不一致である。
RubricsTreeは、専門家による100以上の原子的、臨床的に検証可能なブールルーブリックの階層的分類を持つスケーラブルな評価フレームワークで、経験豊富な医師が率いる専門的なパネルを備えた反復的人間-ループキュレーションプロトコルを通じて、4,000の実際のユーザクエリの洞察から進化している。
コンテキスト対応適応ルータは、クエリ毎の関連する自動重み付けルーブリックサブセットのみをアクティベートする。
体系的なメタ評価を通じて、RubricsTreeは、
(i)エキスパートアライメントにおける大規模な評価基準を大幅に超え、オープンエンドなクエリに挑戦する。
(二)文脈的に劣化した応答を確実に罰する、及び
3) 構造化命令やテキストフィードバック,あるいはパフォーマンス最適化のためのトレーニング報酬として使用すると,HealthBench for Gemini, GPT, Qwenモデルファミリの相対利得が最大66%向上する。
RubricsTreeは、製品レベルのパーソナルヘルスケアAIの継続的な最適化に必要な、スケーラブルで監査可能な、進化中の評価インフラストラクチャを提供する。
関連論文リスト
- QuarkMedBench: A Real-World Scenario Driven Benchmark for Evaluating Large Language Models [8.050059911826338]
LLM(Large Language Models)は、標準化された医療試験に優れるが、高いスコアは、現実世界の医療クエリに対する高品質な応答に変換できないことが多い。
実世界の医療LCM評価に適した生態学的に有効なベンチマークであるQuarkMedBenchを紹介する。
論文 参考訳（メタデータ） (2026-03-14T01:51:43Z) - Responsible Evaluation of AI for Mental Health [72.85175110624736]
メンタルヘルスケアにおけるAIツールの評価に対する現在のアプローチは、断片化されており、臨床実践、社会的コンテキスト、ファーストハンドのユーザエクスペリエンスと不整合である。
本稿では,臨床の健全性,社会的文脈,公平性を統合した学際的枠組みを導入することにより,責任ある評価を再考する。
論文 参考訳（メタデータ） (2026-01-20T12:55:10Z) - OpenAIs HealthBench in Action: Evaluating an LLM-Based Medical Assistant on Realistic Clinical Queries [2.2807344448218507]
われわれはHealthBenchを用いてRAGをベースとした臨床サポートアシスタントDR.INFOを評価した。
1000の挑戦的な例のハードサブセットでは、DR.INFOはHealthBenchスコア0.51を達成している。
同様のエージェントRAGアシスタントに対する100サンプルの別評価では、ヘルスベンチスコア0.54のパフォーマンスリードを維持している。
論文 参考訳（メタデータ） (2025-08-29T09:51:41Z) - Rethinking Evidence Hierarchies in Medical Language Benchmarks: A Critical Evaluation of HealthBench [0.0]
HealthBenchは、健康のためにAIシステムの能力を測定するために設計されたベンチマークである。
高レベルな臨床的証拠ではなく、専門家の意見に頼っているため、地域バイアスと個々の臨床医の同調を表わすリスクがある。
本稿では,体系的レビューとGRADEエビデンス評価を取り入れたバージョン管理臨床ガイドラインにおいて,報酬関数のアンカー化を提案する。
論文 参考訳（メタデータ） (2025-07-31T18:16:10Z) - From Feedback to Checklists: Grounded Evaluation of AI-Generated Clinical Notes [18.88487525876338]
本稿では,実際のユーザフィードバックを構造化されたチェックリストに抽出してノート評価を行うパイプラインを提案する。
21,000人以上の臨床検査結果から同定したデータを用いて,フィードバックに基づくチェックリストは,オフライン評価におけるベースラインアプローチよりも優れていることを示す。
オフラインの調査設定では、チェックリストは、定義された品質基準に反するかもしれないメモをフラグする実用的なツールを提供します。
論文 参考訳（メタデータ） (2025-07-23T17:28:31Z) - Uncertainty-Driven Expert Control: Enhancing the Reliability of Medical Vision-Language Models [52.2001050216955]
既存の方法は、モデル構造を調整したり、高品質なデータで微調整したり、好みの微調整によって、医療ビジョン言語モデル(MedVLM)の性能を向上させることを目的としている。
我々は,MedVLMと臨床専門知識の連携を図るために,Expert-Controlled-Free Guidance (Expert-CFG) という,ループ内のエキスパート・イン・ザ・ループフレームワークを提案する。
論文 参考訳（メタデータ） (2025-07-12T09:03:30Z) - Hierarchical Divide-and-Conquer for Fine-Grained Alignment in LLM-Based Medical Evaluation [31.061600616994145]
HDCEvalは、専門医とのコラボレーションによって開発された、きめ細かい医療評価ガイドラインに基づいて構築されている。
このフレームワークは複雑な評価タスクを専門的なサブタスクに分解し、それぞれがエキスパートモデルによって評価される。
この階層的なアプローチは、評価の各側面が専門家の精度で扱われることを保証する。
論文 参考訳（メタデータ） (2025-01-12T07:30:49Z) - Attribute Structuring Improves LLM-Based Evaluation of Clinical Text Summaries [56.31117605097345]
大規模言語モデル(LLM)は、正確な臨床テキスト要約を生成する可能性を示しているが、根拠付けと評価に関する問題に苦慮している。
本稿では、要約評価プロセスを構成するAttribute Structuring(AS)を用いた一般的な緩和フレームワークについて検討する。
ASは、臨床テキスト要約における人間のアノテーションと自動メトリクスの対応性を一貫して改善する。
論文 参考訳（メタデータ） (2024-03-01T21:59:03Z) - TREEMENT: Interpretable Patient-Trial Matching via Personalized Dynamic
Tree-Based Memory Network [54.332862955411656]
臨床試験は薬物開発に不可欠であるが、しばしば高価で非効率な患者募集に苦しむ。
近年,患者と臨床試験を自動マッチングすることで患者採用を高速化する機械学習モデルが提案されている。
本稿では,TREement という名前の動的ツリーベースメモリネットワークモデルを導入する。
論文 参考訳（メタデータ） (2023-07-19T12:35:09Z) - Opportunities of a Machine Learning-based Decision Support System for
Stroke Rehabilitation Assessment [64.52563354823711]
リハビリテーションアセスメントは、患者の適切な介入を決定するために重要である。
現在の評価の実践は、主にセラピストの経験に依存しており、セラピストの可用性が限られているため、アセスメントは頻繁に実施される。
我々は、強化学習を用いて評価の健全な特徴を識別できるインテリジェントな意思決定支援システムを開発した。
論文 参考訳（メタデータ） (2020-02-27T17:04:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。