論文の概要: When evaluation becomes intervention in clinical AI
- arxiv url: http://arxiv.org/abs/2611.18297v1
- Date: Fri, 13 Nov 2026 15:21:50 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:22:05.496199
- Title: When evaluation becomes intervention in clinical AI
- Title(参考訳): 臨床AIにおける評価が介入されるとき
- Abstract要約: チームが判断アセスメントを使用してプロンプトを選択したり、モデルをトレーニングした場合、裁判官は介入の一部になります。
審査員の報告に含めるべき事項と、各審査員主導の変更が必要な独立した臨床検査について述べる。
- 参考スコア(独自算出の注目度): 1.7457624878438667
- License:
- Abstract: AI judges, models that grade another system's output against a rubric, extend clinical review to the scale at which clinical AI writes. When teams use judge assessments to select a prompt or train a model, the judge becomes part of the intervention. Selection can then favor errors the judge overlooks. We describe what a judge's report must contain and the independent clinical test each judge-driven change needs.
- Abstract(参考訳): AIの判断は、他のシステムの出力を粗末な結果と比較するモデルであり、臨床レビューを臨床AIが書く規模にまで拡張する。
チームが判断アセスメントを使用してプロンプトを選択したり、モデルをトレーニングした場合、裁判官は介入の一部になります。
選択は、裁判官が見落としているエラーを優先することができる。
審査員の報告に含めるべき事項と、各審査員主導の変更が必要な独立した臨床検査について述べる。
関連論文リスト
- A Clinical Evaluation of Conformal Prediction for Chest Radiograph Report Generation [6.0334770499074155]
放射線診断における臨床適応基準(CLARITY)について紹介する。
一般的に用いられているアクセシビリティプロキシは,臨床的に関連性のあるエラーを検出するのに体系的に失敗することを示した。
以上より, 自動許容判定は, 真の臨床適応から大きく切り離されていることが明らかとなった。
論文 参考訳(メタデータ) (2026-11-06T22:36:35Z) - MAWILE: Multi-Axis Workbench for Inspecting LLM Evaluators [16.543362227322316]
大規模言語モデル(LLM)の判断は、モデルとエージェントの出力を評価する柔軟な方法を提供する。
彼らの評定は、評価された応答、判断命令、およびスコアリングルーリックにおける偶発的な変化に敏感である。
我々は,4面にわたる判断感度を監査するための開発者向けワークベンチであるMAWILEを紹介する。
論文 参考訳(メタデータ) (2026-09-18T21:34:22Z) - Do Audio Language Models Use Paralinguistic Evidence? Counterfactual Audits for Response Evaluation [21.291909657115607]
パラ言語的応答評価のための対実監査を導入する。
各監査項目は、感情、韻律、あるいは感情的なシフトのタイミングを変化させながら固定された転写文を保持する。
これにより、異なる判断失敗の原因を特定する有用な診断状態が得られる。
論文 参考訳(メタデータ) (2026-08-07T02:24:12Z) - Rethinking Clinical Relevance in Chest X-ray Machine Learning: How Evaluation References Define Performance [26.96793950588378]
機械学習は、臨床判断の近似を目的とした基準基準を用いた自動評価に大きく依存する。
病理分類と画像品質評価の両方において,評価基準選択がモデル性能とランキングに与える影響について検討した。
論文 参考訳(メタデータ) (2026-07-28T23:11:04Z) - Validating LLM-as-a-Judge Systems under Rating Indeterminacy [65.137380612741]
評価の不確定性の下でLLM-as-a-judgeシステムを検証するための枠組みを提案する。
本研究では, 強制選択評価指示に応答する際の評価の不確定性を人間とLLMがどう解決するかの相違が, 偏見の検証に大きく寄与することを示した。
論文 参考訳(メタデータ) (2025-03-07T22:09:47Z) - Re-Examining System-Level Correlations of Automatic Summarization
Evaluation Metrics [64.81682222169113]
システムレベルの相関により, 要約品質の人的判断を再現する自動要約評価指標を確実に定量化する。
システムレベルの相関の定義が、実際にシステムを評価するためにメトリクスがどのように使われているかと矛盾する2つの方法を特定する。
論文 参考訳(メタデータ) (2022-04-21T15:52:14Z) - Opportunities of a Machine Learning-based Decision Support System for
Stroke Rehabilitation Assessment [64.52563354823711]
リハビリテーションアセスメントは、患者の適切な介入を決定するために重要である。
現在の評価の実践は、主にセラピストの経験に依存しており、セラピストの可用性が限られているため、アセスメントは頻繁に実施される。
我々は、強化学習を用いて評価の健全な特徴を識別できるインテリジェントな意思決定支援システムを開発した。
論文 参考訳(メタデータ) (2020-02-27T17:04:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。