論文の概要: Beyond validation loss: Clinically-tailored optimization metrics improve a model's clinical performance

• arxiv url: http://arxiv.org/abs/2601.15546v1
• Date: Thu, 22 Jan 2026 00:30:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-23 21:37:20.453086
• Title: Beyond validation loss: Clinically-tailored optimization metrics improve a model's clinical performance
• Title（参考訳）: バリデーションの損失を超えて: 臨床調整された最適化指標は、モデルの臨床的パフォーマンスを改善する
• Authors: Charles B. Delahunt, Courosh Mehanian, Daniel E. Shea, Matthew P. Horning,
• Abstract要約: 臨床的に調整されたメトリクスの使用は、バリデーション損失よりも優れたモデル最適化を提供することを示す。 臨床関連メトリクスを最適化に使用するには、メトリクスを定義し、パイプラインにコーディングするための余分な労力が必要になる。
• 参考スコア（独自算出の注目度）: 0.6999740786886536
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A key task in ML is to optimize models at various stages, e.g. by choosing hyperparameters or picking a stopping point. A traditional ML approach is to use validation loss, i.e. to apply the training loss function on a validation set to guide these optimizations. However, ML for healthcare has a distinct goal from traditional ML: Models must perform well relative to specific clinical requirements, vs. relative to the loss function used for training. These clinical requirements can be captured more precisely by tailored metrics. Since many optimization tasks do not require the driving metric to be differentiable, they allow a wider range of options, including the use of metrics tailored to be clinically-relevant. In this paper we describe two controlled experiments which show how the use of clinically-tailored metrics provide superior model optimization compared to validation loss, in the sense of better performance on the clinical task. The use of clinically-relevant metrics for optimization entails some extra effort, to define the metrics and to code them into the pipeline. But it can yield models that better meet the central goal of ML for healthcare: strong performance in the clinic.
• Abstract（参考訳）: MLの主なタスクは、例えばハイパーパラメータを選択したり、停止点を選択することで、さまざまなステージでモデルを最適化することである。 従来のMLアプローチでは、バリデーション損失、すなわちトレーニング損失関数を検証セットに適用し、これらの最適化をガイドする。 しかし、医療のためのMLは、従来のMLとは異なる目標を持っている: モデルは、特定の臨床要件に対して、トレーニングに使用される損失関数に対して、適切に機能する必要がある。 これらの臨床要件は、より正確に調整されたメトリクスによって捉えられる。 多くの最適化タスクは、駆動距離を識別する必要がないため、臨床的に関連性が高いように調整されたメトリクスの使用を含む、幅広い選択肢が可能である。 本稿では,臨床的に調整されたメトリクスの使用が,臨床的タスクにおけるパフォーマンス向上という意味で,バリデーション損失よりも優れたモデル最適化を提供することを示す2つの制御実験について述べる。 臨床関連メトリクスを最適化に使用するには、メトリクスを定義し、パイプラインにコーディングするための余分な労力が必要になる。 しかし、医療におけるMLの中心的な目標、すなわち診療所のパフォーマンスを満足させるモデルを生み出すことができる。

関連論文リスト

• Beyond Outliers: A Study of Optimizers Under Quantization [82.75879062804955]
  量子化下でのモデルロバスト性に対する選択の影響について検討する。 モデルの性能が、異なるベースラインでトレーニングした場合にどのように低下するかを評価する。 異なるパラメータによる量子化対応トレーニングのスケーリング法則を導出する。
  論文  参考訳（メタデータ） (2025-09-27T21:15:22Z)
• Mitigating Hallucination Through Theory-Consistent Symmetric Multimodal Preference Optimization [69.05600758833471]
  マルチモーダル大言語モデル(MLLM)における幻覚を緩和するための効果的なアプローチとして、直接選好最適化(DPO)が登場している。 我々は、直接選好監督(応答対)を伴う対称選好学習を行うシンメトリ・マルチモーダル選好最適化(SymMPO)を提案する。 従来の順序的嗜好学習に加えて、SymMPOは、左右の選好ペア間の選好ギャップを定量的に調節する、選好マージン整合性損失を導入している。
  論文  参考訳（メタデータ） (2025-06-13T12:29:15Z)
• EDCA - An Evolutionary Data-Centric AutoML Framework for Efficient Pipelines [0.276240219662896]
  この作業では、Evolutionary Data Centric AutoMLフレームワークであるEDCAを紹介します。 データ品質は通常、AutoMLの見過ごされている部分であり、手作業と時間を要するタスクであり続けています。 EDCAは、AutoMLベンチマークのトップの2つのフレームワークであるFLAMLとTPOTと比較された。
  論文  参考訳（メタデータ） (2025-03-06T11:46:07Z)
• LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
  鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。 本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。 この汎用ツールキットによって、我々のベンチマークはキャリブレーションデータ、アルゴリズム(3つの戦略)、データフォーマットの3つの重要な側面をカバーしています。
  論文  参考訳（メタデータ） (2024-05-09T11:49:05Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• The Challenges of Hyperparameter Tuning for Accurate Causal Effect Estimation [2.43420394129881]
  因果推論には多くのML手法(因果推定器)が提案されている。 非因果予測タスクでは、メトリクスのチューニングの選択にはコンセンサスがあり、モデルの比較が簡単になる。 因果推論タスクについては、そのようなコンセンサスにはまだ到達していないため、因果モデルの比較は困難である。
  論文  参考訳（メタデータ） (2023-03-02T17:03:02Z)
• Multi-Objective Hyperparameter Optimization in Machine Learning -- An Overview [10.081056751778712]
  本稿では,多目的ハイパーパラメータ最適化の基礎を導入し,応用MLにおけるその有用性を動機づける。 進化的アルゴリズムの領域とベイズ最適化の両方から、既存の最適化戦略を広範囲に調査する。 動作条件,予測時間,スパースネス,フェアネス,解釈可能性,ロバストネスなどの目的を考慮し,複数の特定のMLアプリケーションにおけるMOOの有用性を解説する。
  論文  参考訳（メタデータ） (2022-06-15T10:23:19Z)
• MetricOpt: Learning to Optimize Black-Box Evaluation Metrics [21.608384691401238]
  誤分類率やリコールなどのタスク評価指標を任意に最適化する問題について検討する。 MetricOptと呼ばれる私たちの方法は、ターゲットメトリックの計算詳細が不明なブラックボックス設定で動作します。 我々は、コンパクトなタスク固有のモデルパラメータを計量観測にマップする微分可能値関数を学習することでこれを達成する。
  論文  参考訳（メタデータ） (2021-04-21T16:50:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。