論文の概要: EvalRx: Agentic Diagnosis and Verified Repair of Foundation Models

• arxiv url: http://arxiv.org/abs/2610.25767v1
• Date: Mon, 19 Oct 2026 04:28:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 11:42:04.065427
• Title: EvalRx: Agentic Diagnosis and Verified Repair of Foundation Models
• Title（参考訳）: EvalRx:基礎モデルのエージェント診断と検証された修復
• Abstract要約: EvalRxは,統計的に基盤としたモデル診断と修復のためのオープンソースフレームワークである。 EvalRxは、系統的な障害モードを発見し、候補メカニズムを探索し、偽装可能な仮説を定式化し、それらを検証する。 EvalRxは障害を計測するだけでなく、診断と修復のための監査可能なプロセスをサポートすることができる。
• 参考スコア（独自算出の注目度）: 38.55561141708763
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model evaluation reveals where models fail, but rarely why or whether a proposed fix genuinely works. We introduce EvalRx, an open-source agentic framework for statistically grounded model diagnosis and repair. EvalRx discovers systematic failure modes, explores candidate mechanisms, formulates falsifiable hypotheses, and verifies them by executing frozen, pre-specified tests before using supported diagnoses to guide tiered repair. Candidate repairs are validated against the unchanged model and promoted only when they improve the target behavior without unacceptable regression. Across language, vision-language, and audio-language settings spanning Gemini, Qwen, Gemma, and Nemotron, EvalRx improves performance in all 12 evaluated model family-modality combinations, with gains ranging from +1.4 to +10.9 percentage points (+5.8 points on average). These results show that model evaluation can serve not only to measure failures, but to support an auditable process for diagnosing and repairing them.
• Abstract（参考訳）: モデル評価は、モデルが失敗する場所を明らかにするが、なぜ、提案された修正が真に機能するのかは、めったにない。 EvalRxは,統計的に基盤としたモデル診断と修復のためのオープンソースのエージェントフレームワークである。 EvalRxは、系統的な障害モードを発見し、候補メカニズムを探索し、偽装可能な仮説を定式化し、サポート済みの診断を用いて修復をガイドする前に、凍結した特定済みのテストを実行して検証する。 候補補修は、変化しないモデルに対して検証され、許容できない回帰なしに目標行動を改善する場合にのみ促進される。 Gemini、Qwen、Gemma、Nemotronにまたがる言語、視覚言語、オーディオ言語設定全体にわたって、EvalRxは、評価されたモデルファミリーとモダリティの組み合わせでパフォーマンスを改善し、+1.4から+10.9ポイント(平均で+5.8ポイント)の利得がある。 これらの結果から, モデル評価は, 故障を計測するだけでなく, 診断および修復を行うための監査可能なプロセスを支援するのに役立つことが示された。

関連論文リスト

• ReDiS: Reasoning-Diagnosis Self-Evolution for Multimodal Reasoning in Remote Sensing [53.65780048695954]
  我々は、推論探索と候補評価を分離するフレームワークである textbfReasoning-Diagnosis-Self-Evolution (ReDiS) を導入する。 多様な視覚的証拠を探索するtextbfReasoner と、完全な候補セットを共同で評価する textbfDiagnoser である。 LHRS-Bench, MME-RS, CHOICEの実験では、Qwen3.5バックボーンを0.8B, 2B, 4Bスケールで一貫した改善が見られた。
  論文  参考訳（メタデータ） (2026-10-13T13:38:02Z)
• Where Does Retrieval-Based Open-Ended Evaluation Fail? Automatic Taxonomy Induction from Long-Form Medical Answer Factuality Verification [50.168648286292004]
  既存のRAG診断では、金の回答や注釈付き金の証拠が必要であり、どちらもこの体制には存在しない。 オープンエンドのMedExpertデータセットと3つのクローズドエンドデータセットに関するケーススタディに基づいた総合的な2つのデータセットを紹介した。 我々は, LLM-as-Judge を用いた自動パターン誘導パイプラインを適用し, 証拠品質をラベル付けし, 大規模な検証器推論誤差を分類する。
  論文  参考訳（メタデータ） (2026-09-24T19:04:23Z)
• Before the Action: Benchmarking LLMs on Prospective Hypothesis Discovery [95.44432473367836]
  大規模言語モデル(LLM)は、事前に特定された質問に答える能力に優れるが、未解決の未解決段階をナビゲートする能力はほとんど測定されていない。 仮説探索(PHD)を導入し,不確定な証拠から,仮説空間を自律的に構築することをモデルに求める。 本稿では,6つの科学的・分析的領域にわたる988ケースのベンチマークであるHypoArenaと,オープンエンド仮説セットの評価フレームワークであるHypoEvalを紹介する。
  論文  参考訳（メタデータ） (2026-07-17T08:56:43Z)
• EvalLoop: A Methodology for Evaluation-Driven Iterative Improvement of Business AI Systems [0.0]
  評価駆動反復改善手法であるEvalLoopを提案する。 EvalLoopは,(1)品質を障害診断を可能にするビジネス関連次元に分解する次元メトリックグルーピング,(2)出力が弱い次元内で失敗する理由を分類する障害モード分類,(3)各評価の実行が1つのシステム変数に変化し,その前後の次元プロファイルを比較する構造化イテレーションワークフロー,の3つのメカニズムについて評価を行う。
  論文  参考訳（メタデータ） (2026-07-06T20:58:49Z)
• Fault Detection and Explainable Classification in Automotive HIL Validation via Denoising Autoencoders and In-Context Large Language Models [1.9435397960631864]
  機械学習とディープラーニングは高度な故障診断を持っているが、ほとんどの教師付きモデルは大きなラベル付きデータセットを必要とする。 実時間検証における故障検出と分類のための汎用的で説明可能な2相フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-07-04T06:43:43Z)
• SAAG: Structured Agent Assessment and Grounding [13.62148061055744]
  本稿では,エージェント呼び出し評価を3段階に分解するケースケード診断フレームワークを提案する。 このフレームワークは,5,10,15エージェントのレジストリサイズにまたがって,Glaiveの関数呼び出しデータセットから得られたベンチマークで評価する。
  論文  参考訳（メタデータ） (2026-04-30T19:33:58Z)
• An autonomous agent for auditing and improving the reliability of clinical AI models [11.225863068085266]
  本稿では,ユーザと対話する自己表現型エージェントであるModelAuditorを紹介する。 ModelAuditorはコンテキストに依存し、臨床的に関連する分布シフトをシミュレートする。 そして、デプロイ中にパフォーマンスがどの程度低下するかを説明する解釈可能なレポートを生成する。
  論文  参考訳（メタデータ） (2025-07-08T07:58:52Z)
• Exploring Multimodal Large Language Models for Radiology Report Error-checking [1.7217842380976978]
  本稿では, 放射線技師が報告の誤りを確認するための補助として, マルチモーダル大言語モデル (LLMs) を用いた最初の臨床応用の1つを提案する。 我々は、実世界の放射線学データセット(X線とCTスキャンを含む)から評価データセットを作成しました。 SIMPLEレベルでは,MIMIC-CXRとIU X線データでそれぞれ47.4%,25.4%向上した。
  論文  参考訳（メタデータ） (2023-12-20T15:20:33Z)
• Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
  機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。 本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:05:36Z)
• UNITE: Uncertainty-based Health Risk Prediction Leveraging Multi-sourced Data [81.00385374948125]
  我々はUNcertaInTyベースのhEalth Risk Prediction(UNITE)モデルを提案する。 UNITEは、複数ソースの健康データを活用した正確な疾患リスク予測と不確実性推定を提供する。 非アルコール性脂肪肝疾患(NASH)とアルツハイマー病(AD)の実態予測タスクにおけるUNITEの評価を行った。 UNITEはAD検出のF1スコアで最大0.841点、NASH検出のPR-AUCで最大0.609点を達成し、最高のベースラインで最大19%の高パフォーマンスを達成している。
  論文  参考訳（メタデータ） (2020-10-22T02:28:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。