論文の概要: Can the Remaining Answers Change the Prediction? Worst-Case Stability Checks for Personalized Rating Models
- arxiv url: http://arxiv.org/abs/2611.11733v1
- Date: Mon, 09 Nov 2026 01:16:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 09:45:38.131256
- Title: Can the Remaining Answers Change the Prediction? Worst-Case Stability Checks for Personalized Rating Models
- Title(参考訳): 残った回答は予測を変えるか?パーソナライズされたレーティングモデルに対する最悪の確率安定チェック
- Abstract要約: ミス評価はパーソナライズされたモデルの現在の予測を覆す可能性がある。
追加応答スコアを持つ完了モデルの場合、正確な最悪のケースバウンドは、現在の予測子を変更することなく、すべての欠落した割り当てをチェックする。
我々は,この監査を,2つの自己調査コホート,108人の臨床医が3回の模擬精神科面接,126回のカウンセリングデモで振り返って評価した。
- 参考スコア(独自算出の注目度): 1.0079626733116611
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Missing ratings can overturn a personalized model's current prediction. For completed models with additive response scores, exact worst case bounds check all missing assignments without changing the current predictor. We evaluate this audit retrospectively in two self-triage cohorts, 108 clinicians rating three simulated psychiatric interviews, and 126 counseling demonstrations annotated by ten experts. Under shared random half histories, Fisher adaptation based on observed ratings reduces log loss relative to response frequency by 0.1071 nats in the clinician audit (95% CI [0.0867,0.1261]) and 0.0223 in counseling (95% CI[0.0121,0.0321]). The counseling test excludes target experts and source videos from training. Certification covers 5.4% and 10.5% of targets; fixed width acquisition raises coverage to 13.7% and 28.6% at the same budgets. With weights and responses held fixed, the observed-rating update also has lower loss than an affine partial update while certifying exactly the same evaluated targets. The certificate establishes agreement with the completed model, not correctness or stability at intermediate updates. These rating tasks test the method; clinical usefulness remains untested.
- Abstract(参考訳): ミス評価はパーソナライズされたモデルの現在の予測を覆す可能性がある。
追加応答スコアを持つ完了モデルの場合、正確な最悪のケースバウンドは、現在の予測子を変更することなく、すべての欠落した割り当てをチェックする。
我々は,この監査を,2つの自己調査コホート,108人の臨床医が3回の模擬精神科面接,126回のカウンセリングデモで振り返って評価した。
共有ランダムハーフヒストリーでは、観察された評価に基づくフィッシャー適応は、臨床監査(95% CI[0.0867,0.1261])およびカウンセリング(95% CI[0.0121,0.0321])において、応答周波数に対するログ損失を0.1071ナット削減する。
カウンセリングテストでは、ターゲットの専門家やソースビデオがトレーニングから除外される。
認証は目標の5.4%と10.5%をカバーしており、固定幅取得では13.7%、28.6%が同じ予算でカバーされている。
重みと応答が固定されているため、観測された更新はアフィン部分更新よりも損失が小さく、全く同じ評価対象を認定する。
証明書は、中間更新時の正確性や安定性ではなく、完了したモデルとの一致を確立する。
これらの評価タスクは、この方法をテストするが、臨床的有用性はまだ検証されていない。
関連論文リスト
- Target Recoverability under Selective Labels: A Failure Mode in ECG-Based Acute Coronary Syndrome Prediction [43.278508429346516]
臨床医が選択した患者にのみ観察された診断から,医療機械学習モデルが学習できることが示唆された。
テスト決定は、モデルが見えない情報に基づいて行われるため、これらのケースは、検査された患者の間で予測可能であるように見える。
我々はこのメカニズムを定式化し、テストがより選択的あるいは検出不能なケースがより一般的になるにつれて悪化することを示すシミュレーションで示す。
論文 参考訳(メタデータ) (2026-11-08T01:36:43Z) - DrawOffer: Evidence-Grounded Longitudinal User-State Modeling for Career Support [4.268049805078337]
キャリア支援アシスタントは、現在の能力の証拠とユーザクレームを区別し、証拠が不十分な場合に判断を控えなければならない。
我々は,580点のチェックポイントを持つ102人の架空のペルソナ,過去の完全著者とMem0の比較,および3つの補助的知識追跡データセットを評価した。
3つの開発シミュレーションで、87.0%のチェックポイントの評定が一致し、持続的な失敗を含む。
論文 参考訳(メタデータ) (2026-11-02T09:05:03Z) - EvalRx: Agentic Diagnosis and Verified Repair of Foundation Models [38.55561141708763]
EvalRxは,統計的に基盤としたモデル診断と修復のためのオープンソースフレームワークである。
EvalRxは、系統的な障害モードを発見し、候補メカニズムを探索し、偽装可能な仮説を定式化し、それらを検証する。
EvalRxは障害を計測するだけでなく、診断と修復のための監査可能なプロセスをサポートすることができる。
論文 参考訳(メタデータ) (2026-10-19T04:28:22Z) - ScienceBuddy-PV: A Verifier-Governed Recursive Improvement Protocol for Panvascular Intervention Research [10.439532348359288]
ScienceBuddyはScienceBuddyのデザインを、構造化されたエビデンス台帳、デバイス容器、禁断契約、障害銀行の維持を通じて、血管介入の研究に適合させる。
我々は、ARCADE構文と狭窄タスクを別々に使用して、完全なエージェントシステムではなく、固定されたコンポーネントを監査する。
論文 参考訳(メタデータ) (2026-10-10T03:35:28Z) - Agent Error Dataset: Scaling 50,000 Error--Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training [45.727227890697556]
我々は,9,961のソースタスクから50,228のエラー診断ペアからなるエージェントエラーデータセット(AED)を紹介した。
5段階のAgenic Error-to-Trainingパイプラインは自然の故障を収集し、診断と修正案を生成し、記録された証拠と照合する。
アクタートレーニングのレシピの比較において、アクションオンリーの修復トレーニングは成功オンリーのトレーニングよりもWebShop-liteの方が6.67ポイント高い。
論文 参考訳(メタデータ) (2026-09-30T16:40:22Z) - Machine-Learning Assessment of the Predictive Value of Inflammatory Biomarkers for Cognitive Impairment in an Older Hispanic Adult Cohort [2.5173433431298378]
小さな臨床データセットは解釈可能な機械学習を必要とする。
主な落とし穴は、統計的重要性が必ずしも予測ユーティリティを暗示しないことである。
I-309 (CCL1) は AUC を 0.110 増加させ、ペアのDeLong 試験では p0.05 を繰り返した。
論文 参考訳(メタデータ) (2026-09-16T19:50:57Z) - Safe to Stop? Risk-Constrained Stopping for Sequential Clinical Diagnosis Agents [8.33858460175655]
リスク制約付き停止層であるCrosについて述べる。状態的エラーランキング,不随伴開発分割に関するポリシー設計,選択的診断誤差の LTT スタイルの正確なテストなどである。
その有限サンプル保証は、キャリブレーションラベルにアクセスする前に、候補ファミリー、テストルール、任意のランダム化を凍結する必要がある。
論文 参考訳(メタデータ) (2026-09-09T03:46:53Z) - Calibration, Uncertainty Communication, and Deployment Readiness in CKD Risk Prediction: A Framework Evaluation Study [0.0]
慢性腎臓病の機械学習モデルは、しばしば内部テストセットに強い差別的スコアを与える。
UCI CKDデータセット(400例,62.5%)を用いた5つの分類器の訓練を行った。
キャリブレーション品質,コンフォーマルな予測カバレッジ,8基準の展開準備フレームワークについて検討した。
論文 参考訳(メタデータ) (2026-05-20T17:12:48Z) - Are Benchmark Tests Strong Enough? Mutation-Guided Diagnosis and Augmentation of Regression Suites [49.16055123488827]
十分に強力なテストスイートは、報告された成功率を膨らませながら、妥当だが意味的に正しくないパッチを認めることができる。
STINGは、意味的に変化するプログラムの変種を診断ストレス要因として利用する、ターゲットテスト拡張のためのフレームワークである。
STINGは211インスタンスにまたがる1014の検証テストを生成し、パッチリージョンラインとブランチカバレッジを10.8%、9.5%向上させた。
論文 参考訳(メタデータ) (2026-04-02T01:13:40Z) - Beyond Means: A Dynamic Framework for Predicting Customer Satisfaction [29.75950401212671]
評価アグリゲーションにガウス過程(GP)フレームワークを用いることの価値を実証する。
Yelpの121,123のレーティングに基づいて、将来のレーティングを予測するために異なるレーティングアグリゲーション手法の予測能力を比較する。
当社の発見は,マーケティング実践者や顧客にとって重要な意味を持つ。
論文 参考訳(メタデータ) (2025-11-18T18:43:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。