論文の概要: MERCI Cards: An LLM Evaluation and Deployment Framework for High-Stakes Domains

• arxiv url: http://arxiv.org/abs/2610.04430v1
• Date: Sat, 03 Oct 2026 10:43:59 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-06 21:32:33.218349
• Title: MERCI Cards: An LLM Evaluation and Deployment Framework for High-Stakes Domains
• Title（参考訳）: MERCIカード: ハイテイクドメインのためのLCM評価とデプロイフレームワーク
• Abstract要約: 本稿では, LLMの反復評価と展開のための数学的枠組みを提案し, 刑事司法におけるAIシステムへの応用を実証する。 我々のフレームワークは, モデル選択, ルーリック設計, 評価, 展開にまたがる, リスクの高い, リソースに制約のある領域における LLM 統合を形式化する。 MERCIカードは、デプロイメントの繰り返しを通じてシステムの改善をガイドし、パフォーマンスの低い領域に開発者の注意を向け、検証とエラー訂正にユーザの注意を集中させることができることを実証する。
• 参考スコア（独自算出の注目度）: 2.2917707112773598
• License:
• Abstract: As LLMs are increasingly deployed in high-stakes professional workflows, engineers and researchers require principled protocols to systematically track, monitor, and improve model performance across deployment cycles. We present a mathematical framework for iterative LLM evaluation and deployment, and demonstrate its application to AI systems used in criminal justice. Our framework formalizes LLM integration in high-stakes, high-risk, and resource-constrained domains across model selection, rubric design, evaluations and deployment via a weighted multi-objective optimization. We demonstrate that MERCI Cards can guide improvements of the system across deployment iterations, direct developer attention toward under-performing areas, and focus user attention on validation and error-correction in the LLM's outputs.
• Abstract（参考訳）: LLMが高度なプロフェッショナルワークフローにますますデプロイされるにつれて、エンジニアと研究者は、デプロイメントサイクルを通してモデルパフォーマンスを体系的に追跡、監視、改善するための原則化されたプロトコルを必要とします。 本稿では, LLMの反復評価と展開のための数学的枠組みを提案し, 刑事司法におけるAIシステムへの応用を実証する。 我々のフレームワークは,重み付けされた多目的最適化によるモデル選択,ルーリック設計,評価,展開を含む,高リスク,高リスク,資源制約の領域におけるLCM統合を形式化する。 我々は、MERCIカードがデプロイメントの繰り返しを通してシステムの改善をガイドし、性能の低い領域に開発者の注意を向け、LCMの出力の検証とエラー訂正にユーザの注意を集中させることができることを実証した。

関連論文リスト

• Omni-Thinker: Scaling Multi-Task RL in LLMs with Hybrid Reward and Task Scheduling [66.0871543682453]
  我々はOmni-Thinkerについて紹介する。Omni-Thinkerは多種多様なタスクにわたって大きな言語モデルをスケールする統合強化学習フレームワークである。 我々のスケジューラは,BWTに基づいてタスクを順序付けし,マルチタスク性能を向上する。
  論文  参考訳（メタデータ） (2025-07-20T01:50:16Z)
• Throughput-Optimal Scheduling Algorithms for LLM Inference and AI Agents [6.318292471845427]
  我々は,大規模言語モデル(LLM)推論のための待ち行列の基礎を開発する。 大規模な'作業保守'スケジューリングアルゴリズムが最大スループットを達成できることを実証する。
  論文  参考訳（メタデータ） (2025-04-10T00:12:12Z)
• IMPROVE: Iterative Model Pipeline Refinement and Optimization Leveraging LLM Experts [28.9807389592324]
  機械学習のワークフローを自動化するための有望なソリューションとして、大規模言語モデル(LLM)エージェントが登場した。 LLM駆動のMLパイプライン設計のための新しい戦略であるIterative Refinementを紹介します。 実際のトレーニングフィードバックに基づいて個々のコンポーネントを体系的に更新することにより、イテレーティブリファインメントはモデル全体のパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2025-02-25T01:52:37Z)
• RED-CT: A Systems Design Methodology for Using LLM-labeled Data to Train and Deploy Edge Classifiers for Computational Social Science [0.46560775769914914]
  大規模言語モデル(LLM)は、構造化されていない自然言語データを迅速に分析し分類する能力を向上した。 しかしながら、コスト、ネットワーク制限、セキュリティ上の制約に関する懸念は、彼らの作業プロセスへの統合に問題を引き起こしている。 本研究では,下流教師あり学習タスクにおいて,LLMを不完全なデータアノテータとして利用するシステム設計手法を採用する。
  論文  参考訳（メタデータ） (2024-08-15T15:28:37Z)
• LLM4MSR: An LLM-Enhanced Paradigm for Multi-Scenario Recommendation [52.55639178180821]
  マルチシナリオレコメンデーション(MSR)の研究は注目されており、すべてのシナリオのデータを使用してレコメンデーションのパフォーマンスを同時に改善している。 既存の手法では、不十分なシナリオ知識を統合し、パーソナライズされたクロスシナリオの嗜好を無視する傾向があり、それによってサブ最適パフォーマンスがもたらされる。 本稿では,これらのギャップを埋めるために,大規模言語モデル (LLM) 拡張パラダイム LLM4MSR を提案する。
  論文  参考訳（メタデータ） (2024-06-18T11:59:36Z)
• From Words to Actions: Unveiling the Theoretical Underpinnings of LLM-Driven Autonomous Systems [59.40480894948944]
  大規模言語モデル (LLM) は、物理世界の意思決定問題を解くことができる。 このモデルの下で、LLM Plannerは、プロンプトを介して言語ベースのサブゴールを反復的に生成することにより、部分的に観測可能なマルコフ決定プロセス(POMDP)をナビゲートする。 我々は,事前学習したLLMプランナーが,文脈内学習を通じてベイズ的集計模倣学習(BAIL)を効果的に行うことを証明した。
  論文  参考訳（メタデータ） (2024-05-30T09:42:54Z)
• RouterBench: A Benchmark for Multi-LLM Routing System [25.515453832224804]
  パフォーマンスとコストのバランスをとる場合、すべてのタスクやアプリケーションに最適に対処できるモデルは存在しない。 この制限により、個々のLSMの制約を克服するために、様々なモデルの強みを組み合わせたLSMルーティングシステムの開発に繋がった。 本稿では LLM ルーティングシステムの有効性を体系的に評価する新しい評価フレームワークである RouterBench を提案する。
  論文  参考訳（メタデータ） (2024-03-18T17:59:04Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。