論文の概要: Beyond Hallucinations: A Composite Score for Measuring Reliability in Open-Source Large Language Models
- arxiv url: http://arxiv.org/abs/2512.24058v1
- Date: Tue, 30 Dec 2025 08:07:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-01 23:27:28.319214
- Title: Beyond Hallucinations: A Composite Score for Measuring Reliability in Open-Source Large Language Models
- Title（参考訳）: 幻覚を超えて - オープンソースの大規模言語モデルにおける信頼性測定のための複合スコア
- Authors: Rohit Kumar Salla, Manoj Saravanan, Shrikar Reddy Kota,
- Abstract要約: 大規模言語モデル(LLM)は、医療、法律、金融といった決定クリティカルな領域でますます使われている。
彼らはしばしば過度に自信過剰なエラーを犯し、入力シフトの下で分解し、明確な不確実性推定を欠いている。
キャリブレーション,ロバスト性,不確実性の定量化をひとつの解釈可能な指標に統合する統合フレームワークであるCRS(Composite Reliability Score)を導入する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) like LLaMA, Mistral, and Gemma are increasingly used in decision-critical domains such as healthcare, law, and finance, yet their reliability remains uncertain. They often make overconfident errors, degrade under input shifts, and lack clear uncertainty estimates. Existing evaluations are fragmented, addressing only isolated aspects. We introduce the Composite Reliability Score (CRS), a unified framework that integrates calibration, robustness, and uncertainty quantification into a single interpretable metric. Through experiments on ten leading open-source LLMs across five QA datasets, we assess performance under baselines, perturbations, and calibration methods. CRS delivers stable model rankings, uncovers hidden failure modes missed by single metrics, and highlights that the most dependable systems balance accuracy, robustness, and calibrated uncertainty.
- Abstract（参考訳）: LLaMA、Mistral、Gemmaのような大規模言語モデル(LLM)は、医療、法律、金融といった決定クリティカルな領域でますます使われているが、信頼性は不確実である。
彼らはしばしば過度に自信過剰なエラーを犯し、入力シフトの下で分解し、明確な不確実性推定を欠いている。
既存の評価は断片化され、独立した側面のみに対処する。
キャリブレーション,ロバスト性,不確実性の定量化をひとつの解釈可能な指標に統合する統合フレームワークであるCRS(Composite Reliability Score)を導入する。
5つのQAデータセットにわたる10つの主要なオープンソースLLMの実験を通じて、ベースライン、摂動、キャリブレーション手法によるパフォーマンスを評価する。
CRSは安定したモデルランキングを提供し、単一のメトリクスで見逃された隠れ障害モードを明らかにし、最も信頼性の高いシステムが正確性、堅牢性、キャリブレーションされた不確実性をバランスさせることを強調している。
関連論文リスト
- ReasonBENCH: Benchmarking the (In)Stability of LLM Reasoning [2.1461777157838724]
ReasonBENCHは,大規模言語モデル(LLM)推論における基盤不安定性を定量化する最初のベンチマークである。
異なる領域からのタスク全体で、推論戦略とモデルの大部分は高い不安定性を示す。
我々はさらに、解答率と安定性のトレードオフに対するプロンプト、モデル家族、スケールの影響を解析する。
論文 参考訳（メタデータ） (2025-12-08T18:26:58Z) - Beyond Accuracy: An Empirical Study of Uncertainty Estimation in Imputation [0.5524804393257919]
不確実性の表現と定量化の方法が異なる。
不確実性は、マルチラン変動、条件付きサンプリング、予測分布モデリングの3つの相補的経路によって推定される。
精度校正,実行,安定した構成の特定,不確実性を考慮したインプタ選択のためのガイドラインを提供する。
論文 参考訳（メタデータ） (2025-11-26T17:27:59Z) - MaP: A Unified Framework for Reliable Evaluation of Pre-training Dynamics [72.00014675808228]
大規模言語モデルの不安定性評価プロセスは、真の学習力学を曖昧にする。
textbfMaPは、アンダーラインMergingアンダーラインとアンダーラインPass@kメトリックを統合するフレームワークです。
実験により、MaPはよりスムーズな性能曲線を示し、ラン間分散を低減し、より一貫性のあるランキングを保証する。
論文 参考訳（メタデータ） (2025-10-10T11:40:27Z) - MetaFaith: Faithful Natural Language Uncertainty Expression in LLMs [66.14178164421794]
メタファイト(MetaFaith)は、ヒトのメタ認知に触発された新規なプロンプトベースのキャリブレーション手法である。
MetaFaithは多種多様なモデルやタスク領域における忠実なキャリブレーションを強力に改善し、忠実度を最大61%向上させることができることを示す。
論文 参考訳（メタデータ） (2025-05-30T17:54:08Z) - Data-Driven Calibration of Prediction Sets in Large Vision-Language Models Based on Inductive Conformal Prediction [0.0]
動的しきい値キャリブレーションとクロスモーダル整合性検証を統合したモデル非依存不確実性定量化法を提案する。
このフレームワークは、様々なキャリブレーションとテストの分割比で安定したパフォーマンスを実現し、医療、自律システム、その他の安全に敏感な領域における現実的な展開の堅牢性を強調している。
この研究は、マルチモーダルAIシステムにおける理論的信頼性と実用性の間のギャップを埋め、幻覚検出と不確実性を考慮した意思決定のためのスケーラブルなソリューションを提供する。
論文 参考訳（メタデータ） (2025-04-24T15:39:46Z) - MCQA-Eval: Efficient Confidence Evaluation in NLG with Gold-Standard Correctness Labels [16.300463494913593]
大規模言語モデル (LLM) には堅牢な信頼度推定が必要である。
McQCA-Evalは、自然言語生成における信頼度を評価するための評価フレームワークである。
論文 参考訳（メタデータ） (2025-02-20T05:09:29Z) - Mind the Confidence Gap: Overconfidence, Calibration, and Distractor Effects in Large Language Models [0.6091702876917281]
大規模言語モデル(LLM)は、自然言語処理において顕著な熟練度を示す。
予測された信頼と真の正しさの過度なミスサライメントは、重要な意思決定アプリケーションに重大なリスクをもたらす。
9つのLCMと3つの質問応答データセットにわたるLCMの校正に関する包括的分析を行った。
論文 参考訳（メタデータ） (2025-02-16T07:46:09Z) - Fact-Level Confidence Calibration and Self-Correction [64.40105513819272]
本稿では,事実レベルでの信頼度と妥当性の重み付けを校正するFact-Levelフレームワークを提案する。
また,信頼度の高い自己補正(textbfConFix$)も開発した。
論文 参考訳（メタデータ） (2024-11-20T14:15:18Z) - Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。
本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-05T16:35:30Z) - Calibrating Large Language Models with Sample Consistency [76.23956851098598]
本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。
その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。
種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
論文 参考訳（メタデータ） (2024-02-21T16:15:20Z) - Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。
本稿では,LLMのための不確実性分解フレームワークについて述べる。
提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
論文 参考訳（メタデータ） (2023-11-15T05:58:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。