論文の概要: Confidence in Large Language Model Evaluation: A Bayesian Approach to Limited-Sample Challenges

• arxiv url: http://arxiv.org/abs/2504.21303v1
• Date: Wed, 30 Apr 2025 04:24:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-09 22:35:59.949868
• Title: Confidence in Large Language Model Evaluation: A Bayesian Approach to Limited-Sample Challenges
• Title（参考訳）: 大規模言語モデル評価における信頼 : ベイズ的アプローチによる限定サンプル問題
• Authors: Xiao Xiao, Yu Su, Sijing Zhang, Zhang Chen, Yadong Chen, Tian Liu,
• Abstract要約: 本研究では,大規模言語モデル(LLM)能力評価のためのベイズ的アプローチを提案する。 モデル機能を潜時変数として扱い、キュレートされたクエリセットを利用して識別応答を誘導する。 GPTシリーズモデルを用いた実験により,提案手法は従来の評価手法よりも優れた識別性が得られることが示された。
• 参考スコア（独自算出の注目度）: 13.526258635654882
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) exhibit probabilistic output characteristics, yet conventional evaluation frameworks rely on deterministic scalar metrics. This study introduces a Bayesian approach for LLM capability assessment that integrates prior knowledge through probabilistic inference, addressing limitations under limited-sample regimes. By treating model capabilities as latent variables and leveraging a curated query set to induce discriminative responses, we formalize model ranking as a Bayesian hypothesis testing problem over mutually exclusive capability intervals. Experimental evaluations with GPT-series models demonstrate that the proposed method achieves superior discrimination compared to conventional evaluation methods. Results indicate that even with reduced sample sizes, the approach maintains statistical robustness while providing actionable insights, such as probabilistic statements about a model's likelihood of surpassing specific baselines. This work advances LLM evaluation methodologies by bridging Bayesian inference with practical constraints in real-world deployment scenarios.
• Abstract（参考訳）: 大規模言語モデル(LLM)は確率的出力特性を示すが、従来の評価フレームワークは決定論的スカラーメトリクスに依存している。 本研究では,LLM能力評価に対するベイズ的アプローチを導入し,確率的推論を通じて事前知識を統合し,限定サンプル体制下での限界に対処する。 モデル機能を潜時変数として扱い,識別応答を誘導するキュレートされたクエリセットを活用することにより,ベイズ仮説テスト問題として,相互排他的能力区間におけるモデルランキングを定式化する。 GPTシリーズモデルを用いた実験により,提案手法は従来の評価手法よりも優れた識別性が得られることが示された。 その結果、サンプルサイズが小さくても、モデルが特定のベースラインを超える可能性についての確率論的ステートメントのような実用的な洞察を提供しながら、統計的に堅牢性を維持することが示唆された。 本研究は,実世界の展開シナリオにおいて,現実的な制約を伴うベイズ推定をブリッジすることでLCM評価手法を推し進める。

関連論文リスト

• Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
  この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。 第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。 第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
  論文  参考訳（メタデータ） (2025-02-11T19:24:09Z)
• Achieving $\widetilde{\mathcal{O}}(\sqrt{T})$ Regret in Average-Reward POMDPs with Known Observation Models [56.92178753201331]
  平均逆無限水平POMDPを未知の遷移モデルで扱う。 この障壁を克服する斬新でシンプルな推定器を提示する。
  論文  参考訳（メタデータ） (2025-01-30T22:29:41Z)
• Exogenous Matching: Learning Good Proposals for Tractable Counterfactual Estimation [1.9662978733004601]
  本稿では, 抽出可能かつ効率的な対実表現推定のための重要サンプリング手法を提案する。 対物推定器の共通上限を最小化することにより、分散最小化問題を条件分布学習問題に変換する。 構造因果モデル (Structure Causal Models, SCM) の様々なタイプと設定による実験による理論的結果の検証と, 対実推定タスクにおける性能の実証を行った。
  論文  参考訳（メタデータ） (2024-10-17T03:08:28Z)
• A Probabilistic Perspective on Unlearning and Alignment for Large Language Models [48.96686419141881]
  大規模言語モデル(LLM)のための最初の形式的確率的評価フレームワークを紹介する。 すなわち,モデルの出力分布に関する確率保証の高い新しい指標を提案する。 私たちのメトリクスはアプリケーションに依存しないので、デプロイ前にモデル機能についてより信頼性の高い見積を行うことができます。
  論文  参考訳（メタデータ） (2024-10-04T15:44:23Z)
• Amortized Bayesian Multilevel Models [9.831471158899644]
  マルチレベルモデル(MLM)はベイズワークフローの中心的なビルディングブロックである。 MLMは重要な計算上の課題を生じさせ、しばしばその推定と評価は合理的な時間制約の中で難解である。 シミュレーションに基づく推論の最近の進歩は、深層生成ネットワークを用いた複雑な確率モデルに対処するための有望な解決策を提供する。 マルチレベルモデルの確率的因数分解を利用して、効率的なニューラルネットワークトレーニングと、未知のデータセットに対する後続の即時推論を容易にするニューラルネットワークアーキテクチャのファミリーを探索する。
  論文  参考訳（メタデータ） (2024-08-23T17:11:04Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Beyond Probabilities: Unveiling the Misalignment in Evaluating Large Language Models [24.445829787297658]
  大規模言語モデル(LLM)は、様々なアプリケーションにまたがる顕著な機能を示している。 本研究の目的は,複数選択質問(MCQ)におけるLCMを用いた確率に基づく評価手法の有効性を検討することである。 実験により,有意な確率ベース評価法が生成に基づく予測と不適切に一致していることが判明した。
  論文  参考訳（メタデータ） (2024-02-21T15:58:37Z)
• Calibrating Over-Parametrized Simulation Models: A Framework via Eligibility Set [3.862247454265944]
  厳密な頻繁な統計的保証を満たす校正手法を開発するための枠組みを開発する。 本手法は,書籍市場シミュレータのキャリブレーションへの応用を含む,いくつかの数値例で実証する。
  論文  参考訳（メタデータ） (2021-05-27T00:59:29Z)
• Attentional Prototype Inference for Few-Shot Segmentation [128.45753577331422]
  数発のセグメンテーションのための確率的潜在変数フレームワークである注意型プロトタイプ推論(API)を提案する。 我々は各オブジェクトカテゴリのプロトタイプを表現するためにグローバル潜在変数を定義し、確率分布としてモデル化する。 我々は4つのベンチマークで広範な実験を行い、提案手法は最先端のプロトタイプベースの手法よりも、少なくとも競争力があり、しばしば優れた性能が得られる。
  論文  参考訳（メタデータ） (2021-05-14T06:58:44Z)
• Control as Hybrid Inference [62.997667081978825]
  本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。 連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
  論文  参考訳（メタデータ） (2020-07-11T19:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。