Fugu-MT 論文翻訳(概要): Prioritizing Repeated LLM Evaluation for Hidden Failure Discovery

論文の概要: Prioritizing Repeated LLM Evaluation for Hidden Failure Discovery

arxiv url: http://arxiv.org/abs/2609.32547v1
Date: Sat, 26 Sep 2026 12:26:48 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-07 06:43:14.479751
Title: Prioritizing Repeated LLM Evaluation for Hidden Failure Discovery
Title（参考訳）: 隠れ破壊発見のための繰り返しLDM評価の優先順位付け
Abstract要約: 大規模な言語モデルは、ベンチマークで各プロンプトに対して少数の応答を生成することで一般的に評価される。推測予算が限られているため、この浅い評価は低確率であるが運用上重要な失敗を観測できない可能性がある。したがって、小さなサンプルで失敗を起こさないプロンプトは、失敗の確率がゼロでないにもかかわらず、信頼性があるように見える。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large language models are commonly evaluated by generating a small number of stochastic responses for each prompt in a benchmark. Because inference budgets are limited, this shallow evaluation may fail to observe low-probability but operationally important failures. A prompt that produces no failures in a small sample may therefore appear reliable despite having a nonzero latent probability of failure under repeated inference. We formulate LLM reliability evaluation as a budget-constrained discovery problem in which each prompt is associated with an unknown per-generation failure probability. We propose a budgeted discovery framework that first performs shallow evaluation across the prompt set and then uses trial-level failure outcomes together with prompt-derived representations to learn a feature-based ranking of failure propensity. The resulting scores prioritize prompts with zero observed shallow failures for deeper evaluation, concentrating the deep-evaluation budget where hidden failures are more likely to be discovered. We evaluate this approach on AIRBench and StrongREJECT across multiple model and system-prompt conditions. The central empirical test asks whether models fit without access to deep-evaluation outcomes can rank prompts with zero observed shallow failures according to their likelihood of producing failures under deeper evaluation. On AIRBench, the highest-ranked 10\% of unresolved prompts achieves 2.54x hidden-failure lift for Qwen 2.5 7B and 1.87x for Gemma 3n E4B, recovering 25.4\% and 18.7\% of subsequently observed hidden failures, respectively, compared with 10\% expected under random allocation. Semantic-neighborhood and feature-ablation analyses further show that this predictive signal can be recovered from multiple representations of prompt content and relationships.
Abstract（参考訳）: 大規模言語モデルは、ベンチマークで各プロンプトに対して少数の確率応答を生成することで一般的に評価される。推測予算が限られているため、この浅い評価は低確率であるが運用上重要な失敗を観測できない可能性がある。したがって、小さなサンプルで失敗を起こさないプロンプトは、繰り返し推論で失敗する確率がゼロでないにもかかわらず、信頼性があるように見える。 LLMの信頼性評価を予算制約付き発見問題として定式化し、各プロンプトが未知の世代ごとの故障確率に関連付けられている。本稿では,まずプロンプトセット全体にわたって浅い評価を行い,次に,プロンプトから派生した表現とともに試行レベルの障害結果を用いて,特徴に基づく障害確率のランキングを学習する,予算付き発見フレームワークを提案する。その結果得られたスコアは、観測された浅い障害をゼロに優先し、より深い評価を行う。本稿では,AIRBenchとStrongREJECTのアプローチを複数のモデルおよびシステム・プロンプト条件で評価する。中心的な実証テストでは、深い評価結果にアクセスせずにモデルに適合するかどうかを問う。 AIRBenchでは、未解決プロンプトの最高10\%がQwen 2.5 7Bの2.54倍、Gemma 3n E4Bの1.87倍の2.87倍に達し、その後に観測された隠れた障害の25.4\%と18.7\%がランダムなアロケーションで予測される10\%から回復する。セマンティック近傍および特徴アブレーション分析により、この予測信号は、素早い内容と関係性の複数の表現から回収可能であることが示された。

関連論文リスト

Evaluation-as-Search: Adaptive Discovery of Grounding Failures in Meeting Assistants [15.367038156776431]
評価・アズ・サーチ(EaS)は、参加者が質問する自然の質問の空間を適応的に検索する手法である。我々は3つの会議ジャンルと3つのLCMアシスタントから20のテキストにまたがる3000ドル以上の注釈付き質問応答ペアのベンチマークであるMatchProbeを構築した。本研究では,現実的なリコールエラーではなく,談話・実践的な課題に支配される8つの繰り返し発生する障害カテゴリを,明確な能力勾配で同定する。
論文参考訳（メタデータ） (2026-06-30T21:58:35Z)
SoundnessBench: Can Your AI Scientist Really Tell Good Research Ideas from Bad Ones? [51.154921661608675]
我々は、ICLRの投稿から再構成された1,099の機械学習研究提案のキュレートされたベンチマークであるSoundnessBenchを紹介する。 SoundnessBenchは、完全なレビュー結果の正確な予測よりも、復元可能な提案段階の音質のベンチマークとして解釈されるべきである。
論文参考訳（メタデータ） (2026-05-28T17:57:37Z)
ProbeLLM: Automating Principled Diagnosis of LLM Failures [89.44131968886184]
ProbeLLMはベンチマークに依存しない自動探索フレームワークで、個々の障害から構造的障害モードへの脆弱性発見を増大させる。 ProbeLLMは、検証可能なテストケースにプローブを制限し、ツールの拡張された生成と検証を活用することで、信頼性のある証拠として障害発見を根拠とする。
論文参考訳（メタデータ） (2026-02-13T14:33:13Z)
TrustLoRA: Low-Rank Adaptation for Failure Detection under Out-of-distribution Data [62.22804234013273]
本稿では,共変量および意味的シフトの両条件下での拒絶による分類を統一し,促進する,単純な故障検出フレームワークを提案する。キーとなる洞察は、障害固有の信頼性知識を低ランクアダプタで分離し、統合することにより、障害検出能力を効果的かつ柔軟に向上できるということです。
論文参考訳（メタデータ） (2025-04-20T09:20:55Z)
Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
多くの信頼度推定法は誤分類誤りを検出するのに有害である。本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
論文参考訳（メタデータ） (2024-03-05T11:44:14Z)
Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
論文参考訳（メタデータ） (2023-06-08T07:05:36Z)
A Call to Reflect on Evaluation Practices for Failure Detection in Image Classification [0.491574468325115]
本稿では,信頼度評価関数のベンチマーク化を初めて実現した大規模実証的研究について述べる。簡便なソフトマックス応答ベースラインを全体の最高の実行方法として明らかにすることは、現在の評価の劇的な欠点を浮き彫りにする。
論文参考訳（メタデータ） (2022-11-28T12:25:27Z)
Tightening the Approximation Error of Adversarial Risk with Auto Loss Function Search [12.263913626161155]
一般的な評価手法は、モデルの逆方向リスクをロバスト性指標として近似することである。本稿では,エラーを厳格化するための損失関数を探索する最初の手法であるAutoLoss-ARを提案する。その結果,提案手法の有効性が示された。
論文参考訳（メタデータ） (2021-11-09T11:47:43Z)
Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
論文参考訳（メタデータ） (2021-06-18T16:34:23Z)
Harnessing Adversarial Distances to Discover High-Confidence Errors [0.0]
モデル信頼度から予測されるよりも高いレートで誤りを発見する問題について検討する。本稿では, 対向的摂動によって導かれる, クエリ効率が高く, 新規な探索手法を提案する。
論文参考訳（メタデータ） (2020-06-29T13:44:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。