論文の概要: SafeLLM4SE: Statistical Evaluation and Reporting for LLM-based Software Engineering Systems
- arxiv url: http://arxiv.org/abs/2609.37294v1
- Date: Tue, 29 Sep 2026 11:34:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.445126
- Title: SafeLLM4SE: Statistical Evaluation and Reporting for LLM-based Software Engineering Systems
- Title（参考訳）: SafeLLM4SE: LLMベースのソフトウェアエンジニアリングシステムの統計的評価と報告
- Abstract要約: 本稿では,大規模言語モデル(LLM)を評価するための実践的方法論および報告標準であるSafeLLM4SEについて述べる。
生成された出力を決定論的アーティファクトとして扱うのではなく、SafeLLM4SEはそれらをプロセスの実現として扱い、品質、安定性、推定の不確実性を区別する。
SafeLLM4SEはPyPIで利用可能なオープンソースソフトウェアパッケージとしても提供されており、研究者や実践者が方法論を拡張することができる。
- 参考スコア（独自算出の注目度）: 1.2183405753834562
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) are increasingly used for software engineering tasks, yet their stochastic behavior challenges the validity, reproducibility, and comparability of their evaluations. Conventional practices such as reporting a single output, an average score, best-of-N, or pass@k performance can obscure variability and estimation uncertainty, potentially leading to misleading conclusions about system reliability. This article presents SafeLLM4SE, a practical methodology and reporting standard for statistically principled evaluation of LLM-based software engineering systems. Rather than treating generated outputs as deterministic artifacts, SafeLLM4SE treats them as realizations of a stochastic process and distinguishes quality, stability, and estimation uncertainty. It combines adaptive sampling with confidence intervals, distribution-aware statistical comparisons, effect sizes, and a minimum reporting standard covering model configuration, reproducibility, evaluation procedures, and resource usage. SafeLLM4SE is also provided as an open-source software package available on PyPI, enabling researchers and practitioners to reproduce and extend the methodology. We illustrate its application by comparing two LLMs on HumanEval, a benchmark of programming problems assessed through functional tests.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、ソフトウェア工学のタスクにますます使われていますが、確率的な振る舞いは、その評価の妥当性、再現性、可視性に挑戦します。
単一のアウトプット、平均スコア、ベストオブN、pass@kパフォーマンスなどの従来のプラクティスは、変数や推定の不確実性を曖昧にし、システムの信頼性に関する誤解を招く可能性がある。
本稿では, LLMに基づくソフトウェア工学システムの統計的評価のための実践的方法論および報告標準であるSafeLLM4SEについて述べる。
生成した出力を決定論的アーティファクトとして扱うのではなく、SafeLLM4SEはそれらを確率過程の実現として扱い、品質、安定性、推定の不確実性を区別する。
適応的なサンプリングと信頼区間、分布を考慮した統計的比較、効果サイズ、およびモデル構成、再現性、評価手順、リソース使用量の最小限のレポート標準を組み合わせる。
SafeLLM4SEはPyPIで利用可能なオープンソースソフトウェアパッケージとしても提供されており、研究者や実践者が方法論を再現し拡張することができる。
本稿では,HumanEval 上の2つの LLM を比較し,その応用について述べる。
関連論文リスト
- An Interpretable and Scalable Framework for Evaluating Large Language Models [13.322241501687715]
大規模言語モデル(LLM)の評価はますます重要になっているが、標準的なベンチマーク手法は平均精度に依存している。
アイテム応答理論(IRT)は、潜在モデル能力とアイテム特性をモデリングするための原則化されたフレームワークを提供する。
本稿では,LLM評価のための大規模化最小化原理に基づく解釈可能かつスケーラブルなフレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-07T23:52:12Z) - Statistical-Based Metric Threshold Setting Method for Software Fault Prediction in Firmware Projects: An Industrial Experience [4.339839287869652]
マシンラーニングベースのフォールト予測モデルは高い精度を示しているが、解釈可能性の欠如により、産業環境での採用が制限されている。
本稿では,産業環境における故障検出への統合に適したコンテキスト固有のソフトウェアメトリックしきい値を定義するための構造化プロセスを提案する。
提案手法は,一組のプロジェクトからしきい値を取得し,個別に開発したファームウェアに適用することにより,プロジェクト間の障害予測を支援する。
論文 参考訳（メタデータ） (2026-02-06T16:19:36Z) - Evaluating LLMs When They Do Not Know the Answer: Statistical Evaluation of Mathematical Reasoning via Comparative Signals [18.612081365101464]
我々は,標準ラベル付き結果と,モデルが補助的推論連鎖を判断することで得られるペアワイズ比較信号とを組み合わせたフレームワークを開発する。
シミュレーション全体では, モデル出力ノイズの増加に伴い, 評価精度が大幅に向上し, ゲインが増大する。
GPQA Diamond、AIME 2025、GSM8Kの実験では、より正確な性能推定とより信頼性の高いモデルランキングが示されている。
論文 参考訳（メタデータ） (2026-02-03T03:40:01Z) - Not All Preferences Are Created Equal: Stability-Aware and Gradient-Efficient Alignment for Reasoning Models [52.48582333951919]
ポリシー更新の信号対雑音比を最大化することにより、アライメントの信頼性を高めるために設計された動的フレームワークを提案する。
SAGE(Stability-Aware Gradient Efficiency)は、モデル能力に基づいて候補プールをリフレッシュする粗いきめ細かいカリキュラムメカニズムを統合する。
複数の数学的推論ベンチマークの実験により、SAGEは収束を著しく加速し、静的ベースラインを上回っていることが示された。
論文 参考訳（メタデータ） (2026-02-01T12:56:10Z) - ReasonBENCH: Benchmarking the (In)Stability of LLM Reasoning [2.1461777157838724]
ReasonBENCHは,大規模言語モデル(LLM)推論における基盤不安定性を定量化する最初のベンチマークである。
異なる領域からのタスク全体で、推論戦略とモデルの大部分は高い不安定性を示す。
我々はさらに、解答率と安定性のトレードオフに対するプロンプト、モデル家族、スケールの影響を解析する。
論文 参考訳（メタデータ） (2025-12-08T18:26:58Z) - Machine Learning Pipeline for Software Engineering: A Systematic Literature Review [0.0]
この系統的な文献レビューは、ソフトウェア工学(SE)用に設計された最先端の機械学習パイプラインを検証している。
この結果から,データバランシングのためのSMOTEなどの堅牢な前処理がモデルの信頼性を向上させることが示唆された。
ランダムフォレストやグラディエントブースティングのようなアンサンブルメソッドはタスク間でパフォーマンスを支配します。
Best Arithmetic Mean (BAM)のような新しいメトリクスはニッチなアプリケーションに現れている。
論文 参考訳（メタデータ） (2025-07-31T15:37:30Z) - Uncertainty Quantification for LLMs through Minimum Bayes Risk: Bridging Confidence and Consistency [66.96286531087549]
大規模言語モデル(LLM)のための不確実性定量化(UQ)手法は、様々なアプローチを含んでいる。
本稿では,モデル信頼度と出力整合性を統合する新しい手法を提案する。
我々は,質問応答,抽象要約,機械翻訳など,様々なタスクに対するアプローチを評価する。
論文 参考訳（メタデータ） (2025-02-07T14:30:12Z) - Weak Supervision Performance Evaluation via Partial Identification [46.73061437177238]
Programmatic Weak Supervision (PWS) は、地上の真理ラベルに直接アクセスすることなく、教師付きモデルトレーニングを可能にする。
本稿では,モデル評価を部分的同定問題としてフレーミングすることで,この問題に対処する新しい手法を提案する。
提案手法は,従来の弱監督評価手法において,ラベル付きデータを必要とせず,重要な指標に信頼性のあるバウンダリを導出する。
論文 参考訳（メタデータ） (2023-12-07T07:15:11Z) - Probabilistic robust linear quadratic regulators with Gaussian processes [73.0364959221845]
ガウス過程(GP)のような確率モデルは、制御設計に続く使用のためのデータから未知の動的システムを学ぶための強力なツールです。
本稿では、確率的安定性マージンに関して堅牢なコントローラを生成する線形化GPダイナミクスのための新しいコントローラ合成について述べる。
論文 参考訳（メタデータ） (2021-05-17T08:36:18Z) - SAMBA: Safe Model-Based & Active Reinforcement Learning [59.01424351231993]
SAMBAは、確率論的モデリング、情報理論、統計学といった側面を組み合わせた安全な強化学習のためのフレームワークである。
我々は,低次元および高次元の状態表現を含む安全な力学系ベンチマークを用いて,アルゴリズムの評価を行った。
アクティブなメトリクスと安全性の制約を詳細に分析することで,フレームワークの有効性を直感的に評価する。
論文 参考訳（メタデータ） (2020-06-12T10:40:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。