論文の概要: EVALOOOP: A Self-Consistency-Centered Framework for Assessing Large Language Model Robustness in Programming

• arxiv url: http://arxiv.org/abs/2505.12185v4
• Date: Wed, 01 Oct 2025 03:28:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-02 17:16:29.690093
• Title: EVALOOOP: A Self-Consistency-Centered Framework for Assessing Large Language Model Robustness in Programming
• Title（参考訳）: EVALOOOP: プログラミングにおける大規模言語モデルロバスト性を評価するための自己整合型フレームワーク
• Authors: Sen Fang, Weiyuan Ding, Bowen Xu,
• Abstract要約: EVALOOOPは自己整合性の観点から堅牢性を評価するアセスメントフレームワークである。 MBPP Plusベンチマークで96の人気のある大言語モデル(LLM)を評価した。 EVALOOOPは10ループでパス@1の精度を2.65%-47.62%低下させる。
• 参考スコア（独自算出の注目度）: 8.52533297070733
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating the programming robustness of large language models (LLMs) is paramount for ensuring their reliability in AI-based software development. However, adversarial attacks exhibit fundamental limitations that compromise fair robustness assessment: they demonstrate contradictory evaluation outcomes where different attack strategies tend to favor different models, and more critically, they operate solely through external perturbations, failing to capture the intrinsic stability essential for autonomous coding agents where subsequent inputs are endogenously generated by the model itself. We introduce EVALOOOP, a novel assessment framework that evaluates robustness from a self-consistency perspective, leveraging the natural duality inherent in software engineering tasks (e.g., code generation and code summarization). EVALOOOP establishes a self-contained feedback loop where an LLM iteratively transforms between code and natural language until functional failure occurs, with robustness quantified by a novel Average Sustainable Loops (ASL) metric-the mean number of iterations maintaining functional correctness across benchmark tasks. This cyclical strategy intrinsically evaluates robustness without relying on external attack configurations, providing a unified metric that reveals how effectively LLMs preserve semantic integrity through sustained self-referential transformations. We evaluate 96 popular LLMs, ranging from 0.5B to 685B parameters, on EVALOOOP equipped with the MBPP Plus benchmark, and found that EVALOOOP typically induces a 2.65%-47.62% absolute drop in pass@1 accuracy within ten loops. Intriguingly, robustness does not always align with initial performance (i.e., one-time query); for instance, Qwen3-235B-A22B-Instruct-2507, despite inferior initial code generation compared to OpenAI's o-series models and DeepSeek-V3, demonstrated the superior robustness (ASL score).
• Abstract（参考訳）: 大規模言語モデル(LLM)のプログラミングの堅牢性を評価することは、AIベースのソフトウェア開発における信頼性を確保する上で最重要である。 異なる攻撃戦略が異なるモデルを好む傾向にある矛盾した評価結果を示し、より重要なことは、それらは外部の摂動を通してのみ動作し、その後の入力がモデル自体によって不均一に生成される自律型符号化エージェントに不可欠な本質的な安定性を捉えることができないことである。 ソフトウェアエンジニアリングタスク(コード生成やコード要約など)に固有の自然な双対性を活用することで、自己整合性の観点からロバスト性を評価する新しいアセスメントフレームワークであるEVALOOOPを紹介します。 EVALOOOPは、LLMがコードと自然言語を反復的に変換する自己完結したフィードバックループを確立する。 この循環戦略は、外的攻撃構成に頼ることなく本質的にロバスト性を評価し、持続的な自己参照変換を通じてLLMが意味的整合性をいかに効果的に維持するかを示す統一された指標を提供する。 我々は、MBPP Plusベンチマークを備えたEVALOOOPにおいて、0.5Bから685Bのパラメータを含む96の人気のあるLCMを評価し、通常、EVALOOOPは10ループ以内でパス@1の精度が2.65%-47.62%低下することを発見した。 例えば、Qwen3-235B-A22B-Instruct-2507は、OpenAIのoシリーズモデルやDeepSeek-V3と比べてコード生成が劣っているにもかかわらず、優れたロバスト性(ASLスコア)を示した。

関連論文リスト

• ReLoop: Structured Modeling and Behavioral Verification for Reliable LLM-Based Optimization [6.572539312871392]
  大規模言語モデル(LLM)は、自然言語を最適化コードに変換することができるが、サイレント障害は重大なリスクをもたらす。 2つの相補的な方向からサイレント障害に対処するReLoopを紹介します。
  論文  参考訳（メタデータ） (2026-02-17T20:20:33Z)
• Not All Preferences Are Created Equal: Stability-Aware and Gradient-Efficient Alignment for Reasoning Models [52.48582333951919]
  ポリシー更新の信号対雑音比を最大化することにより、アライメントの信頼性を高めるために設計された動的フレームワークを提案する。 SAGE(Stability-Aware Gradient Efficiency)は、モデル能力に基づいて候補プールをリフレッシュする粗いきめ細かいカリキュラムメカニズムを統合する。 複数の数学的推論ベンチマークの実験により、SAGEは収束を著しく加速し、静的ベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2026-02-01T12:56:10Z)
• Trust in One Round: Confidence Estimation for Large Language Models via Structural Signals [13.89434979851652]
  大規模言語モデル(LLM)は、エラーが社会的、科学的、安全コストの高い領域にますます展開されている。 本稿では,出力の正確性を予測する単一パスモデル依存フレームワークであるStructure Confidenceを提案する。
  論文  参考訳（メタデータ） (2026-02-01T02:35:59Z)
• ReasonBENCH: Benchmarking the (In)Stability of LLM Reasoning [2.1461777157838724]
  ReasonBENCHは,大規模言語モデル(LLM)推論における基盤不安定性を定量化する最初のベンチマークである。 異なる領域からのタスク全体で、推論戦略とモデルの大部分は高い不安定性を示す。 我々はさらに、解答率と安定性のトレードオフに対するプロンプト、モデル家族、スケールの影響を解析する。
  論文  参考訳（メタデータ） (2025-12-08T18:26:58Z)
• MGSC: A Multi-granularity Consistency Framework for Robust End-to-end Asr [0.0]
  我々は、内部の自己整合性を強制するモデルに依存しないプラグイン・アンド・プレイモジュールであるMulti-Granularity Soft Consistencyフレームワークを紹介する。 私たちの研究は、この2つの一貫性の粒度の強力な相乗効果を初めて明らかにしました。 私たちの研究は、より堅牢で信頼性の高いAIを構築するための重要なステップとして、内部一貫性の実施を実証しています。
  論文  参考訳（メタデータ） (2025-08-20T09:51:49Z)
• LLMEval-3: A Large-Scale Longitudinal Study on Robust and Fair Evaluation of Large Language Models [51.55869466207234]
  静的ベンチマークにおけるLLM(Large Language Models)の既存の評価は、データの汚染やリーダーボードのオーバーフィッティングに弱い。 LLMの動的評価のためのフレームワークであるLLMEval-3を紹介する。 LLEval-3は、220kの卒業生レベルの質問からなるプロプライエタリなバンク上に構築されており、評価実行毎に未確認のテストセットを動的にサンプリングする。
  論文  参考訳（メタデータ） (2025-08-07T14:46:30Z)
• How Much Do Large Language Model Cheat on Evaluation? Benchmarking Overestimation under the One-Time-Pad-Based Framework [8.76693832650115]
  大規模言語モデル(LLM)を評価する際の過大評価が懸念されている。 本稿では,暗号におけるワンタイムパッド暗号化にインスパイアされた動的評価フレームワークArxivRollを提案する。
  論文  参考訳（メタデータ） (2025-07-25T12:39:03Z)
• Training Language Models to Generate Quality Code with Program Analysis Feedback [66.0854002147103]
  大規模言語モデル(LLM)によるコード生成は、ますます本番環境で採用されているが、コード品質の保証には失敗している。 実運用品質のコードを生成するためにLLMにインセンティブを与える強化学習フレームワークであるREALを提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:57:47Z)
• T2I-Eval-R1: Reinforcement Learning-Driven Reasoning for Interpretable Text-to-Image Evaluation [60.620408007636016]
  T2I-Eval-R1は,大まかな品質スコアのみを用いて,オープンソースのMLLMを訓練する新しい強化学習フレームワークである。 提案手法では,グループ相対政策最適化を命令調整プロセスに統合し,スカラースコアと解釈可能な推論チェーンの両方を生成する。
  論文  参考訳（メタデータ） (2025-05-23T13:44:59Z)
• Beyond One-Size-Fits-All: Inversion Learning for Highly Effective NLG Evaluation Prompts [19.880087623382384]
  モデル出力から入力命令への効果的な逆写像を学習する逆学習法を提案する。 本手法では,1つの評価サンプルしか必要とせず,時間を要する手動プロンプトエンジニアリングを不要にする。
  論文  参考訳（メタデータ） (2025-04-29T18:56:12Z)
• Everything You Wanted to Know About LLM-based Vulnerability Detection But Were Afraid to Ask [30.819697001992154]
  大規模言語モデルは、自動脆弱性検出のための有望なツールである。 LLMは現実世界の脆弱性を検出するのに本当に効果的か? 本稿では, LLM は (i) 信頼できないこと, (ii) コードパッチに敏感であること, (iii) モデルスケールにまたがる性能評価の3つを, 広く支持されているコミュニティの信念に異議を唱える。
  論文  参考訳（メタデータ） (2025-04-18T05:32:47Z)
• Scalable Best-of-N Selection for Large Language Models via Self-Certainty [75.1351701045874]
  Best-of-N selectionは、Large Language Models(LLMs)の推論性能を改善するための重要なテクニックである。 本稿では, LLM出力の固有確率分布を利用して, 外部報酬モデルを必要としない応答品質を推定する, 新規で効率的な指標である自己確実性を提案する。 本研究は, LLM推論能力を向上させるための実用的で効率的な方法として, 自己確実性を確立した。
  論文  参考訳（メタデータ） (2025-02-25T19:08:07Z)
• Rethinking Uncertainty Estimation in Natural Language Generation [6.3398383724486544]
  大規模言語モデル(LLM)は、現実のアプリケーションにますます採用されている。 不確実性推定法は複数の出力シーケンスを生成し解析し、LCMの不確実性を決定する。 単一出力シーケンスのみを用いて得られる利点を持つG-NLLを提案する。
  論文  参考訳（メタデータ） (2024-12-19T18:51:06Z)
• AIME: AI System Optimization via Multiple LLM Evaluators [79.03422337674664]
  AIME は複数の LLM を利用した評価プロトコルであり、それぞれが独立した基準で評価を生成し、結合を通してそれらを結合する。 コード生成タスクにおける AIME のベースラインメソッドのパフォーマンスは,LeetCodeHard と HumanEval データセットの単一 LLM 評価プロトコルよりも最大 62% 高いエラー検出率,最大 16% 高い成功率で向上している。
  論文  参考訳（メタデータ） (2024-10-04T04:03:24Z)
• SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal [64.9938658716425]
  SORRY-Benchは、安全でないユーザ要求を認識し拒否する大規模言語モデル(LLM)能力を評価するためのベンチマークである。 まず、既存の手法では、安全でないトピックの粗い分類を使い、いくつかのきめ細かいトピックを過剰に表現している。 第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
  論文  参考訳（メタデータ） (2024-06-20T17:56:07Z)
• How Efficient is LLM-Generated Code? A Rigorous & High-Standard Benchmark [39.13045037676502]
  大規模言語モデル(LLM)の開発は、プログラム合成のフロンティアを著しく押し上げている。 ほとんどの評価フレームワークは生成したコードの(機能的な)正しさに重点を置いています。 我々は,LLMの効率的なコード生成能力を評価するための厳格で高水準なベンチマークENAMELを開発した。
  論文  参考訳（メタデータ） (2024-06-10T04:19:20Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• Revisiting Out-of-distribution Robustness in NLP: Benchmark, Analysis, and LLMs Evaluations [111.88727295707454]
  本稿では,NLP分野におけるアウト・オブ・ディストリビューション(OOD)のロバスト性に関する研究を再検討する。 本稿では, 明確な分化と分散の困難さを保証するための, ベンチマーク構築プロトコルを提案する。 我々は,OODロバスト性の分析と評価のための事前学習言語モデルの実験を行った。
  論文  参考訳（メタデータ） (2023-06-07T17:47:03Z)
• From Adversarial Arms Race to Model-centric Evaluation: Motivating a Unified Automatic Robustness Evaluation Framework [91.94389491920309]
  テキストの敵対攻撃は、セマンティック保存されているが、入力に誤解を招く摂動を加えることでモデルの弱点を発見することができる。 既存のロバストネス評価の実践は、包括的評価、非現実的評価プロトコル、無効な対人サンプルの問題を示す可能性がある。 我々は、敵攻撃の利点を活用するために、モデル中心の評価にシフトする統合された自動ロバストネス評価フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-05-29T14:55:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。