論文の概要: Beyond Resolved Rate: A Non-Functional Quality Study

• arxiv url: http://arxiv.org/abs/2607.18462v1
• Date: Mon, 20 Jul 2026 19:24:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-22 19:05:05.222862
• Title: Beyond Resolved Rate: A Non-Functional Quality Study
• Title（参考訳）: 解決率を超えて:ノンファンクション品質研究
• Abstract要約: リポジトリレベルのコーディングベンチマークは、一般的に、後期モデルと初期のモデルの解決率を比較することによって、モデルの能力の進歩を測定する。 本研究は, 後続のモデルが, より優れた非機能特性を持つ機能的正当パッチを生成するかどうかを考察する。
• 参考スコア（独自算出の注目度）: 3.0540716731676625
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Repository-level coding benchmarks typically measure progress in model capability by comparing the resolved rates of later and earlier models. However, this focus overlooks whether the non-functional quality of their generated patches has also changed across model generations. This study investigates whether later models produce functionally correct patches with better non-functional characteristics than earlier models on comparable repository-level repair tasks. We conducted two case studies involving four Claude and DeepSeek models on SWE-bench Lite. Using the same SWE-agent functional repair setting, we evaluated the generated patches with CodeQL, CodeScene, CPU time, and peak memory. Our primary analysis compared the models on commonly resolved instances. The static analysis results showed that most CodeQL paired differences were zero and that no CodeQL or CodeScene comparison remained significant after Holm correction. CPU time differences were small and inconsistent across model families, while peak memory usage was slightly higher for the later models under the benchmark test workload, with small absolute differences. Differences in individual CodeQL rules and CodeScene categories varied across model families and did not survive multiple-comparison correction. Overall, later models resolved more instances but showed no consistent improvement in the measured non-functional indicators on tasks solved by both models. Through this study, we hope to encourage a more comprehensive evaluation of models' practical software engineering capabilities.
• Abstract（参考訳）: リポジトリレベルのコーディングベンチマークは、一般的に、後期モデルと初期のモデルの解決率を比較することによって、モデルの能力の進歩を測定する。 しかし、この焦点は、生成されたパッチの非機能品質もモデル世代によって変化したかどうかを見落としている。 本研究は, 後続のモデルが, リポジトリレベルの修復作業において, 以前のモデルよりも優れた非機能特性を持つ機能的正当パッチを生成するかどうかを考察する。 SWE-bench Lite上のClaudeモデルとDeepSeekモデルの2つのケーススタディを行った。 同じSWE-agent機能修復設定を用いて、生成したパッチをCodeQL、CodeScene、CPU時間、ピークメモリで評価した。 我々の一次分析は、一般的に解決されたインスタンスのモデルと比較した。 静的解析の結果、ほとんどのCodeQLペアの差はゼロであり、Holm修正後もCodeQLとCodeSceneの比較は重要でなかった。 CPUの時間差はモデルファミリ間では小さかったが、ベンチマークテストのワークロード下では、ピークメモリ使用率が若干高く、絶対的な差は少なかった。 個々のCodeQLルールとCodeSceneカテゴリの違いは、モデルファミリによって異なり、多重比較補正を生き残らなかった。 全体として、後のモデルはより多くのインスタンスを解決したが、両方のモデルによって解決されたタスクにおいて測定された非機能指標に一貫した改善は示さなかった。 この研究を通じて、我々はモデルの実用的なソフトウェアエンジニアリング能力をより包括的に評価していきたいと考えています。

関連論文リスト

• Dissecting model behavior through agent trajectories [15.811597127775812]
  私たちはインテント・エグゼクティブのギャップを形式化し、モデルが意図するものと、ハーネスが実行しているものとのミスマッチと、その逆です。 このハーネスモデルアライメントの効果を説明するために,SSA(Simple Strands Agent)と呼ばれるシンプルでカスタマイズ可能なハーネスを開発した。 i) 一般的なエージェントベンチマークにおいて,多種多様なモデルプロジェクタファミリーが報告したpass@1のパフォーマンスを再現または改善し, (ii) SSAが生成した128k軌道の解析に基づいて構築する。
  論文  参考訳（メタデータ） (2026-06-16T03:17:03Z)
• From Global to Granular: Revealing IQA Model Performance via Correlation Surface [83.65597122328133]
  我々は, IQA 性能の構造化, きめ細かな解析を行う textbfGranularity-Modulated correlation (GMC) を提案する。 GMCにはtextbfDistribution Regulatorが含まれており、相関関係を規則化し、非均一な品質分布からのバイアスを軽減する。 標準ベンチマークの実験では、GCCはスカラーメトリクスに見えないパフォーマンス特性を示し、IQAモデルを分析、比較、デプロイするためのより情報に富んだ信頼性の高いパラダイムを提供する。
  論文  参考訳（メタデータ） (2026-01-29T13:55:26Z)
• Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
  本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。 本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
  論文  参考訳（メタデータ） (2025-10-02T06:25:10Z)
• Analyzing the Instability of Large Language Models in Automated Bug Injection and Correction [0.0]
  大規模言語モデル(LLM)は、ソフトウェア工学のタスクで使用される。 同じ入力で異なるタイミングで実行すると、根本的に異なるコードを生成することができる。 本研究では、コードバグの修正に関して、LLMがいかに不安定かを検討する。
  論文  参考訳（メタデータ） (2025-09-08T08:23:49Z)
• Why Do More Experts Fail? A Theoretical Analysis of Model Merging [51.18155031364046]
  モデルマージは、複数のエキスパートモデルを単一のマルチタスクモデルに組み合わせることで、ストレージと計算資源を劇的に削減する。 最近のモデルマージ手法は有望な結果を示しているが、マージモデルの増加に伴い性能向上の維持に苦慮している。 限定効用パラメータ空間は、マージを成功させることのできるモデルの数に厳密な制約を課すことを示す。
  論文  参考訳（メタデータ） (2025-05-27T14:10:46Z)
• Multi-Level Collaboration in Model Merging [56.31088116526825]
  本稿では,モデルマージとモデルアンサンブルの本質的な関係について考察する。 これまでの制限が満たされていない場合でも、モデルのマージによって、アンサンブルと同じような、ほぼ同一かつ優れたパフォーマンスを達成する方法がまだ存在することが分かっています。
  論文  参考訳（メタデータ） (2025-03-03T07:45:04Z)
• Learning to Solve and Verify: A Self-Play Framework for Code and Test Generation [69.62857948698436]
  大規模言語モデル(LLM)の最近の進歩は、コーディングベンチマークのパフォーマンスを改善している。 しかし、手軽に利用できる高品質なデータの枯渇により、改善は停滞している。 本稿では,単一モデルのコードとテスト生成能力を共同で改善するセルフプレイ・ソルバ検証フレームワークであるSol-Verを提案する。
  論文  参考訳（メタデータ） (2025-02-20T18:32:19Z)
• Do Language Models Learn Semantics of Code? A Case Study in Vulnerability Detection [7.725755567907359]
  我々は,解釈可能性ツール,注意分析,相互作用行列解析という3つの異なる手法を用いてモデルを解析する。 モデル入力内のバグセマンティクスをハイライトする2つのアノテーション手法を開発した。 この結果から,より複雑なパスベースのバグセマンティクスを学習する上で,モデルにバグセマンティクスの情報を提供し,モデルがそれに参加することができることを示唆した。
  論文  参考訳（メタデータ） (2023-11-07T16:31:56Z)
• When Liebig's Barrel Meets Facial Landmark Detection: A Practical Model [87.25037167380522]
  正確で、堅牢で、効率的で、一般化可能で、エンドツーエンドのトレーニングが可能なモデルを提案する。 精度を向上させるために,2つの軽量モジュールを提案する。 DQInitは、インプットからデコーダのクエリを動的に初期化し、複数のデコーダ層を持つものと同じ精度でモデルを実現する。 QAMemは、共有するクエリではなく、それぞれのクエリに別々のメモリ値を割り当てることで、低解像度のフィーチャーマップ上のクエリの識別能力を高めるように設計されている。
  論文  参考訳（メタデータ） (2021-05-27T13:51:42Z)
• Bringing Light Into the Dark: A Large-scale Evaluation of Knowledge Graph Embedding Models Under a Unified Framework [31.35912529064612]
  我々はPyKEENソフトウェアパッケージで21のインタラクションモデルを再実装し評価した。 4つのデータセットに対して、数千の実験と24,804のGPU時間で大規模なベンチマークを行いました。
  論文  参考訳（メタデータ） (2020-06-23T22:30:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。