論文の概要: Beyond the Leaderboard: Multi-Dimensional Evaluation of Dense and Mixture-of-Experts Models for Automated Program Repair

• arxiv url: http://arxiv.org/abs/2610.08173v1
• Date: Tue, 06 Oct 2026 11:27:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.961495
• Title: Beyond the Leaderboard: Multi-Dimensional Evaluation of Dense and Mixture-of-Experts Models for Automated Program Repair
• Title（参考訳）: リーダーボードを超えて:自動プログラム修復のためのDenseとMixture-of-Expertsモデルの多次元評価
• Abstract要約: 本稿では,重み付け方式における機能的正当性,保守性,セキュリティ,生成効率を組み合わせた重み付き品質指標を提案する。 Qwen2.5-Coderモデル(3B, 7B, 14B)と16BパラメータのDeepSeek-Coder-V2-Lite Mixture-of-Experts(MoE)モデル(2.4Bアクティブパラメータ)を40QuixBugsおよび90Defects4Jバグに対して評価した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automated Program Repair (APR) with language models is usually evaluated by whether a generated patch passes the test suite, which can hide differences in maintainability, security, and computational cost. We propose a Weighted Quality Index (QI), inspired by the ISO/IEC 25010 software quality model, that combines functional correctness, maintainability, security, and generation efficiency under configurable weighting schemes. We evaluate three dense Qwen2.5-Coder models (3B, 7B, 14B) and the 16B-parameter DeepSeek-Coder-V2-Lite Mixture-of-Experts (MoE) model (2.4B active parameters) on 40 QuixBugs and 90 Defects4J bugs, all run locally on identical hardware to control for infrastructure effects. Model rankings change with the weighting scheme, showing that single-metric evaluation can hide trade-offs. The MoE model shows almost no statistically significant difference in correctness from the 7B and 14B dense models (McNemar's exact test) while using 3-6 times fewer active parameters, whereas correctness increases significantly across the three dense scales. These results suggest that active parameter count can be a more informative lens than total parameter count for sparse code models.
• Abstract（参考訳）: 言語モデルによる自動プログラム修復(APR)は通常、生成されたパッチがテストスイートを通過するかどうかによって評価され、保守性、セキュリティ、計算コストの違いを隠蔽することができる。 本稿では,ISO/IEC 25010ソフトウェア品質モデルにインスパイアされた重み付き品質指標(QI)を提案する。 Qwen2.5-Coderモデル(3B, 7B, 14B)と16BパラメーターのDeepSeek-Coder-V2-Lite Mixture-of-Experts(MoE)モデル(2.4Bアクティブパラメータ)を40 QuixBugsと90のDefects4Jバグで評価し、すべて同じハードウェア上で同じハードウェア上で実行し、インフラストラクチャ効果を制御する。 モデルランキングは重み付けスキームによって変化し、シングルメトリック評価がトレードオフを隠す可能性があることを示す。 MoEモデルは7Bと14Bの密度モデル(McNemarの正確なテスト)と統計学的に有意な正しさの差を示さないが、活性パラメータは3-6倍少ない。 これらの結果から,スパース符号モデルでは,アクティブパラメータ数の方が全パラメータ数よりも有益なレンズであることが示唆された。

関連論文リスト

• ThinkNet: Compact Architecture Selection and Validation-Gated Ensembles for Subject-Independent MI-EEG Decoding [3.383341806828598]
  ThinkNetは、コンパクトなMI-EEGモデルとポリシーのための検証制御フレームワークである。 デプロイ不能な分析では6.1ポイントの家族選択ギャップとほぼゼロの検証-テスト相関がみられた。
  論文  参考訳（メタデータ） (2026-09-27T22:11:26Z)
• Selecting Open-Weight Language Models for Zero-Shot Intent Classification: A Systematic Evaluation of 41 Models [0.0]
  15の家系にまたがる41のオープンウェイト言語モデルと135M--9Bパラメータ範囲の体系的ゼロショット評価を行った。 我々は,信頼性キャリブレーション,現実的な入力摂動に対する堅牢性,モデルランキングの統計的信頼性,デプロイメント効率,ベンチマーク飽和度を分析した。 これらの知見は、意図分類のためのオープンウェイト言語モデルの選択と評価のための実践的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2026-07-29T19:42:33Z)
• Using Semantic Distance to Estimate Uncertainty in LLM-Based Code Generation [1.1470070927586018]
  LLMはコード生成において高い性能を示すが、その出力は正確性を保証するものではない。 我々はこれらの選択を混乱させる分類法を導入し、セマンティックな距離認識の不確実性推定という、欠落した設計点を明らかにした。 我々のメトリクスは、正確性に関する強力なプロキシを提供し、一貫して最先端のサンプルベースラインより優れています。
  論文  参考訳（メタデータ） (2026-05-09T16:02:54Z)
• ECO: Quantized Training without Full-Precision Master Weights [58.97082407934466]
  Error-Compensating (ECO)は、量子化されたパラメータに直接更新を適用することで、マスターウェイトを除去する。 ECO は最適値の定数半径近傍に収束するが、素早いマスターウェイト除去は学習率に逆比例する誤差を生じさせる。
  論文  参考訳（メタデータ） (2026-01-29T18:35:01Z)
• David vs. Goliath: A comparative study of different-sized LLMs for code generation in the domain of automotive scenario generation [1.6752458252726459]
  大きな言語モデル(LLM)を持つNL-to-Scenic生成は、少ないデータ、限られたメトリクスに悩まされる。 NL2Scenicは146組のNL/Scenicペアを持つオープンデータセットとフレームワークであり、難易度の高い30ケースのテスト分割とサンプルレトリバーを紹介する。 4つのプロプライエタリ(GPT-4o, GPT-5, Claude-Sonnet-4, Gemini-2.5-pro)と9つのオープンソースコードモデル(Qwen2.5Coder 0.5B-32B; CodeLlama 7B/13B/34B)を評価した。
  論文  参考訳（メタデータ） (2025-10-15T21:37:02Z)
• S*: Test Time Scaling for Code Generation [55.11863577956177]
  コード生成のための最初のハイブリッドテストタイムスケーリングフレームワークであるS*を提案する。 S*は生成されたコードのカバレッジと選択精度を大幅に改善する。
  論文  参考訳（メタデータ） (2025-02-20T09:18:53Z)
• QuantMoE-Bench: Examining Post-Training Quantization for Mixture-of-Experts [47.01697456105496]
  Mixture-of-Experts (MoE)は、大規模言語モデルの学習能力をスケールアップする有望な方法である。 MoEは大きなパラメータサイズのためにメモリオーバーヘッドに悩まされる。 トレーニング後の量子化は、モデル圧縮に強力なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-06-12T12:44:48Z)
• Uncertainty Guided Adaptive Warping for Robust and Efficient Stereo Matching [77.133400999703]
  相関に基づくステレオマッチングは優れた性能を達成した。 固定モデルによる現在のメソッドは、さまざまなデータセットで均一に動作しない。 本稿では,ロバストなステレオマッチングのための相関を動的に計算する新しい視点を提案する。
  論文  参考訳（メタデータ） (2023-07-26T09:47:37Z)
• Sparse MoEs meet Efficient Ensembles [49.313497379189315]
  このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。 Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
  論文  参考訳（メタデータ） (2021-10-07T11:58:35Z)
• When Liebig's Barrel Meets Facial Landmark Detection: A Practical Model [87.25037167380522]
  正確で、堅牢で、効率的で、一般化可能で、エンドツーエンドのトレーニングが可能なモデルを提案する。 精度を向上させるために,2つの軽量モジュールを提案する。 DQInitは、インプットからデコーダのクエリを動的に初期化し、複数のデコーダ層を持つものと同じ精度でモデルを実現する。 QAMemは、共有するクエリではなく、それぞれのクエリに別々のメモリ値を割り当てることで、低解像度のフィーチャーマップ上のクエリの識別能力を高めるように設計されている。
  論文  参考訳（メタデータ） (2021-05-27T13:51:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。