Fugu-MT 論文翻訳(概要): Bigger Isn't Always Better: A Comparative Evaluation of LLMs for Automated Code Review

論文の概要: Bigger Isn't Always Better: A Comparative Evaluation of LLMs for Automated Code Review

arxiv url: http://arxiv.org/abs/2606.15689v1
Date: Thu, 09 Apr 2026 06:56:13 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-27 00:46:12.902578
Title: Bigger Isn't Always Better: A Comparative Evaluation of LLMs for Automated Code Review
Title（参考訳）: Biggerは常に改善されない - 自動コードレビューのためのLLMの比較評価
Abstract要約: 自動コードレビューにおいて,5つの大言語モデルの体系的評価を行う。クロード・ハイク4.5はより大きなクロード・ソネット4.6を上回っている。すべてのモデルは、パフォーマンス関連のバグをほぼゼロにリコールする。
参考スコア（独自算出の注目度）: 0.9176056742068814
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present a systematic evaluation of five large language models on automated code review, comparing Claude Sonnet 4.6, Claude Haiku 4.5, GPT-5.4 mini, Minimax M2.7, and GLM-5 Turbo across 150 code review samples - 100 synthetic mutation-injected bugs and 50 real bug-fix pull requests mined from eight major open-source repositories. Our principal finding is that Claude Haiku 4.5, a smaller and cheaper model, consistently outperforms the larger Claude Sonnet 4.6, achieving higher F1 (0.365 vs. 0.343), 18% higher recall, and superior qualitative review scores across all four evaluation dimensions, at 3.2x lower cost per review. This result holds across three independent experimental conditions (n=25, n=100, n=150) and is independently confirmed on the Martian Code Review Benchmark, a third-party evaluation with different repos, golden comments, and judge. We further report three secondary findings: (1) synthetic-only evaluation dramatically overestimates model capability - on real PRs alone, the best model achieves F1 = 0.066, compared to F1 = 0.847 on synthetic samples, a 92% degradation; (2) diff size is the dominant predictor of review quality, with F1 dropping from 0.657 on diffs under 10 lines to 0.043 on diffs over 150 lines; and (3) all models exhibit near-zero recall on performance-related bugs. We release our evaluation framework and dataset for reproducibility.
Abstract（参考訳）: 自動コードレビューにおいて,Claude Sonnet 4.6, Claude Haiku 4.5, GPT-5.4 mini, Minimax M2.7, GLM-5 Turboの5つの大規模言語モデルに対して,150個のコードレビューサンプルを比較検討した。その結果,より小型で安価なClaude Haiku 4.5はより大型のClaude Sonnet 4.6より一貫して優れ,F1(0.365 vs. 0.343),リコール率18%,4つの評価次元で優れた定性的レビュースコアが3.2倍のコストで達成された。この結果は、3つの独立した実験条件(n=25, n=100, n=150)にまたがって行われ、Martian Code Review Benchmarkで独立して確認されている。さらに, 実PRだけでは, F1 = 0.066, F1 = 0.847, F1 = 0.847, 分解率92%, F1は10行未満の差分0.657から150行以上での差分0.043, そして, 全モデルで性能関連バグをほぼゼロに近いリコールを示した。再現性評価フレームワークとデータセットをリリースする。

関連論文リスト

NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文参考訳（メタデータ） (2026-09-10T08:34:56Z)
LLM Ensemble Fault Classification for Automotive HiL Validation [1.9435397960631864]
本稿では,センサレベルの故障分類のためのマルチLLMアンサンブルフレームワークを提案する。このフレームワークは、フォールトインジェクション記録のコンパクトなエビデンス表現を使用し、異種大言語モデルの出力を組み合わせる。この手法は、ガソリンエンジンと電気自動車のHiLシステムを用いて、3つの駆動設定と10のシングルフォールトクラスで評価される。
論文参考訳（メタデータ） (2026-08-11T09:31:18Z)
FirstPass: Grounding AI Scientific Judgment in Multi-Round Editorial Outcomes [0.27998963147546146]
我々は、ピアレビューのためにAIの3つの側面すべてに対処するデータセットの微調整モデルであるFirstPassを紹介した。我々は、強制的透明なピアレビュー(2022年11月設置)を活用し、自動監査により100%のコンテンツ完全性を検証する。 FirstPassは生成時に平均1,187ワードのレビューを生成し、ベースラインよりも人間の参照(2,155ワード)に近い。
論文参考訳（メタデータ） (2026-06-18T15:06:36Z)
Long Live Fine-Tuning: Task-Specific Transformers Outperform Zero-Shot LLMs for Misinformation Response Classification on Reddit [5.437038443632133]
我々は,誤情報談話の微妙な分類にスケールと一般能力が十分であるという暗黙の仮定を検証した。 BART-MNLI、3つのLlama変種、3つの商用フロンティアLLM、微調整されたDistilBERTとRoBERTaの9つのモデルを比較した。検証のコンテキストでは、欠落した信念がコストの低いエラーである場合、タスク固有の微調整の方がより信頼性の高い選択である。
論文参考訳（メタデータ） (2026-06-02T22:58:59Z)
How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。 HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
論文参考訳（メタデータ） (2026-05-08T09:30:31Z)
Judging the Judges: A Systematic Evaluation of Bias Mitigation Strategies in LLM-as-a-Judge Pipelines [0.0]
4つのプロバイダファミリーの5つの審査モデルに対して,9つのデバイアスング戦略を比較した。スタイルバイアスは支配的バイアス(全モデルで0.76-0.92)であり、位置バイアス(=0.04)をはるかに超えている。統合予算戦略により、Claude Sonnet 4 は+11.2 pp (p 0.0001) に大幅に改善され、他のモデルの方向性に好意的な傾向が見られた。
論文参考訳（メタデータ） (2026-04-25T07:18:30Z)
Putting HUMANS first: Efficient LAM Evaluation with Human Preference Alignment [53.72927532626824]
わずか50個のサンプル(0.3%のデータ)のサブセットは、完全なベンチマークスコアと0.93以上のピアソン相関を達成可能であることを示す。選好をより良く予測するために、選択したサブセットの回帰モデルを訓練し、0.98の相関を達成した。これは回帰モデリングにおいて、よく計算されたサブセットが完全なベンチマークを予測し、量を超える品質を示すことを示している。
論文参考訳（メタデータ） (2026-04-20T00:57:31Z)
Unblocking Fine-Grained Evaluation of Detailed Captions: An Explaining AutoRater and Critic-and-Revise Pipeline [58.832237984587664]
VNLI-Critiqueは,自動文レベルの事実性分類と批判生成のためのモデルである。 1) VNLI-CritiqueはM-HalDetectベンチマークの最先端性能によって検証された堅牢な一般化を実証し、(2) VNLI-CritiqueによるDOCCI-Critique向けAutoRaterは信頼性の高いVLMランキングを提供し、人間の事実性判断と優れた整合性を示す。
論文参考訳（メタデータ） (2025-06-09T10:57:26Z)
Moderating Harm: Benchmarking Large Language Models for Cyberbullying Detection in YouTube Comments [0.0]
本研究は,OpenAI GPT-4.1, Google Gemini 1.5 Pro, Anthropic Claude 3 Opusの3つの主要な言語モデルを,5,080コメントのコーパスでベンチマークする。 YouTubeのデータセットは、英語、アラビア語、インドネシア語で1,334件の有害メッセージと3,746件の有害メッセージで構成されている。
論文参考訳（メタデータ） (2025-05-25T01:28:30Z)
WildBench: Benchmarking LLMs with Challenging Tasks from Real Users in the Wild [57.272096543738336]
WildBenchは、大規模言語モデル(LLM)のベンチマーク用に設計された自動評価フレームワークである。 WildBenchは、100万以上の人間チャットボットの会話ログから慎重に選択された1,024のタスクで構成されている。 We have developed two metrics, WB-Reward and WB-Score which are computeable using Advanced LLMs。
論文参考訳（メタデータ） (2024-06-07T09:15:44Z)
Prometheus: Inducing Fine-grained Evaluation Capability in Language Models [66.12432440863816]
我々は,GPT-4の評価能力に匹敵する,完全にオープンソースなLarge Language Model (LLM) であるPrometheusを提案する。プロメテウスは45種類の楽譜を用いた評価において、Pearsonの0.897の相関を人間の評価値と比較した。 Prometheusは2つの人間の選好ベンチマークで最も精度が高い。
論文参考訳（メタデータ） (2023-10-12T16:50:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。