論文の概要: Cross-Model LLM Code Review: Should you use Claude to review Codex or vice versa?

• arxiv url: http://arxiv.org/abs/2607.21656v1
• Date: Wed, 22 Jul 2026 20:39:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 20:58:56.945688
• Title: Cross-Model LLM Code Review: Should you use Claude to review Codex or vice versa?
• Title（参考訳）: クロスモデルLLMコードレビュー: CodexのレビューにClaudeを使うべきか、あるいはその逆を使うべきか?
• Abstract要約: 1つはドラフトを書き、もう1つはそれをレビューする。 ペアリングがコストと時間に価値があるのか、あるいはペアリングの順序が重要なのかは不明だ。 ソフトウェア実践者のワークフローを近似するために、ClaudeとCodexで最近116のハード、ミディアムのlcbタスクを6つの条件で制御した実験を実行しました。
• 参考スコア（独自算出の注目度）: 2.2428613872140484
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Developers increasingly use two coding agents together: one writes a draft, and the other reviews it. However, it is not clear whether the pairing is worth its cost and time, or whether the order of the pairing matters. We run a controlled experiment on 116 recent hard and medium lcb tasks with Claude and Codex across six conditions to approximate a software practitioner's workflow: both solo baselines, both cross-model orderings, and both same-model orderings. The reviewer sees the problem and the writer's draft but cannot execute tests, which approximates a code review step. Claude review raises Codex drafts from 71.6% to 89.7% ($p_{BH}=.001$); Codex self review raises them to 84.5% ($p_{BH}=.022$). The reverse direction does not pay off: Codex reviewing Claude drafts drops the pass rate from 91.4% to 82.8% ($p_{BH}=.046$), and Claude self review leaves the 91.4% baseline unchanged. Our evaluation indicates that the useful pairing is asymmetric: use Claude to review Codex, not the other way around.
• Abstract（参考訳）: 1つはドラフトを書き、もう1つはそれをレビューする。 しかし、ペアリングがコストと時間に価値があるのか、あるいはペアリングの順序が重要なのかは明らかではない。 最近116のハードとミディアムのlcbタスクに対して、ClaudeとCodexを使って制御された実験を行い、ソフトウェア実践者のワークフローを近似した。 レビュー担当者は、問題とライターのドラフトを見るが、テストは実行できないので、コードレビューのステップを近似する。 クロード・レビューはコーデックスのドラフトを71.6%から89.7%(p_{BH}=.001$)に引き上げ、コーデックス・セルフ・レビューは84.5%(p_{BH}=.022$)に引き上げた。 Codex Reviewing Claude draftsはパスレートを91.4%から82.8%(p_{BH}=.046$)に下げ、Clude Self Reviewは91.4%のベースラインを変更しない。 私たちの評価では、有用なペアリングが非対称であることが示されています。

関連論文リスト

• Remember, Verify, or Ask? Cross-Family Evaluation of Memory Commitment in LLM Agents [4.6840536642016195]
  永続メモリはLDMエージェントをパーソナライズすることができるが、不正確な耐久性のある更新は、静かに将来の動作を歪ませることができる。 メモリ・クラシフィケーション・バウンダリ(メモリ・クラシフィケーション・バウンダリ)について検討する。
  論文  参考訳（メタデータ） (2026-08-20T02:11:03Z)
• OpenCodeReview: Determinism over Non-Determinism for Cost-Effective Agent-Based Code Review [14.707064801983172]
  我々は不確実なエージェントに対する決定論的エンジニアリングに基づいて構築されたOpenCodeReviewを紹介する。 AACR-Bench(200の現実世界のPR、10の言語、1,505のエキスパート認定されたコメント)では、OpenCodeReviewが主要なコーディングエージェントを上回っている。
  論文  参考訳（メタデータ） (2026-08-10T08:43:16Z)
• Refused in Chat, Written in Code: Workflow-Level Jailbreak Construction in IDE Coding Agents [20.975460502519677]
  Visual Studio CodeでGitHub Copilotを使用して、Claude Sonnet 4.6、Claude Haiku 4.5、Gemini 3.1 Pro、Gemini 3.5 Flashの4つのクローズドウェイトバックエンドを調査した。 204年にわたって、HammurabiのCode、HarmBench、AdvBenchからのプロンプトは、ダイレクトチャット、CSV-read、シングルステップのコード修正ベースラインの下でほぼ完全に拒否されている。 しかし、完全なワークフローでは、同じプロンプトとバックエンドが816/816の安全でない教示ショット補完を生成する。
  論文  参考訳（メタデータ） (2026-07-04T17:57:05Z)
• Converted, Not Equivalent: Benchmarking Codebase Conversion via Observational Equivalence [56.25095230687242]
  コーディングエージェントは、しばしば自身のローカル検証ルーチンを過度に信頼し、表面チェックを満たすアーティファクトの成功を宣言する。 この問題は、事前評価が結果駆動である変換において特に深刻である。 ブラインド・コンバージョンは26.7-28.9%に達し、スペック・パスレートは91.1%まで上昇した。 このことは、失敗は限られた予算やバックボーンの強さよりも、契約ミスによる自己検証に起因していることを示唆している。
  論文  参考訳（メタデータ） (2026-05-27T19:57:15Z)
• When Agents Look the Same: Quantifying Distillation-Induced Similarity in Tool-Use Behaviors [66.18091962164219]
  既存のメトリクスは、タスクの成功に必要な義務的な振る舞いと、モデルの自律的な嗜好を反映した命令的でないパターンを区別することができない。 言語アライメントのための textbfResponse Pattern similarity (RPS) と、有向グラフとしてモデル化されたツール使用習慣のための textbfAction Graph similarity (AGS) である。
  論文  参考訳（メタデータ） (2026-04-23T03:48:56Z)
• Review Beats Planning: Dual-Model Interaction Patterns for Code Synthesis [0.0]
  HumanEval+では、Plan-then-codeはコードスペシャリスト単独に比べてパフォーマンスを2.4パーセント低下させる。 コードスペシャリストが自由に生成し、計画ではなく推論モデルレビューを行うと、同じハードウェア上の同じ2つのモデルが90.2%のパス@1を達成する。
  論文  参考訳（メタデータ） (2026-03-03T16:57:14Z)
• CodeContests-O: Powering LLMs via Feedback-Driven Iterative Test Case Generation [71.42965967582147]
  既存のアプローチは、Large Language Models (LLM) を用いたテストケースの合成を試みる 包括的なテストケース構築のために、textbfFeedback-Bench Iterative Framework$を提案します。 私たちのデータセットは、平均的真正率(TPR)が89.37%、真負率(TNR)が90.89%で、CodeContestsとCodeContests+をそれぞれ4.32%、9.37%で大幅に上回っている。
  論文  参考訳（メタデータ） (2026-01-20T07:32:44Z)
• Evaluating Large Language Models for Code Review [2.0261749670612637]
  GPT4oとGemini 2.0 Flashを492 AIでテストしました。 GPT4o と Gemini 2.0 Flash はそれぞれ68.50% と63.89% のコード正当性を正しく分類し、67.83% と54.26% のコード正当性を修正した。
  論文  参考訳（メタデータ） (2025-05-26T16:47:29Z)
• Preference Optimization for Reasoning with Pseudo Feedback [100.62603571434167]
  提案手法では,解のラベル付けを関連するテストケースに対する評価として行うことで,推論タスクに対する疑似フィードバックを生成する手法を提案する。 本研究では,擬似フィードバックを優先最適化に用いる数学的推論と符号化の両タスクについて実験を行い,両タスク間の改善を観察する。
  論文  参考訳（メタデータ） (2024-11-25T12:44:02Z)
• More efficient manual review of automatically transcribed tabular data [0.0]
  ノルウェーの1950年国勢調査(97%)の230万個の手書きの職業コードを書き起こすのに機械学習を使いました。 モデルの信頼性が最も低い90,000(3%)のコードを手作業でレビューしました。 9万のコードを人間のレビュアーに割り当て、アノテーションツールを使ってコードをレビューしました。
  論文  参考訳（メタデータ） (2023-06-28T11:56:09Z)
• AI-assisted Code Authoring at Scale: Fine-tuning, deploying, and mixed methods evaluation [9.915327592560896]
  我々は、Metaで開発およびデプロイされたAI支援コードオーサリングツールであるCodeComposeを紹介する。 CodeComposeは、生成能力を双方向にマージするInCoder LLMに基づいている。 20Kのソースコードファイルのランダムなサンプルでは、40%から58%の時間で隠れた行を再現することができ、公開データのみに基づいてトレーニングされたモデルよりも1.4xと4.1xが改善された。
  論文  参考訳（メタデータ） (2023-05-20T00:45:15Z)
• Revisiting Code Search in a Two-Stage Paradigm [67.02322603435628]
  TOSSは2段階のフュージョンコード検索フレームワークである。 まずIRベースのバイエンコーダモデルを使用して、少数のトップkコード候補を効率的にリコールする。 その後、より微細なクロスエンコーダを使用してランク付けを行う。
  論文  参考訳（メタデータ） (2022-08-24T02:34:27Z)
• CodeRetriever: Unimodal and Bimodal Contrastive Learning [128.06072658302165]
  関数レベルのコードセマンティック表現を訓練するために,一様および二様のコントラスト学習を組み合わせたCodeRetrieverモデルを提案する。 ノンモーダルなコントラスト学習のために、文書と関数名に基づいてポジティブなコードペアを構築するためのセマンティックガイド付き手法を設計する。 バイモーダルなコントラスト学習では、コードのドキュメンテーションとインラインコメントを活用して、テキストコードペアを構築します。
  論文  参考訳（メタデータ） (2022-01-26T10:54:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。