論文の概要: Agentic Code Review in the Terminal: A Trajectory-Level Analysis of Behavior, Cost, and Human-Alignment
- arxiv url: http://arxiv.org/abs/2607.16740v1
- Date: Sat, 18 Jul 2026 10:03:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.250425
- Title: Agentic Code Review in the Terminal: A Trajectory-Level Analysis of Behavior, Cost, and Human-Alignment
- Title（参考訳）: ターミナルにおけるエージェントコードレビュー:行動・コスト・アライメントの軌道レベル分析
- Abstract要約: 端末ベースの環境におけるエージェントコードレビューは、プルリクエスト作成前のローカル開発における早期フィードバックを可能にする。
既存の評価はパフォーマンス中心であり、リポジトリ基底のエージェントレビュアーの動的な振る舞いを捉えられない。
以上の結果から,エージェントレビューの精度は向上するが,十分な調査と検証のオーバーヘッドが生じる一方で,レビューの成功はより強力な計画と下流検証に結びついていることが示唆された。
- 参考スコア（独自算出の注目度）: 8.909533914802669
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Agentic code review in terminal-based environments enables early feedback during local development before pull request creation. However, existing evaluations remain performance-centric and fail to capture the dynamic behaviors of repository-grounded agentic reviewers. Understanding these behaviors is critical for identifying how agentic reviewers succeed, fail, and incur hidden operational costs in practice. Then, we analyze the reviewers' behavior based on their trajectories. Our results show that agentic reviewers achieve higher review precision but incur substantial exploration and validation overhead, while successful reviews are associated with stronger planning and less downstream validation. These findings highlight the potential benefits of trajectory-aware and cost-sensitive evaluation of future agentic code review systems.
- Abstract（参考訳）: 端末ベースの環境におけるエージェントコードレビューは、プルリクエスト作成前のローカル開発における早期フィードバックを可能にする。
しかし、既存の評価はパフォーマンス中心であり、リポジトリ基底のエージェントレビュアーの動的な振る舞いを捉えられない。
これらの振る舞いを理解することは、エージェントレビュアーがどのように成功し、失敗し、実際に隠れた運用コストを発生させるかを特定するために重要である。
そして,その軌跡に基づいてレビュアーの行動を分析する。
以上の結果から,エージェントレビューの精度は向上するが,十分な調査と検証のオーバーヘッドが生じる一方で,レビューの成功はより強力な計画と下流検証に結びついていることが示唆された。
これらの結果は,将来のエージェントコードレビューシステムのトラジェクトリ認識とコスト感受性評価の潜在的なメリットを浮き彫りにしている。
関連論文リスト
- From Holistic Evaluation to Structured Criteria: Rubrics Across the Evolving LLM Landscape [79.30826980815927]
ルーブリックは、複雑な品質判断を構造化され、実行可能な標準に変換する明示的な基準セットです。
我々は,既存のルーリックデザインを体系的に整理し,その構築と最適化を検証し,評価と訓練をまたいだ役割を解析する。
論文 参考訳（メタデータ） (2026-06-07T13:34:55Z) - Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。
REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。
私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
論文 参考訳（メタデータ） (2026-05-18T23:55:08Z) - Log analysis is necessary for credible evaluation of AI agents [31.236953223202875]
エージェントベンチマークは通常、パスまたはフェールという最終結果のみを報告します。
これは3つの点で評価の信頼性を脅かす。
これらの妥当性の脅威を克服するにはログ分析が必要であると我々は主張する。
論文 参考訳（メタデータ） (2026-05-08T23:10:32Z) - A Benchmark for Evaluating Repository-Level Code Agents with Intermediate Reasoning on Feature Addition Task [11.218318079376365]
RACE-benchは、機能追加タスクでコードエージェントを評価するための推論強化ベンチマークである。
RACE-benchには、12のオープンソースリポジトリから528の現実世界の機能追加インスタンスが含まれている。
RACE-bench上での3つのリポジトリレベルのコードエージェントの評価を行った。
論文 参考訳（メタデータ） (2026-03-27T11:58:47Z) - CR-Bench: Evaluating the Real-World Utility of AI Code Review Agents [0.7496422063843831]
我々は、ベンチマークデータセットであるCR-Benchと、コードレビューエージェントのためのきめ細かい評価パイプラインであるCR-Evaluatorを紹介する。
コードレビューエージェントは、隠されたすべての問題を特定するために設計された場合、低信号対雑音比を示すことができる。
本分析では,課題解決と突発的な発見との間に隠されたトレードオフを明らかにし,効果的なエージェント設計を制約するフロンティアを明らかにした。
論文 参考訳（メタデータ） (2026-03-10T21:29:42Z) - Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。
このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。
我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
論文 参考訳（メタデータ） (2026-01-21T06:07:43Z) - SeRe: A Security-Related Code Review Dataset Aligned with Real-World Review Activities [8.215547096412346]
既存のデータセットと研究は主に汎用コードレビューコメントに焦点を当てている。
能動的学習に基づくアンサンブル分類手法を用いて構築したtextbfsecurity 関連コードレビューデータセット textbfSeRe を紹介する。
我々は373,824の生のレビューインスタンスから6,732のセキュリティ関連レビューを抽出し、複数のプログラミング言語の代表性を確保した。
論文 参考訳（メタデータ） (2026-01-03T02:39:53Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳（メタデータ） (2025-10-13T22:22:28Z) - Beyond the Final Answer: Evaluating the Reasoning Trajectories of Tool-Augmented Agents [22.781523439717223]
エージェントのパフォーマンスを適切に評価するには、最終回答を超え、問題解決の軌跡も評価する必要がある。
ツール拡張LDMエージェント性能の多次元評価のためのフレームワークであるTRACEを紹介する。
TRACEはこれらの複雑な挙動を,スケーラブルで費用対効果の高い方法で正確に評価する。
論文 参考訳（メタデータ） (2025-10-03T09:19:15Z) - Identifying Aspects in Peer Reviews [59.02879434536289]
我々は、ピアレビューのコーパスからアスペクトを抽出するデータ駆動スキーマを開発した。
我々は、アスペクトを付加したピアレビューのデータセットを導入し、コミュニティレベルのレビュー分析にどのように使用できるかを示す。
論文 参考訳（メタデータ） (2025-04-09T14:14:42Z) - Unbiased Evaluation of Large Language Models from a Causal Perspective [19.897724867351315]
評価バイアスを理論的に定式化し、バイアスのない評価プロトコルの設計に関する貴重な洞察を提供する。
我々は,LLMのより包括的で,偏りのない,解釈可能な評価プロトコルであるUnbiased Evaluatorを提案する。
論文 参考訳（メタデータ） (2025-02-10T16:45:18Z) - Catch Me if I Can: Detecting Strategic Behaviour in Peer Assessment [61.24399136715106]
我々は、試験やホームワークの査定や採用・昇進の査定など、様々な査定課題における戦略的行動の課題について考察する。
我々はこのような操作を検出する方法の設計に重点を置いている。
具体的には、エージェントがピアのサブセットを評価し、後に集約されたランキングを最終的な順序付けとして出力する設定について検討する。
論文 参考訳（メタデータ） (2020-10-08T15:08:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。