論文の概要: Reliable and Developer-Aligned Evaluation of Agents for Software Engineering
- arxiv url: http://arxiv.org/abs/2607.06713v1
- Date: Tue, 07 Jul 2026 18:29:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-09 22:50:30.19626
- Title: Reliable and Developer-Aligned Evaluation of Agents for Software Engineering
- Title（参考訳）: ソフトウェア工学のためのエージェントの信頼性と開発者指向評価
- Abstract要約: 本研究は, LLMを用いたエージェントの総合評価手法を提供することにより, ギャップを埋めることを目的とする。
本評価手法は, 汚染意識, 中間エージェント行動評価, トラジェクティブ・アウェア・ベンチマーク, メトリクスに焦点をあてる。
- 参考スコア（独自算出の注目度）: 0.5922488908114023
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large language models are rapidly moving towards closing the development cycle, transitioning from simple assistive companions to autonomous contributors deeply embedded into collaborative development environments. Despite their accelerated adoption, existing evaluation techniques are limited due to their fragmented nature and distorted projection of true model capabilities, often obtained from hypothetical syntactic scenarios. This research aims to bridge this gap by providing a comprehensive evaluation methodology for LLM-powered agents that is grounded in real-world software development practice. Our evaluation approach focuses on contamination-awareness, in-the-wild agentic behavior assessment, and trajectory-aware benchmarks and metrics capturing realistic coding contexts, human-aligned behavior, and model failure modes.
- Abstract（参考訳）: 大規模言語モデルは開発サイクルの終了に向かって急速に動き、単純な補助的な仲間から、共同開発環境に深く埋め込まれた自律的なコントリビュータへと移行しています。
導入が加速したにもかかわらず、既存の評価手法は、その断片化された性質と、しばしば仮説的な構文シナリオから得られる真のモデル能力の歪んだ投影のために制限されている。
本研究の目的は,実世界のソフトウェア開発の実践を基盤としたLCMエージェントの総合評価手法を提供することによって,このギャップを埋めることである。
本評価手法は, 現実的なコーディングコンテキスト, ヒューマンアライメント行動, モデル故障モードを計測した, 汚染認識, 中間エージェント行動評価, トラジェクトリ認識ベンチマークとメトリクスに焦点をあてる。
関連論文リスト
- From Holistic Evaluation to Structured Criteria: Rubrics Across the Evolving LLM Landscape [79.30826980815927]
ルーブリックは、複雑な品質判断を構造化され、実行可能な標準に変換する明示的な基準セットです。
我々は,既存のルーリックデザインを体系的に整理し,その構築と最適化を検証し,評価と訓練をまたいだ役割を解析する。
論文 参考訳（メタデータ） (2026-06-07T13:34:55Z) - ManipArena: Comprehensive Real-world Evaluation of Reasoning-Oriented Generalist Robot Manipulation [66.02142169323521]
Vision-Language-ActionモデルとWorld Modelは最近、汎用ロボットインテリジェンスのための有望なパラダイムとして登場した。
既存のベンチマークは、主にシミュレータ中心であり、制御性を提供するが、知覚ノイズによって引き起こされる現実のギャップを捉えることができない。
シミュレーションと実世界の実行を橋渡しする標準化された評価フレームワークであるManipArenaを紹介する。
論文 参考訳（メタデータ） (2026-03-30T15:06:41Z) - Understanding by Reconstruction: Reversing the Software Development Process for LLM Pretraining [66.89012795621349]
大規模言語モデル(LLM)は、複雑なソフトウェア工学に必要な、深く、長期にわたる推論に苦しむことが多い。
本稿では,再構築による理解という,新しいパラダイムを提案する。
マルチエージェントシミュレーションを用いて潜在エージェント軌道を合成するフレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-11T09:23:20Z) - EmboCoach-Bench: Benchmarking AI Agents on Developing Embodied Robots [68.29056647487519]
Embodied AIは、高忠実度シミュレーションと大規模データ収集によって実現されている。
しかし、このスケーリング能力は、労働集約的な手作業の監視に依存しているため、いまだにボトルネックになっている。
実装ポリシーを自律的に構築するための LLM エージェントの能力を評価するベンチマークである textscEmboCoach-Bench を紹介する。
論文 参考訳（メタデータ） (2026-01-29T11:33:49Z) - LoCoBench-Agent: An Interactive Benchmark for LLM Agents in Long-Context Software Engineering [90.84806758077536]
textbfLoCoBench-Agentは,大規模言語モデル(LLM)エージェントを現実的,長期的ソフトウェア工学で評価するための総合的な評価フレームワークである。
我々のフレームワークは、LoCoBenchの8000のシナリオを対話型エージェント環境に拡張し、マルチターン会話の体系的評価を可能にする。
我々のフレームワークは,8つの特殊なツール(ファイル操作,検索,コード解析)をエージェントに提供し,それを10Kから1Mトークンの範囲で評価する。
論文 参考訳（メタデータ） (2025-11-17T23:57:24Z) - Benchmarking and Studying the LLM-based Agent System in End-to-End Software Development [33.01897134024342]
エンドツーエンドソフトウェア開発のためのLLMベースの自律エージェントの開発は、ソフトウェア工学における重要なパラダイムシフトである。
この作業はコミュニティに、より現実的なベンチマーク、包括的な評価フレームワーク、そしてソフトウェア開発エージェントの現在の能力とコア課題に対する重要な洞察を提供する。
論文 参考訳（メタデータ） (2025-11-06T05:10:04Z) - A Survey of Vibe Coding with Large Language Models [93.88284590533242]
視覚符号化(Vibe Coding)は、開発者が成果観察を通じてAI生成の実装を検証する開発手法である。
変革の可能性にもかかわらず、この創発的パラダイムの有効性は未解明のままである。
この調査は、大規模な言語モデルによるVibe Codingの総合的かつ体系的なレビューを初めて提供する。
論文 参考訳（メタデータ） (2025-10-14T11:26:56Z) - An LLM-based multi-agent framework for agile effort estimation [11.458115351010699]
チームがプロダクトバックログでユーザストーリーを完成させるのに必要な労力を共同でレビューし、議論し、見積もりする。
アジャイルの取り組み見積の現在のプラクティスは、主観的な評価に大きく依存しており、見積もりの不正確さと矛盾につながります。
我々は、アジャイル見積もりのための新しいマルチエージェントフレームワークを提案する。これは見積もりを生成できるだけでなく、人間開発者や他のエージェントと協調し、コミュニケーションし、議論することで合意に達することができる。
論文 参考訳（メタデータ） (2025-09-17T23:26:43Z) - Model Contribution Rate Theory: An Empirical Examination [0.0]
本稿では,ソフトウェア開発者の生産性を定量的に分析する手法として,コントリビューション率の指標を精査し,意味のある開発努力と異常を区別する手法を提案する。
この発見は、現代のソフトウェアエンジニアリングプラクティスにおけるチームのパフォーマンスとワークフロー管理を最適化するための実用的な洞察を提供する。
論文 参考訳（メタデータ） (2024-12-08T15:56:23Z) - Evaluation-Driven Development of LLM Agents: A Process Model and Reference Architecture [25.752294816136807]
大規模言語モデル(LLM)は、未特定目標を達成することができる自律システムの出現を可能にした。
本稿では,テスト駆動型および行動駆動型開発に触発された評価駆動型開発手法を提案する。
我々のアプローチは、オンライン(ランタイム)とオフライン(再開発)の評価を統合し、適応的なランタイム調整を可能にします。
論文 参考訳（メタデータ） (2024-11-21T00:34:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。