論文の概要: DoGBench: Can Agents Meet Expert Standards for User-Facing Documentation?
- arxiv url: http://arxiv.org/abs/2609.39909v1
- Date: Wed, 30 Sep 2026 15:04:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.956143
- Title: DoGBench: Can Agents Meet Expert Standards for User-Facing Documentation?
- Title（参考訳）: DoGBench: エージェントはユーザインターフェースドキュメンテーションのエキスパート標準に到達できるか?
- Abstract要約: DoGBENCHは、実際のユーザ向けソフトウェアドキュメンテーションの生成とメンテナンスのための最初のベンチマークである。
これは、経験豊富なテクニカルライターがレビューで受け入れるであろうドキュメントを、エージェントが作成できるかどうかを問うものだ。
ベンチマークには、Helm、PostHog、Mauticなど、オープンソースプロジェクトの292項目が含まれている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce DoGBENCH (Documentation Generation Benchmark), to our knowledge, the first benchmark for generating and maintaining real user-facing software documentation. It asks whether an agent can produce documentation that experienced technical writers would accept in review. The benchmark contains 292 items from open source projects, including Helm, PostHog, and Mautic. Each item gives the agent a pre-change repository and a trigger, such as a code pull request or a reported documentation gap. The agent must first decide whether the documentation needs an update. For items that need one, the agent must produce an acceptable patch in one attempt. For items that do not need updates, the agent must abstain. Task-specific rubrics, validated with project maintainers, score each patch on accuracy, completeness, reader guidance, placement, and repository conventions. The composite score combines patch quality with correct abstention, and a score of 100 means an agent meets every requirement for the task. Scores should not be interpreted as a percentage of an expert's capability. We evaluated seven agents. The highest-scoring agent reached 47.3 out of 100 on the 117-item held-out split. In a separate audit of 1,267 patches, the most common failure modes were task-completion gaps (45.5%), technical inaccuracies (36.6%), and incomplete conceptual or reference coverage (32.5%). Analysis of the corresponding trajectories identified three key patterns associated with these failures: (1) describing interfaces without examining how readers use them (36.0%), (2) missing decisive evidence and filling the gaps with plausible assumptions (33.1%), and (3) stopping after finding the first plausible documentation surface and leaving other affected pages stale (30.1%).
- Abstract（参考訳）: 実際のユーザ向けソフトウェアドキュメンテーションの生成と保守のための最初のベンチマークであるDoGBENCH(Documentation Generation Benchmark)を紹介します。
これは、経験豊富なテクニカルライターがレビューで受け入れるであろうドキュメントを、エージェントが作成できるかどうかを問うものだ。
ベンチマークには、Helm、PostHog、Mauticなど、オープンソースプロジェクトの292項目が含まれている。
各アイテムはエージェントに、コードプルリクエストや報告されたドキュメントギャップなどの事前変更リポジトリとトリガを与える。
エージェントはまず、ドキュメントに更新が必要なかどうかを判断しなければならない。
1つが必要なアイテムに対して、エージェントは1回の試行で許容できるパッチを生成しなければなりません。
更新を必要としないアイテムに対しては、エージェントは棄権しなければならない。
タスク固有のルーブリックは、プロジェクトのメンテナによって検証され、正確性、完全性、リーダーガイダンス、配置、リポジトリ規約に基づいて各パッチをスコア付けする。
複合スコアは、パッチ品質と正しい棄権とを組み合わせ、100のスコアは、エージェントがタスクのすべての要件を満たすことを意味する。
スコアは専門家の能力のパーセンテージとして解釈されてはならない。
私たちは7人のエージェントを評価した。
最高スコアは100点中47.3点に達し、117点のホールドアウト・スプリットとなった。
1,267パッチの別の監査では、最も一般的な障害モードはタスク補完ギャップ(45.5%)、技術的不正確さ(36.6%)、非完全な概念的または参照カバレッジ(32.5%)であった。
1) 読者の使い方を検査せずにインターフェースを記述する(36.0%)、(2) 決定的な証拠を欠き、妥当な仮定(33.1%)でギャップを埋める(33.1%)、(3) 最初のプラウティブルなドキュメンテーション表面を見つけ、他の影響のあるページをストール(30.1%)残した後で停止する(30.1%)。
関連論文リスト
- From Traceability to Justifiability: Accountability Structures in Agentic Software Engineering [0.0]
公開資料のみから、AIレコードがクレームを表現できるかどうか、宣言された場所を保持できるかどうかを測定する。
188個の二重グレード細胞で、デフォルトレコードが行動システムのコンテンツアイデンティティを出力するプラットフォームは見つからなかった。
計器は、パイプラインが発行した排気のみからの保証深度を計算し、宣言された深さと比較する。
論文 参考訳（メタデータ） (2026-08-21T16:45:00Z) - From Agent Behaviour to Agent-Friendly Documentation: An Empirical Study of How Coding Agents Discover, Read, and Write Technical Documentation [3.807723380039104]
技術ドキュメントは人間開発者のために書かれています。
ソフトウェア変更のシェアの増大は、今や自律的なコーディングエージェントによって引き継がれている。
本研究では,2つの公開データセット間でのエージェント・ドキュメント間相互作用に関する行動基礎研究を行う。
論文 参考訳（メタデータ） (2026-08-20T15:51:54Z) - StagedWorkspace: A Versioned Workspace for Knowledge-Work Agents [10.513970462718364]
知識処理エージェントのためのバージョン付きワークスペースであるStagedWorkspaceを提案する。
ワークスペースは解析されたレコードをバインドし、変更時にネイティブファイルの内容に差分をレビューする。
これらの結果は、ワークスペース状態を知識処理エージェントの実験変数として識別し、エビデンス、ステージ化された編集、提出されたアーティファクトを明示的な状態遷移として評価するベンチマークをモチベートする。
論文 参考訳（メタデータ） (2026-08-18T17:44:18Z) - VisDocAgentBench: Benchmarking Agents for Visually Rich Document Retrieval [65.89247522243959]
VisDocAgentBenchは、静的検索とエージェント検索を比較したクローズドコーパスベンチマークである。
100の文書から2,375ページ、120のユニークなターゲットクエリが直接、一橋、二橋のエビデンス構造でバランスを取っている。
強力な遅延対話型ビジュアルレトリバーは、直接アイテムで97.50%のRecall@1に達するが、2ブリッジアイテムでは2.50%に達し、関連性がコーパスコンテキストに依存する場合のクエリ-ターゲットマッチングの限界を明らかにする。
論文 参考訳（メタデータ） (2026-08-18T15:23:06Z) - SpecPath: Testing Coding Agents Across Contract-Equivalent Specification Histories [13.437222222971272]
仕様パスの感度は、最終的な意味において等価な要求履歴が同一のエージェントシステムに振る舞いの異なるプログラムを作成させる障害モードである。
本稿では,契約に至るリビジョンパスのみを変更しつつ,リポジトリ,最終契約,検証,エージェントシステム,実行予算を保持する診断評価であるSpecPathを紹介する。
論文 参考訳（メタデータ） (2026-08-10T16:19:00Z) - Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。
本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
論文 参考訳（メタデータ） (2026-07-23T04:34:06Z) - AGORA: An Archive-Grounded Benchmark for Agentic Workplace Document Reasoning [52.23991730630292]
大規模言語モデルは、パラメトリックな知識から答えるのではなく、文書を推論するエージェントとして、ますます多くデプロイされている。
大規模な、散らかった職場ファイルの集合にスパース証拠を配置し、一貫性のない用語、単位、時間規則を調整し、答えを計算する。
私たちは、362の質問と9,664の認証ドキュメントと372Mのトークンの8つのドメインコレクションをペアリングするベンチマークであるAgoraを紹介します。
論文 参考訳（メタデータ） (2026-06-23T12:57:18Z) - Software Delegation Contracts: Measuring Reviewability in AI Coding-Agent Work [0.0]
以前の作業では、タスク、権限、返却された作業パッケージ、受け入れコンテキストを、委譲されたコーディング作業の分析単位として記述するソフトウェア委譲契約を提案したが、その効果は測定しなかった。
本稿では,符号化エージェントの明示的デリゲート契約に関する制御されたパイロット研究について報告する。
論文 参考訳（メタデータ） (2026-06-14T05:53:27Z) - How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。
HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
論文 参考訳（メタデータ） (2026-05-08T09:30:31Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳（メタデータ） (2025-10-13T22:22:28Z) - VulAgent: Hypothesis-Validation based Multi-Agent Vulnerability Detection [55.957275374847484]
VulAgentは仮説検証に基づくマルチエージェント脆弱性検出フレームワークである。
セマンティクスに敏感なマルチビュー検出パイプラインを実装しており、それぞれが特定の分析の観点から一致している。
平均して、VulAgentは全体的な精度を6.6%改善し、脆弱性のある固定されたコードペアの正確な識別率を最大450%向上させ、偽陽性率を約36%削減する。
論文 参考訳（メタデータ） (2025-09-15T02:25:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。