論文の概要: Beyond Surface Metrics: Multi-Condition Requirements in Enterprise Maintenance and AI Coding Benchmarks

• arxiv url: http://arxiv.org/abs/2611.03162v1
• Date: Mon, 02 Nov 2026 14:03:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 12:57:38.046897
• Title: Beyond Surface Metrics: Multi-Condition Requirements in Enterprise Maintenance and AI Coding Benchmarks
• Title（参考訳）: Surface Metricsを超えて - エンタープライズメンテナンスとAIコーディングベンチマークにおけるマルチコンディション要件
• Abstract要約: 我々はSWE-bench Pro、SWE-PolyBench Java、SWE-EVOから2,925のApache Fineract問題と944のタスクを分析した。 本研究では, 条件幅, コーパスレベル共起, ソースグラウンドの方向性要求関係について検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Repository-level AI coding benchmarks measure task success but do not directly capture the conditions required for software maintenance completion. We study multi-condition fulfillment, where a maintenance task must satisfy multiple operational conditions, sometimes with directional dependencies. Using a fixed 18-criterion taxonomy, we analyze 2,925 Apache Fineract issues and 944 tasks from SWE-bench Pro, SWE-PolyBench Java, and SWE-EVO. We examine condition breadth, corpus-level co-occurrence, and source-grounded directional requirement relationships. Among 1,177 benchmark task pairs matched on issue classification, modified-file count, and code churn, the mean fulfillment-set Jaccard distance is 0.8138, and 57.4% have disjoint condition sets. Condition count alone does not explain this contrast: SWE-bench Pro averages 2.47 conditions per task, versus 1.78 for Fineract. Temporal (B4) and numerical (B2) conditions have a phi coefficient of +0.430 in Fineract versus -0.013 in the pooled benchmark corpus. Among temporally tagged tasks, numerical conditions are also specified in 48.85% (254/520) of Fineract cases versus 5.81% (5/86) of benchmark cases. We document 16 directional relationships in Fineract requirements involving time, calculation, and state preservation, and inspect four benchmark cases to illustrate how relevant conditions appear in evaluation assertions. These examples do not quantify benchmark-wide oracle omissions. The results show that similar surface task profiles can mask substantially different fulfillment-condition sets. We recommend reporting condition breadth, co-occurrence, and directional relationships separately. The corpus comparisons are descriptive and may reflect domain differences; they do not establish causality or production failure rates.
• Abstract（参考訳）: リポジトリレベルのAIコーディングベンチマークはタスクの成功を計測するが、ソフトウェアメンテナンスの完了に必要な条件を直接キャプチャするわけではない。 メンテナンスタスクが複数の運用条件を満たす必要のあるマルチコンディションの実現について検討する。 固定18基準の分類法を用いて,SWE-bench Pro,SWE-PolyBench Java,SWE-EVOの2,925のApache Fineract問題と944のタスクを分析した。 本研究では, 条件幅, コーパスレベル共起, ソースグラウンドの方向性要求関係について検討する。 課題分類、修正ファイル数、コードチャーンで一致した1,177のベンチマークタスクペアのうち、平均フルフィルメントセットのジャカード距離は0.8138であり、57.4%は条件セットが不一致である。 SWE-bench Proはタスク当たり平均2.47条件であり、Fineractは1.78条件である。 時間 (B4) と数値 (B2) 条件は、フィネラクトでは +0.430 であり、プールされたベンチマークコーパスでは −0.013 である。 時間的にタグ付けされたタスクの中で、数値条件も48.85% (254/520) の有限ケースと5.81% (5/86) のベンチマークケースで指定されている。 本稿では, 時間, 計算, 状態保存を含む有限条件における16の方向関係を記述し, 評価アサーションに関連条件がどのように現れるかを示す4つのベンチマークケースを検査する。 これらの例は、ベンチマーク全体のオラクルの欠落を定量化しない。 その結果、類似した表面タスクプロファイルは、実行条件がかなり異なることを隠蔽できることがわかった。 我々は、状況の広さ、共起、方向性の関係を別々に報告することを推奨する。 コーパスの比較は記述的であり、ドメインの違いを反映する可能性がある。

関連論文リスト

• TxnQA: Benchmarking Analytical Reasoning and Evidence Grounding over Transaction Event Sequences [8.283156124457799]
  TxnQAは27のタスクファミリ(81-インスタンス)と5-scenario詐欺推論スイートからなる分析QAベンチマークである。 500インスタンス詐欺スイートでは、判定精度は80%を超えているが、共同精度(正確な証拠の帰属を要求する)は少なくとも23%に低下する。 これらの結果は、トランザクションシーケンスQAにおける3つの異なるボトルネックとして、コンプライアンス、セマンティック計算、エビデンス属性を識別する。
  論文  参考訳（メタデータ） (2026-10-19T20:25:47Z)
• Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback [50.42640957891911]
  言語モデルシステムは、類似性を比較することで、繰り返しテスト時の決定を行う。 しかし、類似性はユニークではない:語彙、意味、構造、類似性はNの選択点を取得することができる。 本稿では,現在の意思決定を統括するトレーニングフリーベイズ手法であるAxis Interactive Signalsを紹介する。
  論文  参考訳（メタデータ） (2026-10-13T16:19:49Z)
• TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
  TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。 効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。 コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
  論文  参考訳（メタデータ） (2026-09-27T06:58:39Z)
• xDailyBench: Benchmarking LLMs on Professional Consultation for Real-Life Problems [57.62172039072062]
  xDailyBenchは、個人生活、ホワイトカラーワーク、学習と研究、ドメイン横断アクティビティなど、51のシナリオにまたがる248の慎重にキュレートされたタスクのベンチマークである。 これらのタスクは、ユーザがAIで実際に完了した、あるいは真に達成することを意図した要求に基づいており、明示的な要件と暗黙的な要件の両方をカバーする、きめ細かいバイナリルーブリックで評価される。 最高のモデルではタスクレベルのスコアが75.6%に達し、すべてのモデルは明示的な要件よりも暗黙的にパフォーマンスが悪く、ギャップは9ポイント以下である。
  論文  参考訳（メタデータ） (2026-09-07T17:30:58Z)
• Balance of Benchmarks: Semantic Density Reweighting for Benchmark Multiplicity and Task-Conditioned Evaluation [0.0]
  ベンチマークのバランスはベンチマーク記述を埋め、各ベンチマークに逆密度のセマンティックウェイトを割り当てる。 残留フィールドは同じ幾何学を用いてタスククエリのランク付けを条件付けする。 BoBは最も高い平均プロファイルを獲得し、最寄り、調整されたトップ(k)、半径、クラスタベースのアグリゲーションを著しく上回っている。
  論文  参考訳（メタデータ） (2026-08-30T21:06:29Z)
• Measuring What a Specification Determines: A Formal Semantic-Block Model and an Execution-Judged Benchmark [0.0]
  本研究では,仕様の形式的セマンティックブロックモデルと,仕様品質を評価するための実行基準ベンチマークを導入する。 仕様は、セマンティックブロック、依存関係の関係、ブロック所有ルール、決定ポイント、明示的にオープンな質問からなる構造として表現される。 ベンチマークは実装者のパネルを固定し、必須の非仕様管理アームを含み、決定論的実行ジャッジとして16と実動のOracleインスタンスを使用する。
  論文  参考訳（メタデータ） (2026-08-19T22:17:31Z)
• Accuracy, Stability, and Repeated-Run Reliability of Large Language Models on Deterministic Programming Tasks [0.8699677835130409]
  ランレベルのパスレートは、リトライフリーのカバレッジを最大17.8ポイント上回っている。 本稿では,実行レベルの精度,再試行自由度,確率ごとの変動率を指標とした繰り返し実行評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2026-05-30T23:03:05Z)
• Converted, Not Equivalent: Benchmarking Codebase Conversion via Observational Equivalence [56.25095230687242]
  コーディングエージェントは、しばしば自身のローカル検証ルーチンを過度に信頼し、表面チェックを満たすアーティファクトの成功を宣言する。 この問題は、事前評価が結果駆動である変換において特に深刻である。 ブラインド・コンバージョンは26.7-28.9%に達し、スペック・パスレートは91.1%まで上昇した。 このことは、失敗は限られた予算やバックボーンの強さよりも、契約ミスによる自己検証に起因していることを示唆している。
  論文  参考訳（メタデータ） (2026-05-27T19:57:15Z)
• CLOVER: A Test Case Generation Benchmark with Coverage, Long-Context, and Verification [71.34070740261072]
  本稿では,テストケースの生成と完成におけるモデルの能力を評価するためのベンチマークCLOVERを提案する。 ベンチマークはタスク間でのコード実行のためにコンテナ化されています。
  論文  参考訳（メタデータ） (2025-02-12T21:42:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。