論文の概要: SCCGBench: Executability-Oriented Evaluation for Real-World Web Service-Call Code Generation

• arxiv url: http://arxiv.org/abs/2610.12920v1
• Date: Fri, 09 Oct 2026 03:10:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.368599
• Title: SCCGBench: Executability-Oriented Evaluation for Real-World Web Service-Call Code Generation
• Title（参考訳）: SCCGBench: 実世界のWebサービスコールコード生成のための実行可能性指向評価
• Abstract要約: Service-Call Code Generation Benchmark (SCCGBench)は、実際のGitHubリポジトリから3,135のトレース可能および非汚染のRapidAPIコール関数のベンチマークである。 目的のみ, 検索拡張, ゴールド文書化 Oracle 設定下で, 6つのコード LLM と1つの非神経検索ベースラインを評価した。
• 参考スコア（独自算出の注目度）: 19.54893647681029
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM-generated service-call code is increasingly important for service computing, where developers rely on large language models (LLMs) to compose services and invoke third-party services. However, current approaches have not yet evaluated the invocation and execution of services in the actual code environment. To support execution-grounded evaluation, we present the Service-Call Code Generation Benchmark (SCCGBench), a benchmark of 3,135 traceable and decontamination-filtered RapidAPI call functions from real GitHub repositories. SCCGBench uses redacted-intent generation to reduce circular leakage and introduces Mock, Robust, ParamF1, and host-, endpoint-, method-, and parameter-level diagnostics. Mock denotes a virtual-execution hit that simultaneously matches the gold host, endpoint, and HTTP method, while Robust further requires status checking and exception handling. We evaluate six code LLMs and one non-neural retrieval baseline under intent-only, retrieval-augmented, and gold-documentation Oracle settings. Results show that models often generate syntactically correct or superficially similar HTTP-request code but achieve low Mock success in the intent-only setting; the strongest evaluated model obtains only 3.76% Mock. Under the gold-documentation Oracle settings (C3 and C5), Mock reaches 88.73%--90.52% for the open-source models evaluated in RQ2 and 76.47%--81.86% for DeepSeek-V4-Pro, whereas sparse and dense retrieval remain far below this oracle level. The findings indicate that service/API grounding is the main bottleneck: Mock is dominated by host, endpoint, and method alignment, while ParamF1 separately reveals parameter-alignment errors. SCCGBench provides an execution-grounded benchmark for Web service invocation, API recommendation, service-interface retrieval, endpoint grounding, and reliable service-call automation.
• Abstract（参考訳）: LLM生成のサービスコールコードは、大規模言語モデル(LLM)に依存してサービスを作成し、サードパーティサービスを呼び出すサービスコンピューティングにおいてますます重要になっている。 しかし、現在のアプローチはまだ実際のコード環境におけるサービスの呼び出しと実行を評価していません。 実GitHubリポジトリからの3,135のトレース可能および非汚染フィルタAPIコール関数のベンチマークである、サービスコールコード生成ベンチマーク(SCCGBench)を提示する。 SCCGBenchは、円形リークを低減するために、再実行インテント生成を使用し、Mock、Robust、ParamF1、ホスト、エンドポイント、メソッド、パラメータレベルの診断を導入している。 Mockは、金のホスト、エンドポイント、HTTPメソッドと同時に一致する仮想実行ヒットを意味し、Robustはさらにステータスチェックと例外処理を必要とする。 目的のみ, 検索拡張, ゴールド文書化 Oracle 設定下で, 6つのコード LLM と1つの非神経検索ベースラインを評価した。 その結果、モデルはしばしば構文的に正しいか、あるいは表面的には類似したHTTP要求コードを生成するが、意図のみの設定でMockの成功率が低いことを示し、最も評価の高いモデルは3.76%のMockしか得られない。 ゴールドドキュメントのOracle設定(C3とC5)では、MockはRQ2で評価されたオープンソースモデルでは88.73%--90.52%、DeepSeek-V4-Proでは76.47%--81.86%に達している。 モックはホスト、エンドポイント、メソッドアライメントに支配されており、ParamF1はパラメータアライメントエラーを別々に明らかにしている。 SCCGBenchは、Webサービス呼び出し、APIレコメンデーション、サービスインターフェース検索、エンドポイントグラウンド、信頼性の高いサービス呼び出し自動化のための実行基盤ベンチマークを提供する。

関連論文リスト

• Measuring the Serving Stack Instead of the Model: Hidden Confounds in Local Tool-Use Evaluation [0.49109372384514843]
  測定結果は, モデル行動のみでなく, サービス層に依存していることを示す。 評価プロトコルの一部としてサービス提供行動を扱うためのチェックリストで締めくくった。
  論文  参考訳（メタデータ） (2026-09-22T16:48:17Z)
• RepoReasoner: Evaluating Repository-Level Code Reasoning Ability of Long-Context Language Models [54.53236295237077]
  リポジトリレベルのコード推論を評価するベンチマークであるRepoReasonerを紹介します。 出力予測は、ファイル間でのきめ細かいステートフルな実行推論を計測します。 Call Chain Predictionは、ノイズの多いコンテキスト下での高レベルのアーキテクチャ依存性の理解を評価する。
  論文  参考訳（メタデータ） (2026-07-28T17:12:41Z)
• BackendForge: Benchmarking Agentic End-to-End Code Generation with Backend Services [14.181280860081495]
  BackendForgeは56のコントラクト定義のバックエンド生成タスクのベンチマークである。 隠れた要件を導入することなく評価を強化するために、BackendForgeはテストエージェントとコードエージェントを使用して、テストオラクルと参照サービスを共同開発する。 最も優れたモデルであるGPT-5.5は、基本オラクルの下で55.4%のタスクで成功するが、最終オラクルの下では28.6%しか成功しない。
  論文  参考訳（メタデータ） (2026-07-13T03:13:21Z)
• MEME: Multi-entity & Evolving Memory Evaluation [76.57263966646404]
  MEMEは、マルチエンタリティと進化する軸によって定義される全空間にまたがる6つのタスクを定義している。 3つの記憶パラダイムにまたがる6つの記憶システムの評価。 デフォルト設定の下では、すべてのシステムが依存性の推論で崩壊しているのが分かります。
  論文  参考訳（メタデータ） (2026-05-12T17:55:10Z)
• WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation [88.10947115397971]
  この研究でWildClawBenchは、6つのテーマのカテゴリにまたがる60の人間によるバイリンガルなマルチモーダルタスクのネイティブランタイムベンチマークである。 各タスクは、約8分間のウォールクロック時間と20以上のツールコールで実行されます。 グラディングはハイブリッドであり、決定論的ルールベースのチェック、副作用の環境状態監査、意味的検証のためのLLM/VLM判定を組み合わせている。
  論文  参考訳（メタデータ） (2026-05-11T17:49:43Z)
• SPARC: Scenario Planning and Reasoning for Automated C Unit Test Generation [1.0010193170880752]
  本稿では,高レベルのプログラム意図とポインタ演算と手動メモリ管理の厳密な構文制約とのギャップを埋める,ニューロシンボリックなシナリオベースのフレームワークを提案する。 我々は、59の現実世界およびアルゴリズムの被験者で評価し、バニラプロンプト生成ベースラインを31.36%、分岐カバレッジ26.01%、突然変異スコア20.78%で上回り、シンボリック実行ツールKLEEに適合または超えている。
  論文  参考訳（メタデータ） (2026-02-18T18:09:03Z)
• RepoGenesis: Benchmarking End-to-End Microservice Generation from Readme to Repository [52.98970048197381]
  RepoGenesisは、リポジトリレベルのエンドツーエンドWebマイクロサービス生成のための、最初の多言語ベンチマークである。 18のドメインと11のフレームワークに106のリポジトリ(60のPython、46のJava)があり、1,258のAPIエンドポイントと2,335のテストケースが検証されている。 その結果、高いAC(最大73.91%)とDSR(最大100%)にもかかわらず、最高のパフォーマンスのシステムはPythonで23.67%のPass@1、Javaで21.45%しか達成していないことが明らかになった。
  論文  参考訳（メタデータ） (2026-01-20T13:19:20Z)
• Retrieval-Augmented Generation for Service Discovery: Chunking Strategies and Benchmarking [0.6749750044497732]
  本稿では, 終端検出における検索拡張生成の利用状況と, 実際のOpenAPIのチャンキング状況を分析し, 入力オッケン長を削減した。 合成のプロンプトの入力トークン長をさらに短縮し、エンドポイント検索を改善するために、(ii)最も関連性の高いエンドポイントの要約のみを受信するディスカバリエージェントを提案し、要求に応じて仕様の詳細を検索する。
  論文  参考訳（メタデータ） (2025-05-25T20:49:39Z)
• SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
  SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。 提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。 我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
  論文  参考訳（メタデータ） (2025-03-11T17:53:02Z)
• Long Code Arena: a Set of Benchmarks for Long-Context Code Models [75.70507534322336]
  Long Code Arenaは、プロジェクト全体のコンテキストを必要とするコード処理タスクのための6つのベンチマークスイートである。 これらのタスクは、ライブラリベースのコード生成、CIビルドの修復、プロジェクトレベルのコード補完、コミットメッセージ生成、バグローカライゼーション、モジュールの要約といった、コード処理のさまざまな側面をカバーする。 各タスクに対して、テスト用の手作業によるデータセット、評価スイート、オープンソースのベースラインソリューションを提供しています。
  論文  参考訳（メタデータ） (2024-06-17T14:58:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。