論文の概要: TeleSWEBench: A Commit-Driven Benchmark for Evaluating LLM-Powered Software Engineering in Telecommunications
- arxiv url: http://arxiv.org/abs/2606.05001v1
- Date: Wed, 03 Jun 2026 15:19:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-04 20:44:18.854593
- Title: TeleSWEBench: A Commit-Driven Benchmark for Evaluating LLM-Powered Software Engineering in Telecommunications
- Title（参考訳）: TeleSWEBench: 通信におけるLCM駆動ソフトウェアエンジニアリング評価のためのコミット駆動ベンチマーク
- Authors: Pranshav Gajjar, Ali Mamaghani, Dinesh Bharadia, Vijay K Shah,
- Abstract要約: 汎用コーディングベンチマークは、ステートフルなロジックと通信の厳格な要件を捉えていない。
本稿では,テレコム領域におけるエージェントの性能測定に特化して設計された,最初のコミット駆動型ベンチマークであるTeleSWEBenchを紹介する。
- 参考スコア（独自算出の注目度）: 8.423549171787396
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the telecommunications field embracing zero touch management alongside novel O-RAN and AI-RAN frameworks, contemporary telecom networks now function as immensely intricate and heavily softwareized codebases. While automated software engineering (ASE) tools and Software Engineering (SWE) Agents hold the potential to alleviate the critical code generation bottleneck in this domain, their ability to navigate and modify specialized, mathematically rigorous wireless stacks like srsRAN 5G remains unverified. General-purpose coding benchmarks fail to capture the stateful logic and strict requirements of telecommunications, leaving a critical evaluation gap. In this paper, we introduce TeleSWEBench, the first commit-driven benchmark specifically designed to measure an agent's performance in the telecom domain. We mine real developer commits from the srsRAN 5G repository and distill them into structured test cases across three difficulty tiers (Easy, Medium, and Difficult). Our benchmark consists of 734 questions that are accompanied by executable unit tests. To avoid the rigidity of test cases, we further propose a hierarchical LLM as a Judge framework called TeleJudge that scores agent outputs at the file level and aggregates verdicts holistically. This follows an evaluation based on context and semantic similarity in parallel to a standard unit test-based evaluation. Using this benchmark, we evaluate AIDER, OpenHands, and the ClaudeCode frameworks, powered by state-of-the-art reasoning LLMs, including Qwen3, GPT OSS, Gemma 4, Kimi, and Qwencoder 2.5. Our two-stage evaluation reveals that models suffer from a lack of both localization accuracy and functional correctness, with the strongest ASE tools achieving up to 25% of shippable changes.
- Abstract（参考訳）: 通信分野では、新しいO-RANフレームワークやAI-RANフレームワークとともにタッチ管理がゼロになっているため、現代の通信ネットワークは、非常に複雑で高度にソフトウェア化されたコードベースとして機能している。
自動ソフトウェアエンジニアリング(ASE)ツールとソフトウェアエンジニアリング(SWE)エージェントは、この分野における重要なコード生成ボトルネックを軽減する可能性を秘めているが、srsRAN 5Gのような専門的で数学的に厳格な無線スタックをナビゲートし、修正する能力は、まだ検証されていない。
汎用のコーディングベンチマークは、ステートフルなロジックと電気通信の厳格な要件を捉えることができず、重要な評価ギャップを残している。
本稿では,テレコム領域におけるエージェントの性能を測定するために設計された,最初のコミット駆動型ベンチマークであるTeleSWEBenchを紹介する。
srsRAN 5Gリポジトリから実際の開発者コミットを抽出し、3つの困難層(Easy、Medium、Difficult)で構造化されたテストケースに抽出します。
私たちのベンチマークは、実行可能な単体テストを伴う734の質問で構成されています。
テストケースの剛性を回避するため,TeleJudge と呼ばれる判断フレームワークとして階層型 LLM を提案する。
これは、標準的なユニットテストベースの評価と並行して、コンテキストと意味的類似性に基づく評価に従う。
このベンチマークを用いて、AIDER、OpenHands、およびClaudeCodeフレームワークを評価し、Qwen3、GPT OSS、Gemma 4、Kim、Qwencoder 2.5を含む最先端の推論LPMをベースとした。
我々の2段階評価では、モデルがローカライズ精度と機能的正確性の欠如に悩まされており、最も強力なASEツールが最大25%の出荷可能な変更を達成している。
関連論文リスト
- TeleCom-Bench: How Far Are Large Language Models from Industrial Telecommunication Applications? [12.347241408492279]
提案するTeleCom-Benchは,22,678個のキュレートされたサンプルを用いた12の評価セットからなる総合的なベンチマークであり,大規模言語モデルの評価を行う。
現在のLSMは診断技師として機能するが、現場エンジニアとして機能しないことを示す。
この能力ギャップは、現在のLLMが診断医として機能するが、現場エンジニアとして機能しないことを示す。
論文 参考訳（メタデータ） (2026-05-18T08:14:49Z) - SWE-Cycle: Benchmarking Code Agents across the Complete Issue Resolution Cycle [46.833916047516716]
SWE-Cycleは、489の厳格な自動コードエージェントのインスタンスのベンチマークである。
SWE-Judgeは静的コードレビューと動的テストを組み合わせて機能的正当性を正確に検証する。
その結果、分離されたタスクからFullCycle実行に移行する際の解決率の急落が明らかになった。
論文 参考訳（メタデータ） (2026-05-13T08:05:16Z) - TeleEmbedBench: A Multi-Corpus Embedding Benchmark for RAG in Telecommunications [2.2508462342902633]
大規模言語モデル(LLM)は、重要なタスクのために電気通信領域にますます多くデプロイされている。
TeleEmbedBenchは,通信専用に設計された,最初の大規模マルチコーパス埋め込みベンチマークである。
論文 参考訳（メタデータ） (2026-04-20T04:00:13Z) - ArkEval: Benchmarking and Evaluating Automated CodeRepair for ArkTS [12.977178538993806]
HarmonyOSエコシステムは、TypeScriptの静的型付け拡張であるArkTSに大きく依存している。
その重要性は増しているが、自動化されたコード修復のための堅牢なツールが欠如している。
本稿では,ArkTSの自動修復ワークフロー評価とベンチマーク構築のための統合フレームワークであるArkEvalを紹介する。
論文 参考訳（メタデータ） (2026-02-09T16:28:29Z) - Can Large Language Models Detect Real-World Android Software Compliance Violations? [3.7278558081099544]
現在のモデルは、さまざまな法律フレームワークにわたるAndroidアプリケーションのコンプライアンス違反を検出するのに苦労している。
コンプライアンス違反を検知するLLMの能力を評価するための新しい評価フレームワークであるemphCompliBenchを提案する。
GPT-4OやClaude-3.5を含む6つのモデルによる実験では、emphCompliBenchはコンプライアンス検出を改善している。
論文 参考訳（メタデータ） (2025-11-01T16:58:33Z) - Rethinking Testing for LLM Applications: Characteristics, Challenges, and a Lightweight Interaction Protocol [83.83217247686402]
大言語モデル(LLM)は、単純なテキストジェネレータから、検索強化、ツール呼び出し、マルチターンインタラクションを統合する複雑なソフトウェアシステムへと進化してきた。
その固有の非決定主義、ダイナミズム、文脈依存は品質保証に根本的な課題をもたらす。
本稿では,LLMアプリケーションを3層アーキテクチャに分解する: textbftextitSystem Shell Layer, textbftextitPrompt Orchestration Layer, textbftextitLLM Inference Core。
論文 参考訳（メタデータ） (2025-08-28T13:00:28Z) - ThinkGeo: Evaluating Tool-Augmented Agents for Remote Sensing Tasks [64.86209459039313]
ThinkGeoは、構造化ツールの使用とマルチステップ計画を通じて、リモートセンシングタスクにおけるツール拡張エージェントを評価するために設計されたエージェントベンチマークである。
我々はReActスタイルの対話ループを実装し,486 個の構造化エージェントタスク上でのオープンソース LLM とクローズドソース LLM の両方を1,773 個の専門家が検証した推論ステップで評価する。
分析の結果、ツールの精度とモデル間の計画整合性に顕著な相違が明らかになった。
論文 参考訳（メタデータ） (2025-05-29T17:59:38Z) - SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。
提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。
我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
論文 参考訳（メタデータ） (2025-03-11T17:53:02Z) - SeCodePLT: A Unified Platform for Evaluating the Security of Code GenAI [58.29510889419971]
コード生成大型言語モデル(LLM)のセキュリティリスクと能力を評価するための既存のベンチマークは、いくつかの重要な制限に直面している。
手動で検証し、高品質なシード例から始める、汎用的でスケーラブルなベンチマーク構築フレームワークを導入し、ターゲット突然変異を通じて拡張する。
このフレームワークをPython、C/C++、Javaに適用すると、44のCWEベースのリスクカテゴリと3つのセキュリティ機能にまたがる5.9k以上のサンプルデータセットであるSeCodePLTが構築されます。
論文 参考訳（メタデータ） (2024-10-14T21:17:22Z) - MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。
本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。
メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
論文 参考訳（メタデータ） (2024-06-20T03:50:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。