論文の概要: OpenHarmony Bench: Evaluating LLMs and Coding Agents on OpenHarmony App Development
- arxiv url: http://arxiv.org/abs/2608.16022v1
- Date: Mon, 17 Aug 2026 02:27:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.505465
- Title: OpenHarmony Bench: Evaluating LLMs and Coding Agents on OpenHarmony App Development
- Title（参考訳）: OpenHarmony Bench: OpenHarmonyアプリケーション開発におけるLLMとコーディングエージェントの評価
- Abstract要約: OPENHARMONY BENCHは、OpenHarmony ArkTSアプリケーション上でLLMベースのコーディングエージェントを評価するためのアプリケーションレベルのコーディングベンチマークである。
ベンチマークは、デバイスに配信されたアプリケーションをインストールして、動作が観測可能であるかどうかをチェックする。
スナップショットには32の新機能タスク、Fポイント139の仕様駆動タスク、71のバグフィックスタスクが含まれている。
- 参考スコア（独自算出の注目度）: 32.88521369254793
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present OPENHARMONY BENCH, an app-level coding benchmark for evaluating LLM-based coding agents on OpenHarmony ArkTS applications. Unlike function-level benchmarks, it evaluates complete app-level changes: each task requires an agent to modify a buildable ArkTS project so that a requested behavior works end to end, involving UI state, data persistence, build configuration, and platform APIs. The benchmark installs and drives the delivered application on a device to check whether the behavior is observable. It covers three input sources: natural-language feature requests (new-feature), structured scenario specifications (spec-driven), and bug descriptions (bug-fix). The benchmark contains 153 top-level tasks and 242 Feature points (F-points), where an F-point is one executable behavior check. The snapshot includes 32 new-feature tasks, 50 spec-driven tasks with 139 F-points, and 71 bug-fix tasks. The main leaderboard is scored over top-level tasks rather than independently weighted F-points. We describe the benchmark construction, statistics, and build-and-test evaluation pipeline, and evaluate DevEco Code with eight LLMs across three independent full-suite runs per configuration. Three findings emerge. First, newer generations complete more tasks than their predecessors within evaluated model-family pairs. Second, buildability is close to saturated while behavioral correctness is not: mean Final Build Success Rate is 94.77% to 100.00%, whereas mean Task Completion is 48.36% to 58.39%. Third, spec-driven tasks have the lowest Task Completion under all-checks task scoring, with no configuration exceeding 35%. The code, data, tasks, reference solutions, tests, evaluation scripts, and leaderboard are released through the official OPENHARMONY BENCH website at https://bench.matrix.openharmony.cn/.
- Abstract（参考訳）: OPENHARMONY BENCHは、OpenHarmony ArkTSアプリケーション上でLLMベースのコーディングエージェントを評価するためのアプリケーションレベルのコーディングベンチマークである。
各タスクは、UI状態、データ永続性、ビルド構成、プラットフォームAPIを含む、要求された振る舞いがエンドツーエンドで動作するように、ビルド可能なArkTSプロジェクトを変更するエージェントを必要とします。
ベンチマークは、デバイスに配信されたアプリケーションをインストールして、動作が観測可能であるかどうかをチェックする。
自然言語機能要求(新機能)、構造化シナリオ仕様(仕様駆動)、バグ記述(バグフィックス)の3つの入力ソースをカバーしている。
ベンチマークには153のトップレベルタスクと242のフィーチャーポイント(Fポイント)が含まれており、Fポイントは1つの実行可能な振る舞いチェックである。
スナップショットには32の新機能タスク、50の仕様駆動タスク、139のFポイント、71のバグフィックスタスクが含まれている。
メインのリーダーボードは、独立して重み付けされたFポイントではなく、トップレベルのタスクで得点される。
ベンチマークの構成、統計、ビルド・アンド・テストの評価パイプラインを説明し、DevEco Codeを3つの独立したフルスイート実行に対して8つのLLMで評価する。
3つの発見がある。
まず、新しい世代は、評価されたモデルファミリーペア内の前世代よりも多くのタスクを完了します。
最終ビルド成功率は94.77%から100.00%、タスク完了率は48.36%から58.39%である。
第3に、仕様駆動タスクは、全チェックタスクスコアで最低のタスク補完を持ち、構成が35%を超えない。
コード、データ、タスク、参照ソリューション、テスト、評価スクリプト、およびリーダーボードはOPENHARMONY BENCHの公式サイトからhttps://bench.matrix.openharmony.cn/で公開されている。
関連論文リスト
- UI-Mate: Advancing Open-Weight Foundation GUI Agents with In-Context Demonstrations [68.29650478987561]
UI-Mateは、環境に根ざしたトレーニングスタックとコンテキスト内の実演学習を統合する基盤GUIエージェントである。
OSWorldでは77.0%、WindowsAgentArenaでは66.2%と評価された。
論文 参考訳（メタデータ） (2026-08-16T20:59:59Z) - RuBench: A Repository-Level Agentic Coding Benchmark with Natively Authored Russian Task Specifications [0.0]
RuBench 1.0は、5つのライブオープンソースリポジトリの最近の修正コミットから抽出された25のタスクのベンチマークである。
各タスクはロシア語で指定され、スクラッチから実際の顧客要求のスタイルで書かれ、翻訳されない。
25の修正コミットはすべて、評価されたモデル毎のトレーニングデータのカットオフを延期する。
論文 参考訳（メタデータ） (2026-07-07T15:41:22Z) - Asuka-Bench: Benchmarking Code Agents on Underspecified User Intent and Multi-Round Refinement [45.813104201414326]
マルチラウンドリファインメントと不特定ユーザ意図を組み合わせたベンチマークであるAuka-Benchを提示する。
ベンチマークは、Webタスク50、評価基準784、予測結果2402からなる。
最強のモデルでさえ、3ラウンドの後にプロジェクトの52%しか完了していない。
論文 参考訳（メタデータ） (2026-06-04T09:24:30Z) - Breaking, Stale, or Missing? Benchmarking Coding Agents on Project-Level Test Evolution [20.606877071567958]
テスト進化のための最初のプロジェクトレベルのベンチマークであるTEBenchを紹介します。
TEBenchをDefects4Jプロジェクト上で4段階のパイプラインで構築する。
3つの産業エージェントフレームワークにまたがる7つの構成を評価する。
論文 参考訳（メタデータ） (2026-05-07T12:31:09Z) - ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。
現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。
最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
論文 参考訳（メタデータ） (2026-04-26T16:05:02Z) - RAL-Bench: Benchmarking for Application-Level Functional Correctness and Non-Functional Quality Attributes [12.202503919149118]
RAL-Benchはアプリケーションレベルのコード生成のためのベンチマークおよび評価フレームワークである。
各タスクに対して,高品質な参照プロジェクトから簡潔な自然言語要求を抽出する。
Black-boxシステムテストは機能的および非機能的属性をカバーし、参照リポジトリに渡すテストのみを保持する。
論文 参考訳（メタデータ） (2026-02-03T12:35:09Z) - ProjDevBench: Benchmarking AI Coding Agents on End-to-End Project Development [49.63491095660809]
ProjDevBenchはエンドツーエンドのベンチマークで、コーディングエージェントにプロジェクト要件を提供し、その結果のリポジトリを評価する。
概念指向タスクと実世界のアプリケーションシナリオの両方をカバーし、8つのカテゴリにまたがる20のプログラミング問題をキュレートします。
エージェントは基本的な機能を扱うが、複雑なシステム設計、時間最適化、リソース管理に苦労する。
論文 参考訳（メタデータ） (2026-02-02T05:17:23Z) - Where LLM Agents Fail and How They can Learn From Failures [62.196870049524364]
大規模言語モデル(LLM)エージェントは、複雑なマルチステップタスクの解決において有望であることを示す。
単一ルート原因エラーがその後の決定を通じて伝播する、障害のカスケードに対する脆弱性を増幅する。
現在のシステムは、モジュール的で体系的な方法でエージェントエラーを包括的に理解できるフレームワークを欠いている。
AgentErrorTaxonomyは、メモリ、リフレクション、計画、アクション、システムレベルの操作にまたがる障害モードのモジュール分類である。
論文 参考訳（メタデータ） (2025-09-29T18:20:27Z) - Visual Document Understanding and Question Answering: A Multi-Agent Collaboration Framework with Test-Time Scaling [83.78874399606379]
テスト時間スケーリングを備えたマルチエージェント協調フレームワークであるMACTを提案する。
4つの異なる小規模エージェントから構成され、明確に定義された役割と効果的なコラボレーションがある。
一般および数学的タスクの能力を犠牲にすることなく、より小さなパラメータスケールで優れた性能を示す。
論文 参考訳（メタデータ） (2025-08-05T12:52:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。