論文の概要: OSVBench: Benchmarking LLMs on Specification Generation Tasks for Operating System Verification

• arxiv url: http://arxiv.org/abs/2504.20964v1
• Date: Tue, 29 Apr 2025 17:34:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:55.017624
• Title: OSVBench: Benchmarking LLMs on Specification Generation Tasks for Operating System Verification
• Title（参考訳）: OSVBench: オペレーティングシステム検証のための仕様生成タスク上でのLLMのベンチマーク
• Authors: Shangyu Li, Juyong Jiang, Tiancheng Zhao, Jiasi Shen,
• Abstract要約: 我々は、大規模言語モデル(LLM)を評価するための新しいベンチマークであるOSVBenchを紹介する。 ベンチマークはまず、仕様生成問題をプログラム合成問題に定義する。 OSVBenchは245の複雑な仕様生成タスクで構成され、それぞれが約20k-30kの長いコンテキストタスクである。
• 参考スコア（独自算出の注目度）: 10.2786372205397
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce OSVBench, a new benchmark for evaluating Large Language Models (LLMs) in generating complete specification code pertaining to operating system kernel verification tasks. The benchmark first defines the specification generation problem into a program synthesis problem within a confined scope of syntax and semantics by providing LLMs with the programming model. The LLMs are required to understand the provided verification assumption and the potential syntax and semantics space to search for, then generate the complete specification for the potentially buggy operating system code implementation under the guidance of the high-level functional description of the operating system. This benchmark is built upon a real-world operating system kernel, Hyperkernel, and consists of 245 complex specification generation tasks in total, each is a long context task of about 20k-30k tokens. Our comprehensive evaluation of 12 LLMs exhibits the limited performance of the current LLMs on the specification generation tasks for operating system verification. Significant disparities in their performance on the benchmark highlight differences in their ability to handle long-context code generation tasks. The evaluation toolkit and benchmark are available at https://github.com/lishangyu-hkust/OSVBench.
• Abstract（参考訳）: 我々はOSVBenchを紹介した。OSVBenchは、オペレーティングシステムのカーネル検証タスクに関連する完全な仕様コードを生成するために、LLM(Large Language Models)を評価するための新しいベンチマークである。 ベンチマークはまず、LLMにプログラミングモデルを提供することにより、構文と意味論の限られた範囲内で、仕様生成問題をプログラム合成問題に定義する。 LLMは、提案された検証前提と、検索する潜在的な構文と意味論空間を理解し、オペレーティングシステムの高レベルの機能記述のガイダンスに基づいて、潜在的にバグの多いオペレーティングシステムコード実装の完全な仕様を生成する必要がある。 このベンチマークは現実世界のオペレーティングシステムカーネルであるHyperkernel上に構築されており、合計245の複雑な仕様生成タスクで構成されており、それぞれが約20k-30kトークンの長いコンテキストタスクである。 12個のLLMの包括的評価は,OS検証のための仕様生成タスクにおいて,現在のLLMの限られた性能を示す。 ベンチマークにおけるパフォーマンスの重大な違いは、長いコンテキストのコード生成タスクを処理する能力の違いを強調している。 評価ツールキットとベンチマークはhttps://github.com/lishangyu-hkust/OSVBench.comで公開されている。

関連論文リスト

• HLS-Eval: A Benchmark and Framework for Evaluating LLMs on High-Level Synthesis Design Tasks [4.71707720395444]
  HLS-Evalは、HLS駆動設計のための最初の完全なベンチマークおよび評価フレームワークである。 ベンチマークには、標準のHLSベンチマークと新しいソースから描かれた94のユニークな設計が含まれている。 ベンチマーク以外にも、HLS-Evalは、ローカルおよびホストされたLLMの自動化、並列評価のためのモジュール型のPythonフレームワークを提供している。
  論文  参考訳（メタデータ） (2025-04-16T17:30:36Z)
• VLABench: A Large-Scale Benchmark for Language-Conditioned Robotics Manipulation with Long-Horizon Reasoning Tasks [100.3234156027118]
  本稿では、ユニバーサルLCMタスク学習を評価するためのオープンソースのベンチマークであるVLABenchを紹介する。 VLABenchは、タスクのカテゴリごとに強いランダム化と合計2000以上のオブジェクトを備えた、慎重に設計された100のタスクカテゴリを提供する。 このベンチマークは、メッシュとテクスチャ、空間関係、意味的命令、物理法則、知識伝達、推論の理解を含む複数の能力を評価する。
  論文  参考訳（メタデータ） (2024-12-24T06:03:42Z)
• Benchmarking Agentic Workflow Generation [80.74757493266057]
  複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorfBenchを紹介する。 また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorfEvalを提案する。 我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することを観察する。
  論文  参考訳（メタデータ） (2024-10-10T12:41:19Z)
• TaskEval: Assessing Difficulty of Code Generation Tasks for Large Language Models [12.143152327874802]
  LLM(Large Language Models)はコード生成のようなコード関連のタスクに優れていますが、ベンチマーク評価は困難などのタスク特性を見落とします。 本稿では,多種多様なプロンプトと項目応答理論(IRT)を用いてLCMの能力とベンチマークタスク特性を効率的に評価するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-30T22:31:19Z)
• DOCBENCH: A Benchmark for Evaluating LLM-based Document Reading Systems [99.17123445211115]
  本稿では,大規模言語モデル(LLM)に基づく文書読解システムを評価するベンチマークであるDocBenchを紹介する。 我々のベンチマークには、人間のアノテーションの募集と、合成質問の生成が含まれる。 実際の文書は229件、質問は1,102件で、5つのドメインにまたがって4種類の質問がある。
  論文  参考訳（メタデータ） (2024-07-15T13:17:42Z)
• LongIns: A Challenging Long-context Instruction-based Exam for LLMs [44.51209510772957]
  大規模言語モデル(LLM)の長いコンテキスト能力は近年ホットな話題となっている。 本稿ではLongInsベンチマークデータセットを提案する。
  論文  参考訳（メタデータ） (2024-06-25T14:31:26Z)
• InfiBench: Evaluating the Question-Answering Capabilities of Code Large Language Models [56.723509505549536]
  InfiBenchは、私たちの知識に合ったコードのための、最初の大規模フリーフォーム質問回答(QA)ベンチマークです。 慎重に選択された234の高品質なStack Overflow質問で構成されており、15のプログラミング言語にまたがっている。 InfiBench上で100以上の最新のコードLLMに対して,系統的評価を行い,新しい知見と洞察に富んだ結果を得た。
  論文  参考訳（メタデータ） (2024-03-11T02:06:30Z)
• SEED-Bench-2: Benchmarking Multimodal Large Language Models [67.28089415198338]
  MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。 SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。 我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
  論文  参考訳（メタデータ） (2023-11-28T05:53:55Z)
• ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
  ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。 LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
  論文  参考訳（メタデータ） (2023-11-16T12:03:21Z)
• Benchmarking Generation and Evaluation Capabilities of Large Language Models for Instruction Controllable Summarization [132.25202059478065]
  命令制御可能なテキスト要約の大規模言語モデル(LLM)をベンチマークする。 本研究は,LLMにおいて,命令制御可能なテキスト要約が依然として困難な課題であることを示す。
  論文  参考訳（メタデータ） (2023-11-15T18:25:26Z)
• CodeScope: An Execution-based Multilingual Multitask Multidimensional Benchmark for Evaluating LLMs on Code Understanding and Generation [18.354576598908448]
  LLM(Large Language Models)は、人間のプログラミング支援に優れた性能を発揮している。 LLMのコード理解と生成能力を評価するための既存のベンチマークは、厳しい制限に悩まされている。 実行ベース,多言語,マルチタスク,多次元評価ベンチマークであるCodeScopeを紹介する。
  論文  参考訳（メタデータ） (2023-11-14T23:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。