論文の概要: ASPERA: A Simulated Environment to Evaluate Planning for Complex Action Execution

• arxiv url: http://arxiv.org/abs/2507.15501v1
• Date: Mon, 21 Jul 2025 11:07:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 20:51:32.367657
• Title: ASPERA: A Simulated Environment to Evaluate Planning for Complex Action Execution
• Title（参考訳）: ASPERA:複雑な行動実行のための計画評価環境
• Authors: Alexandru Coca, Mark Gaynor, Zhenxing Zhang, Jianpeng Cheng, Bo-Hsiang Tseng, Pete Boothroyd, Héctor Martinez Alonso, Diarmuid Ó Séaghdha, Anders Johannsen,
• Abstract要約: この研究は、複雑なアクション実行が可能なデジタルアシスタントを動かすための大きな言語モデルの可能性を評価する。 補助ライブラリシミュレーションと人間支援LLMデータ生成エンジンを組み合わせたフレームワークであるASPERAを開発した。
• 参考スコア（独自算出の注目度）: 39.136887932576286
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: This work evaluates the potential of large language models (LLMs) to power digital assistants capable of complex action execution. These assistants rely on pre-trained programming knowledge to execute multi-step goals by composing objects and functions defined in assistant libraries into action execution programs. To achieve this, we develop ASPERA, a framework comprising an assistant library simulation and a human-assisted LLM data generation engine. Our engine allows developers to guide LLM generation of high-quality tasks consisting of complex user queries, simulation state and corresponding validation programs, tackling data availability and evaluation robustness challenges. Alongside the framework we release Asper-Bench, an evaluation dataset of 250 challenging tasks generated using ASPERA, which we use to show that program generation grounded in custom assistant libraries is a significant challenge to LLMs compared to dependency-free code generation.
• Abstract（参考訳）: この研究は、複雑なアクション実行が可能なデジタルアシスタントを駆動する大規模言語モデル(LLM)の可能性を評価する。 これらのアシスタントは、アシスタントライブラリで定義されたオブジェクトや関数をアクション実行プログラムに組み込むことで、訓練済みのプログラミング知識に頼っている。 そこで我々は,補助ライブラリシミュレーションと人間支援型LLMデータ生成エンジンを組み合わせたASPERAを開発した。 我々のエンジンは、複雑なユーザクエリ、シミュレーション状態、それに対応するバリデーションプログラム、データの可用性への対処、ロバストネスの課題などからなる高品質なタスクのLCM生成をガイドすることを可能にする。 Asper-Benchは、ASPERAを使用して生成された250の課題からなる評価データセットで、カスタムアシスタントライブラリに基盤を置くプログラム生成が、依存性のないコード生成と比較してLLMにとって重要な課題であることを示すために使用される。

関連論文リスト

• ProjectEval: A Benchmark for Programming Agents Automated Evaluation on Project-Level Code Generation [10.748303323995986]
  ユーザインタラクションをシミュレートしてプロジェクトレベルのコード生成を自動評価する,LLMエージェントのための新しいベンチマークであるProjectEvalを紹介する。 ProjectEvalは、実行のためのユーザインタラクションシミュレーションと、既存の客観的インジケータによるコード類似性によって、生成されたプロジェクトを評価することができる。 システム工学的なプロジェクトコード、プロジェクト全体の理解、総合的な分析能力が、LLMエージェントが実践的なプロジェクトを達成する鍵であることに気付きました。
  論文  参考訳（メタデータ） (2025-03-10T07:47:27Z)
• Assessing LLMs for Front-end Software Architecture Knowledge [0.0]
  大規模言語モデル(LLM)は、ソフトウェア開発タスクの自動化において大きな可能性を証明している。 本研究では,VIPER アーキテクチャ内の構造を理解し,再現し,生成する LLM の機能について検討する。 実験の結果、ChatGPT 4 Turbo 2024-04-09 を用いて、LLM は評価や作成といった高次タスクに優れていたが、アーキテクチャの詳細の正確な検索を必要とする低次タスクでは課題に直面していたことが明らかとなった。
  論文  参考訳（メタデータ） (2025-02-26T19:33:35Z)
• Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。 人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:49:25Z)
• CIBench: Evaluating Your LLMs with a Code Interpreter Plugin [68.95137938214862]
  データサイエンスタスクにコードインタプリタを利用するLLMの能力を総合的に評価する,CIBenchという対話型評価フレームワークを提案する。 評価データセットは,LLM-人的協調手法を用いて構築され,連続的かつ対話的なIPythonセッションを活用することによって,実際のワークフローをシミュレートする。 コードインタプリタの利用において, CIBench 上で 24 個の LLM の能力を解析し, 将来の LLM に対する貴重な洞察を提供するため, 広範囲にわたる実験を行った。
  論文  参考訳（メタデータ） (2024-07-15T07:43:55Z)
• BigCodeBench: Benchmarking Code Generation with Diverse Function Calls and Complex Instructions [72.56339136017759]
  BigCodeBenchは、大規模言語モデル(LLM)に対して、139のライブラリと7つのドメインから1140のきめ細かいタスクに対して、複数の関数呼び出しをツールとして呼び出すためのベンチマークである。 評価の結果,LLMは機能コールを正確に使用するための複雑な指示に従うことができず,スコアは最大60%,人的性能は97%と極めて低いことがわかった。 そこで本研究では,BigCodeBench-Instructという自然言語指向の変種を提案する。
  論文  参考訳（メタデータ） (2024-06-22T15:52:04Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• Robo-Instruct: Simulator-Augmented Instruction Alignment For Finetuning Code LLMs [42.31298987176411]
  プログラム実行中にタスク固有のシミュレーション環境をオンザフライで合成するROBO-INSTRUCTを提案する。 ROBO-INSTRUCT は LLM に支援された後処理の手順を統合し,ロボットプログラムとの整合性を向上する。
  論文  参考訳（メタデータ） (2024-05-30T15:47:54Z)
• TaskBench: Benchmarking Large Language Models for Task Automation [82.2932794189585]
  タスク自動化における大規模言語モデル(LLM)の機能を評価するためのフレームワークであるTaskBenchを紹介する。 具体的には、タスクの分解、ツールの選択、パラメータ予測を評価する。 提案手法は, 自動構築と厳密な人的検証を組み合わせることで, 人的評価との整合性を確保する。
  論文  参考訳（メタデータ） (2023-11-30T18:02:44Z)
• CRAFT: Customizing LLMs by Creating and Retrieving from Specialized Toolsets [75.64181719386497]
  大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。 タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。 本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
  論文  参考訳（メタデータ） (2023-09-29T17:40:26Z)
• Self-collaboration Code Generation via ChatGPT [35.88318116340547]
  大規模言語モデル(LLM)はコード生成能力に優れていますが、複雑なタスクに苦労しています。 本稿では,ChatGPT で実証した LLM を用いたコード生成のための自己協調フレームワークを提案する。 この仮想チームを効果的に組織化し、管理するために、ソフトウェア開発方法論をフレームワークに組み入れます。
  論文  参考訳（メタデータ） (2023-04-15T16:33:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。