Fugu-MT 論文翻訳(概要): PhysAI-Bench: A Benchmark for LLM-Based Agentic Decision-Making in Autonomous UAV-Centric Physical AI

論文の概要: PhysAI-Bench: A Benchmark for LLM-Based Agentic Decision-Making in Autonomous UAV-Centric Physical AI

arxiv url: http://arxiv.org/abs/2609.23695v1
Date: Sun, 20 Sep 2026 15:14:45 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-23 18:04:03.941654
Title: PhysAI-Bench: A Benchmark for LLM-Based Agentic Decision-Making in Autonomous UAV-Centric Physical AI
Title（参考訳）: PhysAI-Bench:自律型UAV中心物理AIにおけるLDMに基づくエージェント決定のベンチマーク
Abstract要約: 既存のベンチマークでは、物理的な知覚、直感的な物理、具体的ナビゲーション、協調推論が評価されている。この能力を評価するためのベンチマークである textitPhysAI-Bench を紹介する。自動UAVミッションの会話トレースから自動的に抽出される10,178の標準化された決定インスタンスを含んでいる。
参考スコア（独自算出の注目度）: 3.4551677376685017
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent advances in Physical AI have accelerated the use of foundation models in autonomous systems such as unmanned aerial vehicles (UAVs), which must perceive, reason, plan, and act in dynamic environments. Existing benchmarks assess physical perception, intuitive physics, embodied navigation, and collaborative reasoning, but rarely evaluate the agentic decision-making required for reliable autonomy. We introduce \textit{PhysAI-Bench}, a benchmark for evaluating this capability. It contains 10,178 standardized decision instances automatically extracted from conversational traces of autonomous UAV missions. Each instance preserves mission context, temporal dependencies, physical constraints, Model Context Protocol (MCP) tool calls, Agent-to-Agent (A2A) interactions, sensor observations, and AI-native 6G network conditions, including latency, packet loss, throughput, edge load, and network slicing. We expose only information preceding each decision, preventing future-event leakage and approximating online decision-making. We evaluate 29 foundation models using a two-stage protocol. We select model-specific configurations from 12 combinations of zero-, three-, and five-shot prompting and four temperatures, tested in three runs on a 35-instance, human-verified development set. We then freeze each selected configuration and evaluate it in three runs on a fixed, episode-disjoint set of 500 instances. GPT-5.3 achieves the highest accuracy (52.00%), followed by GPT-5.2 (49.40%) and Grok~4.5 (49.07%). Few-shot prompting generally improves performance, while temperature has limited influence. The results demonstrate that reliable agentic decision-making in Physical AI remains an open challenge. The dataset is available at https://github.com/maferrag/physai-bench
Abstract（参考訳）: 物理AIの最近の進歩は、無人航空機(UAV)のような自律システムにおける基礎モデルの使用を加速し、動的環境において知覚、理性、計画、行動を必要とする。既存のベンチマークでは、物理的な知覚、直感的な物理、具体的ナビゲーション、協調推論が評価されているが、信頼性の高い自律性に必要なエージェント的意思決定はめったに評価されていない。この能力を評価するためのベンチマークである \textit{PhysAI-Bench} を紹介する。自動UAVミッションの会話トレースから自動的に抽出される10,178の標準化された決定インスタンスを含んでいる。各インスタンスは、ミッションコンテキスト、時間的依存関係、物理的制約、モデルコンテキストプロトコル(MCP)ツールコール、エージェント対エージェント(A2A)インタラクション、センサー観測、レイテンシ、パケットロス、スループット、エッジロード、ネットワークスライシングを含むAIネイティブな6Gネットワーク条件を保存する。各決定に先行する情報のみを公開し、将来的なリークを防止し、オンライン意思決定を近似する。 2段階プロトコルを用いて29の基礎モデルを評価する。モデル固有の構成を,0,3,5ショットのプロンプトと4つの温度の組み合わせから選択する。次に、選択した構成を凍結し、500インスタンスの固定されたエピソード分離セット上で3回の実行で評価します。 GPT-5.3が52.00%、GPT-5.2が49.40%、Grok~4.5が49.07%である。ほとんどショットプロンプトは一般的に性能を向上するが、温度は影響を限定している。その結果、物理AIにおける信頼できるエージェント的意思決定は、依然としてオープンな課題であることが示された。データセットはhttps://github.com/maferrag/physai-benchで公開されている。

関連論文リスト

Apodex Discovery: Reality Benchmarks and Environments for Evaluating and Building Discoverative Artificial Intelligence [86.61561123749011]
Apodex Discovery(アポデックスディスカバリー)は、重度解法を用いて発見的AIを構築し評価するためのフレームワークである。まず16のセクターで511の業界を調査し、423の高価値現実問題を集め、最初のリリースで20を選定した。第二に、共通の環境-タスク-エピソード抽象化は、データ、ツール、制約、フィードバック、軌跡記録、中間成果物と最終提出物の検証を提供する。
論文参考訳（メタデータ） (2026-08-11T18:48:40Z)
Embodied-R1.5: Evolving Physical Intelligence via Embodied Foundation Models [63.96252564303143]
Embodied-R1.5は統合されたEmbodied Foundation Model(EFM)であり、包括的エンボディド推論機能を統合する。我々は15B以上のトークンからなる大規模データシステムを構築し、マルチタスクバランスのRLレシピを設計する。 8Bパラメータしか持たず、Embodied-R1.5 SOTAは24のVLMベンチマークのうち16で、Gemini-Robotics-ER-1.5やGPT-5.4といった主要なモデルを上回った。
論文参考訳（メタデータ） (2026-06-09T18:07:50Z)
ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
論文参考訳（メタデータ） (2026-04-05T17:55:23Z)
AutoMOOSE: An Agentic AI for Autonomous Phase-Field Simulation [0.0]
AutoMOOSEは、ひとつの自然言語プロンプトから完全なシミュレーションライフサイクルを編成するエージェントフレームワークである。 MOOSEの入力ファイルは、人間の専門家参照と正確に一致する12のブロックのうち6つで、機能的に等価である。インテント、有限要素実行、そして人間による検証のないアレニウス運動論にまたがる、エンドツーエンドの物理的整合性チェックを実行する。
論文参考訳（メタデータ） (2026-03-22T00:11:19Z)
Behavioral Steering in a 35B MoE Language Model via SAE-Decoded Probe Vectors: One Agency Axis, Not Five Traits [0.0]
我々はQwen 3.5-35B-A3Bの残流上に9個のスパースオートエンコーダ(SAE)を訓練する。私たちは5つのエージェント的行動特性を識別し、管理するためにそれらを使用します。
論文参考訳（メタデータ） (2026-03-17T10:05:41Z)
ACAR: Adaptive Complexity Routing for Multi-Model Ensembles with Auditable Decision Traces [3.151184728006369]
本稿では,聴覚条件下でのマルチモデルオーケストレーションのための測定フレームワークACARを提案する。 ACARは、N=3プローブサンプルから計算した自己整合分散(sigma)を使用して、単一モデル、2モデル、3モデル実行モードでタスクをルーティングする。我々は4つのベンチマークにまたがる1,510のタスクに対してACARを評価し、7,550以上の監査可能な実行を生成した。
論文参考訳（メタデータ） (2026-02-06T23:27:17Z)
AgentDrive: An Open Benchmark Dataset for Agentic AI Reasoning with LLM-Generated Scenarios in Autonomous Systems [3.099103925863002]
本稿では30万の運転シナリオを含むオープンベンチマークデータセットであるAgentDriveを紹介する。 AgentDriveは、シナリオタイプ、ドライバの動作、環境、道路レイアウト、目的、難易度、トラフィック密度の7つの軸にまたがる要因化されたシナリオ空間を形式化する。シミュレーションに基づく評価を補完するために,5つの推論次元にまたがる10万件の多重選択ベンチマークであるAgentDrive-MCQを紹介する。
論文参考訳（メタデータ） (2026-01-23T18:33:41Z)
UAVBench: An Open Benchmark Dataset for Autonomous and Agentic AI UAV Systems via LLM-Generated Flight Scenarios [3.099103925863002]
UAVBenchは、大規模言語モデル(LLM)によって生成されたUAV飛行シナリオのオープンベンチマークベンチマークである。 UAVBench_MCQは,10の認知的・倫理的推論スタイルにまたがる5万の多重選択質問を含む推論指向の拡張である。 GPT-5, ChatGPT-4o, Gemini 2.5 Flash, DeepSeek V3, Q3wenwenB, ERNIE 4.5 300B を含む32 の最先端 LLM を評価し, 認識・政策推論において高い性能を示した。
論文参考訳（メタデータ） (2025-11-14T12:51:48Z)
Alpamayo-R1: Bridging Reasoning and Action Prediction for Generalizable Autonomous Driving in the Long Tail [85.47497935739936]
Alpamayo-R1 (AR1) は、因果推論の連鎖と軌道計画を統合する視覚言語モデルである。また,AR1は,軌道のみのベースラインに比べて,難問の計画精度が12%向上することを示した。今後のアップデートで、AR1モデルとCoCのサブセットをリリースする予定です。
論文参考訳（メタデータ） (2025-10-30T01:25:34Z)
Impatient Users Confuse AI Agents: High-fidelity Simulations of Human Traits for Testing Agents [58.00130492861884]
TraitBasisは、AIエージェントを体系的にストレステストするための軽量でモデルに依存しない方法である。 TraitBasisは、ステアブルなユーザ特性に対応するアクティベーション空間で方向を学習する。 We observed on average a 2%-30% performance degradation on $tau$-Trait across frontier model。
論文参考訳（メタデータ） (2025-10-06T05:03:57Z)
DriveLMM-o1: A Step-by-Step Reasoning Dataset and Large Multimodal Model for Driving Scenario Understanding [76.3876070043663]
自律運転のための段階的視覚的推論を推し進めるためのデータセットとベンチマークであるDriveLMM-o1を提案する。私たちのベンチマークでは、トレーニングセットに18k以上のVQAサンプル、テストセットに4k以上、知覚、予測、計画に関するさまざまな質問をカバーしています。我々のモデルは、最終回答精度が+7.49%向上し、以前の最高のオープンソースモデルよりも3.62%向上した。
論文参考訳（メタデータ） (2025-03-13T17:59:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。