論文の概要: Alpha: Systematic Fault Injection and Robustness Evaluation for LLM-Driven Embodied Manipulation

• arxiv url: http://arxiv.org/abs/2610.30197v1
• Date: Wed, 21 Oct 2026 07:06:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.082111
• Title: Alpha: Systematic Fault Injection and Robustness Evaluation for LLM-Driven Embodied Manipulation
• Title（参考訳）: LLM駆動型身体操作におけるAlpha: Systematic Fault Injectionとロバストネス評価
• Abstract要約: 大型言語モデル (LLM) は、ロボット計画の具体化にますます統合されている。 標準ベンチマークは主に名目環境でのエンドツーエンドのタスク完了を評価する。 シミュレーションにおけるLLM駆動操作のための系統的欠陥注入およびロバスト性評価フレームワークであるAlphaを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly integrated into embodied robotic planning, yet standard benchmarks primarily evaluate end-to-end task completion in nominal environments, obscuring failure origins across the execution stack. We present Alpha, a systematic fault-injection and robustness-evaluation framework for LLM-driven manipulation in simulation. Alpha injects calibrated faults across perception (sensor lag), actuation (grip slip), kinematics (unreachable targets), and planning (planner-output corruption), alongside concurrent conditions. To separate physical vulnerabilities from planner sensitivities, we introduce a matched methodology pairing an LLM agent (Llama-3 via Ollama) against a deterministic Scripted Oracle planner across a balanced 150-episode matrix under identical seeds, geometries, and safety criteria. Across the matrix, the Oracle achieves 64.0% (48/75) success while the LLM achieves 44.0% (33/75) (paired McNemar p = 3.01 x 10^-4). Crucially, excluding planner-output corruption, performance across all physical and kinematic conditions is identical: 55.0% (33/60) for both planners with zero discordant pairs (McNemar p = 1.00). This demonstrates that physical actuator slip, kinematic reach boundaries, and perceptual staleness affect deterministic controllers and LLM planners equivalently. The performance gap is driven entirely by planner-output corruption (100% Oracle vs. 0% LLM), isolating the prompt-to-JSON serialization and validation interface rather than a cognitive reasoning deficit. We also audit 169 historical pilot attempts for transparency.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ロボット計画の具体化にますます統合されているが、標準的なベンチマークは主に名目環境でのエンドツーエンドのタスク完了を評価し、実行スタック全体で失敗の原因を隠蔽する。 シミュレーションにおけるLLM駆動操作のための系統的欠陥注入およびロバスト性評価フレームワークであるAlphaを提案する。 アルファは知覚(センサーラグ)、アクティベーション(グリップスリップ)、キネマティクス(到達不能な目標)、計画(プランナーアウトプットの腐敗)を同時に注入する。 LLMエージェント(Llama-3 via Ollama)と決定論的スクリプトOracleプランナを同一のシード,ジオメトリ,安全基準の下でバランスの取れた150エピソードマトリックスにペアリングする手法を提案する。 行列全体では、オラクルは64.0%(48/75)の成功を達成し、LLMは44.0%(33/75)(McNemar p = 3.01 x 10^-4)を達成した。 重要な点として、プランナー・アウトプットの破損を除いて、すべての物理的および運動学的条件における性能は同じである: 55.0% (33/60) の非一致ペアを持つプランナーに対して(McNemar p = 1.00)。 このことは、物理的アクチュエータスリップ、キネマティックリーチ境界、知覚的安定度が決定論的コントローラとLLMプランナーに同等に影響を及ぼすことを示す。 パフォーマンスギャップは、完全にプランナー出力の破損(100% Oracle vs. 0% LLM)によって引き起こされ、認知的推論の欠陥ではなく、即時JSONシリアライゼーションとバリデーションインターフェースが分離される。 我々はまた、透明性のための169の歴史的パイロットの試みも監査した。

関連論文リスト

• LMSM: LLM Security Framework Inspired by Linux Security Modules [56.93644694627783]
  大規模言語モデル(LLM)は階層化されたディフェンスでデプロイされることが多いが、悪意のあるプロンプトはそれらをバイパスすることができる。 我々は,Language Model Security Modules (LMSM) という,Linux Security Modules (LSM) の背後にある分離を LLM サービスに適応させるセキュリティフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-26T12:13:05Z)
• ZERO-APT: A Closed-Loop Adversarial Framework for LLM-Driven Automated Penetration Testing under Intelligent Defense [4.38737676286324]
  ターンベースの攻撃防御フレームワークZERO-APTを提案する。 リアリズムでは、ZERO-APTはSysmonテレメトリを消費し、リアルタイムで攻撃を検出するLLM Defenderを組み込みます。 一貫性のために、3つのアーキテクチャメカニズムは因果一貫性を不安定なLLM推論から強制されたシステムアーキテクチャへと移行させる。
  論文  参考訳（メタデータ） (2026-06-04T01:28:36Z)
• LLM Readiness Harness: Evaluation, Observability, and CI Gates for LLM/RAG Applications [51.56484100374058]
  評価をデプロイメント決定ワークフローに変換するLLMおよびRAGアプリケーションのための準備性ハーネスを提案する。 このシステムは、最小限のAPI契約の下で、自動ベンチマーク、OpenTelemetryオブザーバビリティ、CI品質ゲートを組み合わせる。 チケットルーティングとBEIRタスクのハーネスを、完全なAzureマトリックスカバレッジで評価する。
  論文  参考訳（メタデータ） (2026-03-28T18:03:32Z)
• Agentic LLM Planning via Step-Wise PDDL Simulation: An Empirical Characterisation [1.2832858109291982]
  大型言語モデル(LLM)は、古典的なシンボリックな手法と共に実行可能なプランナーとして機能する。 本稿では,オープンソースの計画ドメイン定義言語(PDDL)シミュレーションエンジンであるPyPDDLEngineを紹介する。 102国際計画コンペティション(IPC)Blocksworldインスタンスに対して,一様180秒の予算で4つのアプローチを評価する。
  論文  参考訳（メタデータ） (2026-03-06T09:16:49Z)
• Global Prior Meets Local Consistency: Dual-Memory Augmented Vision-Language-Action Model for Efficient Robotic Manipulation [95.89924101984566]
  GPM(Global Prior Memory)とLCM(Local Consistency Memory)を備えたデュアルメモリVLAフレームワークOptimusVLAを紹介する。 GPMはガウスノイズを意味論的に類似した軌道から取得したタスクレベルの先行値に置き換える。 LCMは、時間的コヒーレンスと軌道の滑らかさを強制する学習された一貫性制約を注入する。
  論文  参考訳（メタデータ） (2026-02-22T15:39:34Z)
• Towards a Science of Scaling Agent Systems [79.64446272302287]
  エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。 協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。 ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
  論文  参考訳（メタデータ） (2025-12-09T06:52:21Z)
• Reasoning with Confidence: Efficient Verification of LLM Reasoning Steps via Uncertainty Heads [104.9566359759396]
  データ駆動の不確実性スコアに基づくステップレベルの推論検証の軽量な代替案を提案する。 本研究は, LLMの内部状態が不確実性を符号化し, 信頼性の高い検証信号として機能することが示唆された。
  論文  参考訳（メタデータ） (2025-11-09T03:38:29Z)
• Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
  生成のための教師なし共形推論フレームワークを提案する。 我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。 その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
  論文  参考訳（メタデータ） (2025-09-26T23:40:47Z)
• Plan Verification for LLM-Based Embodied Task Completion Agents [10.439882851477162]
  大規模言語モデル(LLM)に基づくタスク計画とそれに対応するAIの人間による実演は騒々しいかもしれない。 審査員が行動系列を批判し、プランナーLLMが修正を適用する反復検証フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-02T19:06:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。