論文の概要: How Long Until Your Robot Ignores You? A Safety Benchmark for LLM Orchestrators in Human-Humanoid Collaboration
- arxiv url: http://arxiv.org/abs/2609.07288v1
- Date: Mon, 07 Sep 2026 09:58:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-12 00:55:24.428702
- Title: How Long Until Your Robot Ignores You? A Safety Benchmark for LLM Orchestrators in Human-Humanoid Collaboration
- Title（参考訳）: ロボットがあなたを無視するまでどのくらいかかるか?人間とヒューマノイドのコラボレーションにおけるLLMオーケストラの安全性ベンチマーク
- Abstract要約: 本稿では,人間-ヒューマノイドコラボレーションにおけるLLMオーケストレータの安全性ベンチマーク環境について紹介する。
このベンチマークでは、テスト可能な5つの安全性不変量、4レベルのコンプライアンス分類、および3層評価パイプラインを定義している。
3つのクラウドバックエンド(Claude Haiku 4.5, GPT-4o-mini, Gemini 2.5 Flash)と40の100ターンセッションにわたるローカルオープンウェイトベースライン(qwen3:8b)です。
- 参考スコア（独自算出の注目度）: 1.7587442088965226
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) are increasingly employed to orchestrate robot behavior through natural-language interfaces, yet no benchmark exists to evaluate their reliability as safety-aware decision makers in human-humanoid collaboration. Unlike deterministic safety systems that enforce binary allow/deny decisions, LLM-based orchestrators exhibit a compliance spectrum ranging from overcompliance (refusing safe actions) to full safety violations. This paper introduces the first safety benchmarking environment for LLM orchestrators in human-humanoid collaboration, built on a Model Context Protocol (MCP)-based architecture with safety invariants grounded in ISO 10218-2:2025 protective measures. The benchmark defines five testable safety invariants, a four-level compliance taxonomy (correct compliance, overcompliance, undercompliance, full violation), and a three-layer evaluation pipeline (text prompting, simulated sensor-actuator loops, and physical validation on a Unitree G1 EDU humanoid). We report Layer-1 results: three cloud backends (Claude Haiku 4.5, GPT-4o-mini, Gemini 2.5 Flash) and a local open-weights baseline (qwen3:8b) across 40 100-turn sessions under full-context and sliding-window budget conditions, while the simulation and physical layers remain ongoing. We find that (1) model family determines the safety floor, as Claude and Gemini remain at or near zero violations while GPT-4o-mini commits up to 13 per session, (2) context management dissociates two failure axes, reducing mean behavioral issues by 42-57% for every cloud backend while nearly doubling GPT-4o-mini's violations (3.8 to 7.2 per session), and (3) proportional compliance, clamping movement speed to the rule-specified maximum rather than refusing, emerges consistently only in Gemini; the preliminary simulation layer reproduces the model ranking and the GPT-4o-mini failure-mode inversion.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語インタフェースを通じてロボットの動作を調整するためにますます採用されているが、人間とヒューマノイドのコラボレーションにおいて、その信頼性を評価するためのベンチマークは存在しない。
バイナリ許容/拒否の判断を強制する決定論的安全システムとは異なり、LLMベースのオーケストレータは、過度なコンプライアンス(安全な行動の拒否)から完全な安全違反まで、幅広いコンプライアンスの範囲を示す。
本稿では,ISO 10218-2:2025保護対策を基礎としたモデルコンテキストプロトコル(MCP)に基づくLLMオーケストレータの安全性評価環境について紹介する。
このベンチマークでは、テスト可能な安全性の5つの不変量、正しいコンプライアンス、過剰コンプライアンス、コンプライアンス、完全違反)、および3層評価パイプライン(テキストプロンプト、シミュレートされたセンサーアクチュエータループ、Unitree G1 EDUヒューマノイドの物理的検証)を定義している。
3つのクラウドバックエンド(Claude Haiku 4.5, GPT-4o-mini, Gemini 2.5 Flash)と40の100ターンセッションにわたるローカルオープンウェイトベースライン(qwen3:8b)。
モデルファミリーは,(1)クロードとジェミニが1セッションあたり最大13件までコミットする一方,GPT-4o-miniは1セッションあたり0件,(2)文脈管理は2つの障害軸を解離し,各クラウドバックエンドに対して平均動作問題を42～57%削減し,(3)比例コンプライアンス,規則指定最大値へのクランプ移動速度はGPT-4o-miniに限らず一貫して現れ,予備シミュレーション層はモデルランキングとGPT-4o-mini障害モードのインバージョンを再現する。
関連論文リスト
- BLINDSPOT: A Benchmark for Safety and Refusal Calibration in Long-Horizon Tool-Using Agents [20.217145643468598]
我々は、長距離ツール使用エージェントの軌道レベルの安全校正のためのベンチマークであるBlindspotを紹介する。
Blindspotは、適応的な対角的相互作用、ステートフルなツールの実行、実行に基づく適応を通じて、完全なユーザ-エージェント-環境トラジェクトリを評価する。
安全でない完成度, 適切な拒絶性, 便宜性, 過度な拒絶性, 繰り返し発生する頑健性, 拒絶後の失敗などをカバーする8つの指標を用いて, 13のプロプライエタリかつオープンウェイトLCMを評価した。
論文 参考訳（メタデータ） (2026-09-14T20:12:27Z) - SENTINEL-RL: Offloading Topological Reasoning from LLM Agents in the Security Operations Center [0.0]
Sentinel-RLは、意味論的推論から位相論的推論を分離するエージェントSOCアーキテクチャである。
本稿では,LANL Comprehensive, Multi-Source Cyber-Security Events データセット, インディアナ大学クォーツHPCクラスタ上でシステムをインスタンス化する。
論文 参考訳（メタデータ） (2026-09-03T17:49:12Z) - LMSM: LLM Security Framework Inspired by Linux Security Modules [56.93644694627783]
大規模言語モデル(LLM)は階層化されたディフェンスでデプロイされることが多いが、悪意のあるプロンプトはそれらをバイパスすることができる。
我々は,Language Model Security Modules (LMSM) という,Linux Security Modules (LSM) の背後にある分離を LLM サービスに適応させるセキュリティフレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-26T12:13:05Z) - DREAM Technical Report [53.37525197047151]
DREAMは、既存のパイプラインの上に認識認識、オーケストレーション、監査可能なポリシ層を追加し、それを置き換えることなく、自律的な最適化制御アーキテクチャである。
DREAMには2つのコアコンポーネントがある。まず、3層Intent Engineはデバイス上の信号を構造化されたL0/L1/L2インテント表現に融合する。エッジクラウドトリガーチェーンはレポートのボリュームを約8.7%に削減する。
第2に、Meta EngineはMetaModelを使って、層状M1-to-M2-to-M3推論(インテントの要約、ストラテジーメモリに通知されるストラテジープランニング、パラメータ変換など)を定式化したM1-to-M2-to-M3推論に使用します。
論文 参考訳（メタデータ） (2026-08-10T10:35:32Z) - Unpredictable Safety: Domain-Dependent Compliance and the Transparency Gap in Open-Weight LLMs [0.0]
オープンウェイトLLMにおけるドメイン依存型安全挙動について検討する。
コンプライアンス率は14.7%(人身売買)から85.7%(監視設計)に変化している。
その結果、現在の安全メカニズムには、信頼できるAIデプロイメントに必要な透明性と一貫性が欠如していることが示されている。
論文 参考訳（メタデータ） (2026-06-01T22:41:32Z) - Explainable Wastewater Digital Twins: Adaptive Context-Conditioned Structured Simulators with Self-Falsifying Decision Support [2.3895981099137535]
CCSS-IXは、コンテキスト認識ゲーティングネットワークによって適応的に混合された、解釈可能な局所線形状態空間"専門家"のバンクである。
実行時決定層は、統計的に認証できないオペレータが提案するアクションに対して、不当な時間的証人を排除、再開、または返却するために共形リスク制御を適用する。
論文 参考訳（メタデータ） (2026-05-19T13:19:27Z) - Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。
Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。
すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
論文 参考訳（メタデータ） (2026-04-07T17:43:18Z) - OrgForge-IT: A Verifiable Synthetic Benchmark for LLM-Based Insider Threat Detection [0.0]
本稿では,決定論的シミュレーションエンジンが基底真理を維持し,言語モデルが表面の散文のみを生成する検証可能な合成ベンチマークを提案する。
コーパスは51日の模擬日、2,904回のテレメトリ記録を96.4%のノイズレートで記録し、単面と単日のトリアージ戦略を破るために設計された4つの検出シナリオをカバーしている。
論文 参考訳（メタデータ） (2026-03-23T19:03:53Z) - A Safety Report on GPT-5.2, Gemini 3 Pro, Qwen3-VL, Grok 4.1 Fast, Nano Banana Pro, and Seedream 4.5 [101.4233736714284]
大規模言語モデル(LLM)とマルチモーダル大規模言語モデル(MLLM)は、言語とビジョンをまたいだ推論、認識、生成において大きな進歩をもたらした。
GPT-5.2, Gemini 3 Pro, Qwen3-VL, Grok 4.1 Fast, Nano Banana Pro, Seedream 4.5-assesing each across language, vision- language and image generation。
論文 参考訳（メタデータ） (2026-01-15T15:52:52Z) - Trajectory Guard -- A Lightweight, Sequence-Aware Model for Real-Time Anomaly Detection in Agentic AI [0.0]
トラジェクトリガードはシームズ・リカレント・オートエンコーダであり、コントラスト学習によるタスク・トラジェクトリアライメントと、再構成によるシーケンシャル・アライメントを共同で学習するハイブリッド・ロス機能を備えている。
32ミリ秒のレイテンシで、当社のアプローチは LLM Judge のベースラインよりも17-27倍高速で動作し、実運用環境におけるリアルタイムの安全性検証を可能にします。
論文 参考訳（メタデータ） (2026-01-02T00:27:11Z) - DUAL-Bench: Measuring Over-Refusal and Robustness in Vision-Language Models [59.45605332033458]
安全メカニズムはバックファイアし、過剰な拒絶を引き起こし、モデルが過度に注意を払って良質な要求を減らします。
既存のベンチマークは、視覚的モダリティの過剰な拒絶に体系的に対処していない。
この設定は、命令が無害であるが付随する画像には有害な内容が含まれているというような、ユニークな課題をもたらす。
論文 参考訳（メタデータ） (2025-10-12T23:21:34Z) - SaFeR-VLM: Toward Safety-aware Fine-grained Reasoning in Multimodal Models [66.71948519280669]
MLRM(Multimodal Large Reasoning Models)は、クロスモーダルな推論を示すが、しばしば敵のプロンプトによる安全性のリスクを増幅する。
既存の防御は主に出力レベルで動作し、推論プロセスを制約せず、モデルは暗黙のリスクに置かれる。
4つのコンポーネントを統合し,表面レベルのフィルタリングを超える動的かつ解釈可能な安全性決定をサポートするSaFeR-VLMを提案する。
論文 参考訳（メタデータ） (2025-10-08T10:39:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。