論文の概要: SocialVLA: A Social Perception Gateway for Human-Reaction-Based Failure Detection and Recovery in VLA Manipulation
- arxiv url: http://arxiv.org/abs/2610.02360v1
- Date: Thu, 01 Oct 2026 18:36:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 19:20:54.746754
- Title: SocialVLA: A Social Perception Gateway for Human-Reaction-Based Failure Detection and Recovery in VLA Manipulation
- Title（参考訳）: SocialVLA: VLA操作におけるヒューマンリアクションに基づく障害検出と回復のためのソーシャルパーセプションゲートウェイ
- Abstract要約: 視覚言語アクション(VLA)ポリシーは、多様なロボット操作を可能にするが、自身のエラーを認識することなく実行中に失敗する可能性がある。
本稿では,自然反応を実行時介入信号に変換する社会認識ゲートウェイであるSocialVLAを紹介する。
SocialVLAは、因果パラ言語的音声検出、視覚反応認識、明示的な停止フレーズ、ロボット関連推定を組み合わせる。
- 参考スコア（独自算出の注目度）: 2.460614761319643
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Vision-language-action (VLA) policies enable diverse robotic manipulation but can fail during execution without recognizing their own errors. Human observers provide complementary signals, as unexpected robot behavior can trigger rapid vocal, facial, or verbal reactions before failure is completed. We introduce SocialVLA, a local, policy-agnostic social perception gateway that converts spontaneous human reactions into runtime intervention signals for VLA manipulation. SocialVLA combines causal paralinguistic audio detection, visual reaction recognition, explicit stop phrases, and robot-relevance estimation. An asynchronous first-event fusion mechanism triggers a VLA hold from the earliest sufficiently confident signal, while a separate speech channel captures verbal corrections for participant-directed continuation, restart, or instruction revision. We evaluate SocialVLA on physical Unitree G1 manipulation using 15 participants, with 238 annotated intervention-worthy episodes and 1.038 h of non-intervention behavior. Frozen offline replay achieves 54.6% recall and 69.5% precision, while unfiltered audio-video fusion reaches 64.3% recall. Relevance estimation reduces false-stop episodes from 100 to 57 and increases precision from 60.5% to 69.8%. In prospective deployment on an unseen 16th participant, the frozen system achieves 59.5% recall and 91.7% precision. Median detector-to-fusion latency is 47.9 ms, VLA-gate-to-physical-hold latency is 336 ms, and reaction-onset-to-hold latency is 1.021 s. These results demonstrate a complete local pathway from spontaneous social reaction to physical VLA interruption and participant-directed recovery.
- Abstract（参考訳）: 視覚言語アクション(VLA)ポリシーは、多様なロボット操作を可能にするが、自身のエラーを認識することなく実行中に失敗する可能性がある。
人間の観察者は、失敗が完了する前に、予期せぬロボットの振る舞いが素早い声、顔、口頭反応を引き起こすため、補完的な信号を提供する。
本稿では、自然反応をVLA操作のための実行時介入信号に変換する、ローカルなポリシーに依存しない社会認識ゲートウェイであるSocialVLAを紹介する。
SocialVLAは、因果パラ言語的音声検出、視覚反応認識、明示的な停止フレーズ、ロボット関連推定を組み合わせる。
非同期ファーストイベント融合機構は、最初期の十分に自信のある信号からVLAホールドをトリガーし、別個の音声チャンネルは、参加者指向継続、再起動、または命令修正のための言語補正をキャプチャする。
身体的Unitree G1操作におけるSocialVLAの評価には、15名の被験者が238例,非介入行動が1.038例であった。
凍結したオフラインリプレイは54.6%のリコールと69.5%の精度で、未フィルタリングのオーディオビデオ融合は64.3%リコールに達する。
関連性の推定では、偽のエピソードを100から57に減らし、精度を60.5%から69.8%に向上させる。
予想外の16番目の参加者への展開では、凍結されたシステムは59.5%のリコールと91.7%の精度を達成した。
中間検出器対融合遅延は47.9ms、VLAゲート対物理ホールドレイテンシは336ms、リアクションオンセット対ホールドレイテンシは1.021sである。
これらの結果は、自然発症の社会的反応から身体的VLA遮断、参加者指向の回復に至る完全な局所経路を示す。
関連論文リスト
- ActionLens: Diagnosing Spatial-Temporal Binding Failures in Vision-Language Models [27.10329844636688]
ActionLensは、対象とする5つの診断にまたがる6,701のマルチチョイスビデオ質問の診断ベンチマークである。
グラウンドトルース回答は1秒あたり58万の個人アノテーションから決定的に導かれる。
視線検出は89.6%の人的精度に対してほぼ確実である。
論文 参考訳（メタデータ） (2026-09-28T08:10:06Z) - DS-VLA: A Dendritic-inspired Vision-Language-Action Model for Robust Action Control [15.462788061621572]
DS-VLAは樹状体にインスパイアされたアクションアーキテクチャであり、樹状体スパイキングダイナミクスをVLA制御に組み込む。
我々は4つのLIBEROスイートのDS-VLAを、名目上ロールアウトと統一されたクローズドループ動作摂動プロトコルの両方で評価する。
論文 参考訳（メタデータ） (2026-09-26T05:17:16Z) - PredActor: Predictive Action Diffusion for Steerable Onboard Humanoid Control [49.348182500314614]
アクションのみの拡散は直接アクションを生成するが、テスト時間運動の目的に対する明示的な将来の軌道は欠如している。
連立状態-作用拡散はこの表現を提供するが、代表コントローラはしばしば特権付きフルボディ状態に依存する。
提案するPredActorは,これらのステアリングを直接実行されるポリシに含める,予測的行動拡散ポリシである。
論文 参考訳（メタデータ） (2026-09-21T16:20:25Z) - AcousticDiffusion: Semantically Conditioned Audio-Guided Diffusion Policy for Search-and-Rescue Assistance [2.1645011609137295]
人間の呼び出し者へのナビゲートは、視覚的接触が劣化または閉鎖された場所で作業する救助ロボットにとって重要な機能である。
本研究では,人間指向ナビゲーションのための意味的条件付き音声誘導拡散ポリシーであるAtlassianDiffusionを提案する。
追加のトレーニングなしに4倍のZSL-1上にオンラインで展開され、平均軸受誤差は64.9度であり、A*は98.2度、RTRは90.4度であり、平均プランナー計算時間は6.07msである。
論文 参考訳（メタデータ） (2026-09-18T14:05:48Z) - Beyond Patch Removal: Persistent Adversarial Effects in Vision-Language-Action Policies [8.836504046285176]
Vision-Language-Actionポリシーへのアドリアパッチは、パッチが削除された後に残る即時アクションの破損と永続的な状態効果を引き起こす可能性がある。
我々は、一致するアクション・チャンク境界におけるパッチを除去し、その後の回復可能性を測定する状態復元プロトコルを導入する。
その結果, パッチ除去後, 対人効果は持続し, タイムリーな介入は回復に不可欠であることが示唆された。
論文 参考訳（メタデータ） (2026-09-17T04:14:19Z) - GE-Act 2.0: Pretraining and Scaling a World-Action Model for Robotic Manipulation [63.853929983870955]
本稿では,ジェニー・エンスペクタ法 2.0 (GE-Act 2.0) について紹介する。
制御指向オートエンコーダ(CoAE)、ワンステップビジュアルプランナー(SVP)、逆ダイナミクスモデル(IDM)を組み合わせている。
それらのコンポーネントは、知識に整合した選択最適化(KASO)で共同で訓練され、記録された行動に適合していると判断された予測された未来のみを選択することで、ミスマッチした監視を減らす。
論文 参考訳（メタデータ） (2026-09-04T17:16:48Z) - CheckVLA: Execution-Time Verification with Action-Conditioned World Model for Long-Horizon Mobile Manipulation [15.532709298240215]
視覚言語アクション(VLA)ポリシーは、オープンループアクションチャンクを通じて長距離移動操作を実行する。
本稿では、個別に訓練されたフリーズされた行動条件付き世界モデルを用いて実行を検証するCheckVLAを提案する。
RoboCasa365では、一般的なトレーニングレシピと一致した呼び出し予算の下で、CheckVLAの平均成功率は36.1%であり、定期的なリプランでは27.6%である。
論文 参考訳（メタデータ） (2026-07-29T11:31:33Z) - Zero2Skill: Bootstrapping Robot Skills through Autonomous Data Collection, Training, and Deployment [53.913175773174636]
既存のパイプラインは、自己リセット、VLM検証、言語指導による修正を通じて、人間の労力を減らす。
Zero2Skill(ゼロ2スキル)は、人ロボットの共生型エージェントシステムで、丸ごとの修正を維持・再利用する。
論文 参考訳（メタデータ） (2026-07-15T17:16:24Z) - MuSteerNet: Human Reaction Generation from Videos via Observation-Reaction Mutual Steering [81.50722520596652]
ビデオ駆動型ヒト反応生成は、観察された映像シーケンスに直接反応する3D人間の動きを合成することを目的としている。
既存の方法は、ビデオ入力を効果的に活用して人間の反応合成を操るのに失敗することが多い。
我々は,観察と反応の相互操りを通じて映像から人間の3次元反応を生成するフレームワーク MuSteerNet を提案する。
論文 参考訳（メタデータ） (2026-03-20T17:59:06Z) - Global Prior Meets Local Consistency: Dual-Memory Augmented Vision-Language-Action Model for Efficient Robotic Manipulation [95.89924101984566]
GPM(Global Prior Memory)とLCM(Local Consistency Memory)を備えたデュアルメモリVLAフレームワークOptimusVLAを紹介する。
GPMはガウスノイズを意味論的に類似した軌道から取得したタスクレベルの先行値に置き換える。
LCMは、時間的コヒーレンスと軌道の滑らかさを強制する学習された一貫性制約を注入する。
論文 参考訳（メタデータ） (2026-02-22T15:39:34Z) - Listen Attentively, and Spell Once: Whole Sentence Generation via a
Non-Autoregressive Architecture for Low-Latency Speech Recognition [66.47000813920619]
我々はLASOと呼ばれる非自己回帰型エンドツーエンド音声認識システムを提案する。
非自己回帰性のため、LASOは他のトークンに依存することなくシーケンス内のテキストトークンを予測する。
我々は,中国における公開データセットAISHELL-1の実験を行った。
論文 参考訳（メタデータ） (2020-05-11T04:45:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。