論文の概要: LIBERO-VIFO: Benchmarking the Capability and Safety of Visual Cue Following in Vision-Language-Action Models
- arxiv url: http://arxiv.org/abs/2608.17600v1
- Date: Tue, 18 Aug 2026 10:07:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 21:40:53.301366
- Title: LIBERO-VIFO: Benchmarking the Capability and Safety of Visual Cue Following in Vision-Language-Action Models
- Title（参考訳）: LIBERO-VIFO:視覚言語行動モデルによる視覚キューの能力と安全性のベンチマーク
- Abstract要約: LIBERO-VIFOはVision-Language-Actionモデルにおける視覚的キューの能力と安全性を評価するベンチマークである。
現行のVLAモデルは、言語命令なしでcue-indicatedタスクを実行することができ、無許可の視覚的キューの出現リスクを明らかにすることができる。
- 参考スコア（独自算出の注目度）: 44.79181989231167
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual cues are increasingly adopted to guide robot learning, but whether Vision-Language-Action (VLA) models can reliably follow authorized cues while disregarding unauthorized ones remains unclear. Existing work covers only a narrow range of cue forms and focuses on final task success, providing only a coarse assessment of cue-following capability. Treating all visual cues as authorized also leaves safety risks of unauthorized following unexplored. To address these gaps, we introduce LIBERO-VIFO, a benchmark to evaluate both the capability and safety of visual cue following in VLA models. LIBERO-VIFO defines eight visual cue families spanning diverse forms. A total of four protocols in two parts are defined: Part I tests cue understanding and authorized following, while Part II evaluates unauthorized visual cue following under language-cue conflict and empty language conditions. Evaluating seven VLA models reveals that although visual cue understanding does not reliably translate into execution, current VLAs are able to execute cue-indicated tasks without language instruction, exposing an emerging risk of unauthorized visual cue following. Extended experiments on scene-instantiated cues, safety-critical settings, and real-robot deployment corroborate these findings. LIBERO-VIFO brings both the capability and safety of visual cue following into systematic evaluation, establishing visual-centric safety as a new perspective for the VLA community.
- Abstract（参考訳）: ロボット学習のガイドには視覚的手がかりがますます採用されているが、ビジョン・ランゲージ・アクション(VLA)モデルが、許可されていないものを無視しながら、確実に認可された手がかりに従うことができるかどうかは不明だ。
既存の作業は、限られたキュー形式のみをカバーし、最終タスクの成功に焦点を当て、キューフォロー能力の粗い評価のみを提供する。
すべての視覚的手がかりを認可として扱うことは、未調査の後に無許可の安全リスクも残す。
これらのギャップに対処するために、VLAモデルにおける視覚的キューの能力と安全性を評価するベンチマークであるLIBERO-VIFOを導入する。
LIBERO-VIFOは、様々な形態にまたがる8つの視覚的キューファミリーを定義している。
合計4つのプロトコルが定義されている: Part I test cue understanding and authorized following, Part II tests unauthorized visual cue following under language-cue conflict and empty language conditions。
7つのVLAモデルを評価することで、視覚的キュー理解が確実に実行に変換されるわけではないが、現在のVLAは言語命令なしでキューを指示するタスクを実行することができ、無許可の視覚的キューの出現リスクが明らかになる。
シーン強化キュー、安全クリティカルな設定、実際のロボットの配置に関する実験が、これらの発見を裏付けている。
LIBERO-VIFOは、視覚的手がかりの能力と安全性の両方を体系的な評価に持ち込み、視覚中心の安全性をVLAコミュニティの新たな視点として確立する。
関連論文リスト
- Disentangling Visual and Factual Correctness in LVLMs' Visualization Literacy [27.323597665236644]
LVLM(Large Vision-Language Models)は、強力な可視化解釈を示す。
それらの反応が、視覚的証拠に対する真の推論を反映しているか、訓練中に学んだ事実的先行を反映しているのかは不明である。
本稿では,視覚的正当性を事実的正当性から分離する枠組みを提案する。
論文 参考訳（メタデータ） (2026-06-02T04:36:32Z) - Leveraging Visual Signals for Robust Token-Level Uncertainty in Vision-Language Generation [10.212763020484092]
不確実性定量化(UQ)は、LVLM(Large Vision Language Models)において重要な課題である。
VIG-TUQ(Visual-Grounded Token UQ)を提案する。
論文 参考訳（メタデータ） (2026-05-26T15:04:55Z) - Unleashing Vision-Language Semantics for Deepfake Video Detection [78.7562836979696]
ディープフェイクビデオ検出(DFD)研究は、事前訓練されたビジョンランゲージモデル(VLM)が、異なるアイデンティティにわたるアーティファクトの検出において強力な一般化能力を示すことを示した。
VLAForgeは、深度検出におけるモデルの識別可能性を高めるために、そのようなクロスモーダルセマンティクスの可能性を解き放つ新しいDFDフレームワークである。
論文 参考訳（メタデータ） (2026-03-25T16:05:35Z) - SAVeS: Steering Safety Judgments in Vision-Language Models via Semantic Cues [50.928203120795786]
本研究では,視覚言語モデルにおけるマルチモーダル安全性の挙動を,単純な意味的手がかりによって評価できるかどうかを考察する。
シーン内容を変更することなく、テキスト、視覚、認知の介入を制御できるセマンティック・ステアリング・フレームワークを導入する。
論文 参考訳（メタデータ） (2026-03-19T16:18:00Z) - Look Before Acting: Enhancing Vision Foundation Representations for Vision-Language-Action Models [66.96421290733126]
VLA(Vision-Language-Action)モデルは、ロボット操作のための有望なパラダイムとして登場した。
我々はtextbfVision-Language Mixture-of-Transformers (VL-MoT) フレームワーク上に構築した textbfDeepVision-VLA を提案する。
DeepVision-VLAは、シミュレーションされたタスクと実世界のタスクで、それぞれ9.0%と7.5%の先行の最先端メソッドより優れている。
論文 参考訳（メタデータ） (2026-03-16T17:59:54Z) - When Vision Overrides Language: Evaluating and Mitigating Counterfactual Failures in VLAs [31.92520697946991]
VLA(Vision-Language-Action Model)は、ロボット制御における言語命令の基盤となることを約束するが、実際には言語に忠実に従わないことが多い。
反ファクトの失敗は、最先端のVLAで発見されていないことが示される。
本稿では,単純な2分岐推論方式であるCAGを提案する。
論文 参考訳（メタデータ） (2026-02-19T18:59:20Z) - Contextualized Visual Personalization in Vision-Language Models [51.3151397451851]
本稿では、コンテキスト化された視覚的パーソナライゼーションのコアタスクとして、パーソナライズされた画像キャプションを扱う統一的なフレームワークを提案する。
実験では、CoViPはパーソナライズされた画像キャプションを改善するだけでなく、下流のパーソナライゼーションタスク全体で全体的利益をもたらす。
これらの結果から、CoViPは、堅牢で一般化可能な視覚的パーソナライゼーションを実現するための重要な段階であることが示された。
論文 参考訳（メタデータ） (2026-02-03T12:21:26Z) - ReViP: Reducing False Completion in Vision-Language-Action Models with Vision-Proprioception Rebalance [50.05984919728878]
本稿では、視覚的接地と摂動下での堅牢性を高めるために、視覚-受容器リバランスを備えた新しいVLAフレームワークReViPを提案する。
具体的には、タスクステージオブザーバとして外部VLMを使用して、視覚的な観察からリアルタイムなタスク中心の視覚的手がかりを抽出する。
本稿では,オブジェクトドロップのような制御された設定を持つLIBERO上に構築された最初のFalse-Completion Benchmark Suiteを提案する。
論文 参考訳（メタデータ） (2026-01-23T11:31:07Z) - VLM2-Bench: A Closer Look at How Well VLMs Implicitly Link Explicit Matching Visual Cues [34.95077625513563]
textbfVLM2-Benchは視覚言語モデルが視覚的にマッチングの手がかりをリンクできるかどうかを評価するためのベンチマークである。
12個のVLMの包括的評価と、様々な言語側および視覚側プロンプト手法のさらなる分析により、合計8つの重要な結果が得られた。
視覚的な手がかりをリンクするモデルの能力において重要な課題を特定し、大きなパフォーマンスギャップを浮き彫りにする。
論文 参考訳（メタデータ） (2025-02-17T17:57:50Z) - SgVA-CLIP: Semantic-guided Visual Adapting of Vision-Language Models for
Few-shot Image Classification [84.05253637260743]
本稿では,セマンティック誘導視覚適応(SgVA)と呼ばれる新しいフレームワークを提案する。
SgVAは、視覚特異的のコントラスト損失、クロスモーダルのコントラスト損失、暗黙の知識蒸留を包括的に利用することで、識別的なタスク固有の視覚特徴を生成する。
13のデータセットの最先端の結果は、適応された視覚的特徴が、クロスモーダルな特徴を補完し、少数の画像分類を改善することを実証している。
論文 参考訳（メタデータ） (2022-11-28T14:58:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。