論文の概要: Probing a Vision-Language-Action Model for Symbolic States and Integration into a Cognitive Architecture
- arxiv url: http://arxiv.org/abs/2502.04558v1
- Date: Thu, 06 Feb 2025 23:11:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-10 14:55:54.066180
- Title: Probing a Vision-Language-Action Model for Symbolic States and Integration into a Cognitive Architecture
- Title（参考訳）: シンボル状態に対する視覚・言語・アクションモデルの提案と認知アーキテクチャへの統合
- Authors: Hong Lu, Hengxu Li, Prithviraj Singh Shahani, Stephanie Herbers, Matthias Scheutz,
- Abstract要約: 我々はOpenVLAの隠された層を探索し、オブジェクトの特性、関係、動作状態の象徴的表現を明らかにする。
実時間状態監視にこれらのシンボル表現を利用する統合DIARC-OpenVLAシステムについて述べる。
- 参考スコア（独自算出の注目度）: 6.319871822298699
- License:
- Abstract: Vision-language-action (VLA) models hold promise as generalist robotics solutions by translating visual and linguistic inputs into robot actions, yet they lack reliability due to their black-box nature and sensitivity to environmental changes. In contrast, cognitive architectures (CA) excel in symbolic reasoning and state monitoring but are constrained by rigid predefined execution. This work bridges these approaches by probing OpenVLA's hidden layers to uncover symbolic representations of object properties, relations, and action states, enabling integration with a CA for enhanced interpretability and robustness. Through experiments on LIBERO-spatial pick-and-place tasks, we analyze the encoding of symbolic states across different layers of OpenVLA's Llama backbone. Our probing results show consistently high accuracies (> 0.90) for both object and action states across most layers, though contrary to our hypotheses, we did not observe the expected pattern of object states being encoded earlier than action states. We demonstrate an integrated DIARC-OpenVLA system that leverages these symbolic representations for real-time state monitoring, laying the foundation for more interpretable and reliable robotic manipulation.
- Abstract（参考訳）: ビジョン・ランゲージ・アクション(VLA)モデルは、視覚的および言語的な入力をロボットのアクションに翻訳することで、汎用的なロボティクスソリューションとして期待できるが、ブラックボックスの性質と環境変化への敏感さのために信頼性に欠ける。
対照的に、認知アーキテクチャ(CA)は象徴的推論や状態監視に優れるが、厳格な事前定義された実行によって制約される。
この研究は、オブジェクトプロパティ、リレーション、アクション状態のシンボル表現を明らかにするためにOpenVLAの隠されたレイヤを探索することで、これらのアプローチを橋渡しし、解釈可能性と堅牢性を高めるためにCAとの統合を可能にする。
LIBERO-spatial pick-and-placeタスクの実験を通じて、OpenVLAのLlamaバックボーンの異なる層にまたがるシンボル状態の符号化を分析する。
その結果,ほとんどの層にまたがるオブジェクト状態とアクション状態の双方に対して,常に高い精度(> 0.90)が得られたが,その仮説とは対照的に,動作状態よりも早くコード化されるオブジェクト状態の予測パターンは観察されなかった。
我々は、これらのシンボル表現をリアルタイムな状態監視に活用したDIARC-OpenVLAシステムを実証し、より解釈可能で信頼性の高いロボット操作の基礎を築いた。
関連論文リスト
- Structured Spatial Reasoning with Open Vocabulary Object Detectors [2.089191490381739]
オブジェクト間の空間的関係に関する推論は多くの実世界のロボット作業において不可欠である。
我々は、リッチな3次元幾何学的特徴と最先端のオープンボキャブラリオブジェクト検出器を統合する構造的確率的アプローチを導入する。
この手法は、空間推論タスクにおける最先端ビジョン・言語モデル(VLM)のゼロショット性能を評価・比較する。
論文 参考訳（メタデータ） (2024-10-09T19:37:01Z) - Do Pre-trained Vision-Language Models Encode Object States? [13.4206464539947]
視覚言語モデル(VLM)がWebスケールデータにオブジェクト状態をエンコードするかどうかを検討する。
コントラストおよび生成目的を訓練したモデルを含む,9つのオープンソースVLMを評価した。
オブジェクト状態のエンコードを改善するための3つの領域を同定する。
論文 参考訳（メタデータ） (2024-09-16T17:22:18Z) - Compromising Embodied Agents with Contextual Backdoor Attacks [69.71630408822767]
大型言語モデル(LLM)は、エンボディドインテリジェンスの発展に変化をもたらした。
本稿では,このプロセスにおけるバックドアセキュリティの重大な脅威を明らかにする。
ほんの少しの文脈的デモンストレーションを毒殺しただけで、攻撃者はブラックボックスLDMの文脈的環境を隠蔽することができる。
論文 参考訳（メタデータ） (2024-08-06T01:20:12Z) - DEF-oriCORN: efficient 3D scene understanding for robust language-directed manipulation without demonstrations [9.092163300680832]
DEF-oriCORNは言語指向の操作タスクのためのフレームワークである。
我々のフレームワークは、音声コマンドに応答して、効率的で堅牢な操作計画を可能にする。
データ生成、トレーニング、推論、事前訓練された重み付けのためのコードも公開されています。
論文 参考訳（メタデータ） (2024-07-31T01:13:25Z) - Grounding Language Plans in Demonstrations Through Counterfactual Perturbations [25.19071357445557]
物理領域におけるLarge Language Models(LLM)の常識的推論は、具体化されたAIにとって重要な問題でありながら未解決である。
提案手法は,2次元ナビゲーションによる模倣学習の解釈性と反応性を向上し,シミュレーションおよび実ロボット操作タスクを実現する。
論文 参考訳（メタデータ） (2024-03-25T19:04:59Z) - Learning with Language-Guided State Abstractions [58.199148890064826]
高次元観測空間における一般化可能なポリシー学習は、よく設計された状態表現によって促進される。
我々の手法であるLGAは、自然言語の監視と言語モデルからの背景知識を組み合わせて、目に見えないタスクに適した状態表現を自動構築する。
シミュレーションされたロボットタスクの実験では、LGAは人間によって設計されたものと同様の状態抽象化をもたらすが、そのほんの少しの時間で得られる。
論文 参考訳（メタデータ） (2024-02-28T23:57:04Z) - OSCaR: Object State Captioning and State Change Representation [52.13461424520107]
本稿では,OSCaR(Object State Captioning and State Change Representation)データセットとベンチマークを紹介する。
OSCaRは14,084の注釈付きビデオセグメントで構成され、様々なエゴセントリックなビデオコレクションから1,000近いユニークなオブジェクトが集められている。
マルチモーダル大言語モデル(MLLM)を評価するための新しいテストベッドを設定する。
論文 参考訳（メタデータ） (2024-02-27T01:48:19Z) - ZoomNeXt: A Unified Collaborative Pyramid Network for Camouflaged Object Detection [70.11264880907652]
最近のオブジェクト(COD)は、現実のシナリオでは極めて複雑で難しい、視覚的にブレンドされたオブジェクトを周囲に分割しようと試みている。
本研究では,不明瞭な画像を観察したり,ズームインしたりアウトしたりする際の人間の行動を模倣する,効果的な統合協調ピラミッドネットワークを提案する。
我々のフレームワークは、画像とビデオのCODベンチマークにおいて、既存の最先端の手法を一貫して上回っている。
論文 参考訳（メタデータ） (2023-10-31T06:11:23Z) - On the Robustness of Aspect-based Sentiment Analysis: Rethinking Model,
Data, and Training [109.9218185711916]
アスペクトベースの感情分析(ABSA)は、ソーシャルメディアのテキストやレビューの背後にある製品やサービスの特定の側面に対して、特定の感情の極性を自動的に推測することを目的としている。
我々は、モデル、データ、トレーニングを含むあらゆる可能な角度からボトルネックを体系的に再考することで、ABSAの堅牢性を高めることを提案する。
論文 参考訳（メタデータ） (2023-04-19T11:07:43Z) - H-SAUR: Hypothesize, Simulate, Act, Update, and Repeat for Understanding
Object Articulations from Interactions [62.510951695174604]
The Hypothesize, Simulate, Act, Update, and Repeat (H-SAUR) is a probabilistic generative framework that generated hypotheses about objects articulate given input observed。
提案手法は,現在最先端のオブジェクト操作フレームワークよりも優れていることを示す。
我々は、学習に基づく視覚モデルから学習前の学習を統合することにより、H-SAURのテスト時間効率をさらに向上する。
論文 参考訳（メタデータ） (2022-10-22T18:39:33Z) - Enhancing Interpretability and Interactivity in Robot Manipulation: A
Neurosymbolic Approach [0.0]
本稿では,言語誘導型視覚推論とロボット操作を結合したニューロシンボリックアーキテクチャを提案する。
非熟練の人間ユーザは、制約のない自然言語を用いてロボットに刺激を与え、参照表現(REF)、質問(VQA)、把握動作指示を提供する。
シミュレーション環境では,3次元視覚と言語によるテーブルトップシーンの合成データセットを作成し,我々のアプローチを訓練し,合成シーンと実世界のシーンの両方で広範な評価を行う。
論文 参考訳（メタデータ） (2022-10-03T12:21:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。