論文の概要: "Don't forget to put the milk back!" Dataset for Enabling Embodied Agents to Detect Anomalous Situations
- arxiv url: http://arxiv.org/abs/2404.08827v1
- Date: Fri, 12 Apr 2024 21:56:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-16 18:32:47.975677
- Title: "Don't forget to put the milk back!" Dataset for Enabling Embodied Agents to Detect Anomalous Situations
- Title（参考訳）: 「ミルクを戻すのを忘れるな!」 異常を検知するための身体的エージェントのデータセット
- Authors: James F. Mullen Jr, Prasoon Goyal, Robinson Piramuthu, Michael Johnston, Dinesh Manocha, Reza Ghanadan,
- Abstract要約: 私たちは、SafetyDetectと呼ばれる新しいデータセットを作成しました。
SafetyDetectデータセットは1000の異常なホームシーンで構成されている。
提案手法は,シーンのグラフ表現とシーン内のオブジェクト間の関係の両方とともに,大規模言語モデル(LLM)を利用する。
- 参考スコア（独自算出の注目度）: 49.66220439673356
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Home robots intend to make their users lives easier. Our work assists in this goal by enabling robots to inform their users of dangerous or unsanitary anomalies in their home. Some examples of these anomalies include the user leaving their milk out, forgetting to turn off the stove, or leaving poison accessible to children. To move towards enabling home robots with these abilities, we have created a new dataset, which we call SafetyDetect. The SafetyDetect dataset consists of 1000 anomalous home scenes, each of which contains unsafe or unsanitary situations for an agent to detect. Our approach utilizes large language models (LLMs) alongside both a graph representation of the scene and the relationships between the objects in the scene. Our key insight is that this connected scene graph and the object relationships it encodes enables the LLM to better reason about the scene -- especially as it relates to detecting dangerous or unsanitary situations. Our most promising approach utilizes GPT-4 and pursues a categorization technique where object relations from the scene graph are classified as normal, dangerous, unsanitary, or dangerous for children. This method is able to correctly identify over 90% of anomalous scenarios in the SafetyDetect Dataset. Additionally, we conduct real world experiments on a ClearPath TurtleBot where we generate a scene graph from visuals of the real world scene, and run our approach with no modification. This setup resulted in little performance loss. The SafetyDetect Dataset and code will be released to the public upon this papers publication.
- Abstract（参考訳）: ホームロボットは、ユーザーの生活を楽にする。
私たちの仕事は、ロボットが自宅の危険または不衛生な異常をユーザーに知らせることによって、この目標を支援します。
これらの異常の例としては、ミルクを外したり、ストーブをオフにすることを忘れたり、子供に感染しやすい毒を残したりしている。
このような能力を持つホームロボットの実現に向けて、私たちは、SafetyDetectと呼ばれる新しいデータセットを作成しました。
SafetyDetectデータセットは1000の異常なホームシーンで構成される。
提案手法は,シーンのグラフ表現とシーン内のオブジェクト間の関係の両方とともに,大規模言語モデル(LLM)を利用する。
私たちの重要な洞察は、この接続されたシーングラフと、それが符号化したオブジェクトの関係によって、特に危険な状況や不衛生な状況を検出するため、LLMはシーンをよりよく理解することができます。
我々の最も有望なアプローチは、GPT-4を利用し、シーングラフから対象関係を正常、危険、不衛生、子供にとって危険と分類する分類手法を追求する。
この手法はSafetyDetect Datasetの90%以上の異常シナリオを正しく識別することができる。
さらに、ClearPath TurtleBot上で実世界の実験を行い、実世界のシーンの視覚からシーングラフを生成し、修正することなくアプローチを実行します。
このセットアップはパフォーマンスを損なわずに済んだ。
SafetyDetect Datasetとコードは、この論文の公開時に一般公開される。
関連論文リスト
- Hazards in Daily Life? Enabling Robots to Proactively Detect and Resolve Anomalies [26.79399508110069]
家庭用ロボットは、家庭内でそのような危険や異常を積極的に検出すべきである。
我々は、シミュレートされた環境を構築するために手動でラベル付けされたデータに頼るのではなく、基礎的なモデルを活用します。
タスク記述やシーンの多様性の観点から、生成した環境が他よりも優れていることを実証する。
論文 参考訳（メタデータ） (2024-10-16T19:29:14Z) - LLM-enhanced Scene Graph Learning for Household Rearrangement [28.375701371003107]
住宅再配置作業は、場所を間違えた物体を現場に配置し、適切な場所に収容することである。
我々は,シーン自体から直接,ユーザ好みのアライメントでオブジェクト機能をマイニングすることを提案する。
提案手法は, 誤り検出と次の再配置計画における最先端性能を実現する。
論文 参考訳（メタデータ） (2024-08-22T03:03:04Z) - Semi-supervised Open-World Object Detection [74.95267079505145]
半教師付きオープンワールド検出(SS-OWOD)という,より現実的な定式化を導入する。
提案したSS-OWOD設定では,最先端OWOD検出器の性能が劇的に低下することが実証された。
我々は,MS COCO, PASCAL, Objects365, DOTAの4つのデータセットを用いた実験を行い, 提案手法の有効性を実証した。
論文 参考訳（メタデータ） (2024-02-25T07:12:51Z) - SG-Bot: Object Rearrangement via Coarse-to-Fine Robotic Imagination on Scene Graphs [81.15889805560333]
本稿では,新しいアレンジメントフレームワークであるSG-Botを紹介する。
SG-Botは軽量でリアルタイムでユーザ制御可能な特性を実証する。
実験の結果、SG-Botはライバルよりも大きなマージンで優れていることが示された。
論文 参考訳（メタデータ） (2023-09-21T15:54:33Z) - On the Exploitability of Instruction Tuning [103.8077787502381]
そこで本研究では,モデルの動作を変えるための命令チューニングを,相手がどのように活用できるかを検討する。
自動データ中毒パイプラインである textitAutoPoison を提案する。
結果から、AutoPoisonは、少数のデータだけを中毒することで、敵がモデルの振る舞いを変えることを可能にする。
論文 参考訳（メタデータ） (2023-06-28T17:54:04Z) - Challenges in Visual Anomaly Detection for Mobile Robots [65.53820325712455]
視覚に基づく自律移動ロボットの異常検出作業について考察する。
関連した視覚異常の種類を分類し,教師なしの深層学習手法で検出する方法について議論する。
論文 参考訳（メタデータ） (2022-09-22T13:26:46Z) - Sensing Anomalies as Potential Hazards: Datasets and Benchmarks [43.55994393060723]
本稿では,自律移動ロボットの視覚知覚データストリームにおいて,特異な意味パターンを検出することの問題点について考察する。
ロボット探索のシナリオで得られた3つの新しい画像ベースデータセットをコントリビュートする。
本研究では,異なるスケールで動作するオートエンコーダに基づく異常検出手法の性能について検討する。
論文 参考訳（メタデータ） (2021-10-27T18:47:06Z) - Vision based Pedestrian Potential Risk Analysis based on Automated
Behavior Feature Extraction for Smart and Safe City [5.759189800028578]
このような交差点に設置した道路セキュリティカメラで収集した映像を用いて,歩行者の潜在的な危険度に関する包括的分析モデルを提案する。
提案システムは、車や歩行者を自動的に検知し、フレームによって軌跡を計算し、これらの物体間の潜在的危険シーンの可能性を左右する行動特徴を抽出する。
韓国大山市の横断歩道で適用し,実現可能性と適用性を評価した。
論文 参考訳（メタデータ） (2021-05-06T11:03:10Z) - Be Careful about Poisoned Word Embeddings: Exploring the Vulnerability
of the Embedding Layers in NLP Models [27.100909068228813]
最近の研究では、バックドア攻撃と呼ばれる自然言語処理(NLP)モデルに対するセキュリティの脅威が明らかになった。
本稿では,1つの単語埋め込みベクトルを変更することで,データフリーな方法でモデルをハックできることを見出した。
感情分析および文対分類タスクの実験結果から,本手法はより効率的でステルス性が高いことが示された。
論文 参考訳（メタデータ） (2021-03-29T12:19:45Z) - A Flow Base Bi-path Network for Cross-scene Video Crowd Understanding in
Aerial View [93.23947591795897]
本稿では,これらの課題に対処し,ドローンから収集した視覚的データから参加者を自動的に理解する。
クロスシーンテストで発生する背景雑音を軽減するために, 二重ストリーム群カウントモデルを提案する。
極暗環境下での集団密度推定問題に対処するために,ゲームグランドセフトオートV(GTAV)によって生成された合成データを導入する。
論文 参考訳（メタデータ） (2020-09-29T01:48:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。