Fugu-MT 論文翻訳(概要): "Don't forget to put the milk back!" Dataset for Enabling Embodied Agents to Detect Anomalous Situations

論文の概要: "Don't forget to put the milk back!" Dataset for Enabling Embodied Agents to Detect Anomalous Situations

arxiv url: http://arxiv.org/abs/2404.08827v1
Date: Fri, 12 Apr 2024 21:56:21 GMT
ステータス: 処理完了
システム内更新日: 2024-04-16 18:32:47.975677
Title: "Don't forget to put the milk back!" Dataset for Enabling Embodied Agents to Detect Anomalous Situations
Title（参考訳）: 「ミルクを戻すのを忘れるな!」異常を検知するための身体的エージェントのデータセット
Authors: James F. Mullen Jr, Prasoon Goyal, Robinson Piramuthu, Michael Johnston, Dinesh Manocha, Reza Ghanadan,
Abstract要約: 私たちは、SafetyDetectと呼ばれる新しいデータセットを作成しました。 SafetyDetectデータセットは1000の異常なホームシーンで構成されている。提案手法は,シーンのグラフ表現とシーン内のオブジェクト間の関係の両方とともに,大規模言語モデル(LLM)を利用する。
参考スコア（独自算出の注目度）: 49.66220439673356
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Home robots intend to make their users lives easier. Our work assists in this goal by enabling robots to inform their users of dangerous or unsanitary anomalies in their home. Some examples of these anomalies include the user leaving their milk out, forgetting to turn off the stove, or leaving poison accessible to children. To move towards enabling home robots with these abilities, we have created a new dataset, which we call SafetyDetect. The SafetyDetect dataset consists of 1000 anomalous home scenes, each of which contains unsafe or unsanitary situations for an agent to detect. Our approach utilizes large language models (LLMs) alongside both a graph representation of the scene and the relationships between the objects in the scene. Our key insight is that this connected scene graph and the object relationships it encodes enables the LLM to better reason about the scene -- especially as it relates to detecting dangerous or unsanitary situations. Our most promising approach utilizes GPT-4 and pursues a categorization technique where object relations from the scene graph are classified as normal, dangerous, unsanitary, or dangerous for children. This method is able to correctly identify over 90% of anomalous scenarios in the SafetyDetect Dataset. Additionally, we conduct real world experiments on a ClearPath TurtleBot where we generate a scene graph from visuals of the real world scene, and run our approach with no modification. This setup resulted in little performance loss. The SafetyDetect Dataset and code will be released to the public upon this papers publication.
Abstract（参考訳）: ホームロボットは、ユーザーの生活を楽にする。私たちの仕事は、ロボットが自宅の危険または不衛生な異常をユーザーに知らせることによって、この目標を支援します。これらの異常の例としては、ミルクを外したり、ストーブをオフにすることを忘れたり、子供に感染しやすい毒を残したりしている。このような能力を持つホームロボットの実現に向けて、私たちは、SafetyDetectと呼ばれる新しいデータセットを作成しました。 SafetyDetectデータセットは1000の異常なホームシーンで構成される。提案手法は,シーンのグラフ表現とシーン内のオブジェクト間の関係の両方とともに,大規模言語モデル(LLM)を利用する。私たちの重要な洞察は、この接続されたシーングラフと、それが符号化したオブジェクトの関係によって、特に危険な状況や不衛生な状況を検出するため、LLMはシーンをよりよく理解することができます。我々の最も有望なアプローチは、GPT-4を利用し、シーングラフから対象関係を正常、危険、不衛生、子供にとって危険と分類する分類手法を追求する。この手法はSafetyDetect Datasetの90%以上の異常シナリオを正しく識別することができる。さらに、ClearPath TurtleBot上で実世界の実験を行い、実世界のシーンの視覚からシーングラフを生成し、修正することなくアプローチを実行します。このセットアップはパフォーマンスを損なわずに済んだ。 SafetyDetect Datasetとコードは、この論文の公開時に一般公開される。

関連論文リスト

Addressing Out-of-Label Hazard Detection in Dashcam Videos: Insights from the COOOL Challenge [0.0]
本稿では,ダッシュカム映像におけるハザード解析の新しい手法を提案する。危険物に対する運転者反応の検出、危険物の検出、説明的なキャプションの生成に対処する。本手法は,自動運転におけるアウト・オブ・ラベルの課題において,最も高いスコアを得た。
論文参考訳（メタデータ） (2025-01-27T13:32:01Z)
Bootstrapping Corner Cases: High-Resolution Inpainting for Safety Critical Detect and Avoid for Automated Flying [9.694804791791588]
本稿では,自動飛行中の航空交通を安全のために検出するドローンの安全クリティカル機能である検出・回避のための物体検出について述べる。ほとんどのモデルは、航空交通の記録や小型機による正面飛行など、生データにおける地上の真実の制限に悩まされている。我々は、インペイント手法を用いてデータセットをブートストラップし、生データのコーナーケースを明示的に含むことで、この問題を克服する。
論文参考訳（メタデータ） (2025-01-14T14:21:48Z)
Hazards in Daily Life? Enabling Robots to Proactively Detect and Resolve Anomalies [26.79399508110069]
家庭用ロボットは、家庭内でそのような危険や異常を積極的に検出すべきである。我々は、シミュレートされた環境を構築するために手動でラベル付けされたデータに頼るのではなく、基礎的なモデルを活用します。タスク記述やシーンの多様性の観点から、生成した環境が他よりも優れていることを実証する。
論文参考訳（メタデータ） (2024-10-16T19:29:14Z)
LLM-enhanced Scene Graph Learning for Household Rearrangement [28.375701371003107]
住宅再配置作業は、場所を間違えた物体を現場に配置し、適切な場所に収容することである。我々は,シーン自体から直接,ユーザ好みのアライメントでオブジェクト機能をマイニングすることを提案する。提案手法は, 誤り検出と次の再配置計画における最先端性能を実現する。
論文参考訳（メタデータ） (2024-08-22T03:03:04Z)
Semi-supervised Open-World Object Detection [74.95267079505145]
半教師付きオープンワールド検出(SS-OWOD)という,より現実的な定式化を導入する。提案したSS-OWOD設定では,最先端OWOD検出器の性能が劇的に低下することが実証された。我々は,MS COCO, PASCAL, Objects365, DOTAの4つのデータセットを用いた実験を行い, 提案手法の有効性を実証した。
論文参考訳（メタデータ） (2024-02-25T07:12:51Z)
SG-Bot: Object Rearrangement via Coarse-to-Fine Robotic Imagination on Scene Graphs [81.15889805560333]
本稿では,新しいアレンジメントフレームワークであるSG-Botを紹介する。 SG-Botは軽量でリアルタイムでユーザ制御可能な特性を実証する。実験の結果、SG-Botはライバルよりも大きなマージンで優れていることが示された。
論文参考訳（メタデータ） (2023-09-21T15:54:33Z)
On the Exploitability of Instruction Tuning [103.8077787502381]
そこで本研究では,モデルの動作を変えるための命令チューニングを,相手がどのように活用できるかを検討する。自動データ中毒パイプラインである textitAutoPoison を提案する。結果から、AutoPoisonは、少数のデータだけを中毒することで、敵がモデルの振る舞いを変えることを可能にする。
論文参考訳（メタデータ） (2023-06-28T17:54:04Z)
Challenges in Visual Anomaly Detection for Mobile Robots [65.53820325712455]
視覚に基づく自律移動ロボットの異常検出作業について考察する。関連した視覚異常の種類を分類し,教師なしの深層学習手法で検出する方法について議論する。
論文参考訳（メタデータ） (2022-09-22T13:26:46Z)
Sensing Anomalies as Potential Hazards: Datasets and Benchmarks [43.55994393060723]
本稿では,自律移動ロボットの視覚知覚データストリームにおいて,特異な意味パターンを検出することの問題点について考察する。ロボット探索のシナリオで得られた3つの新しい画像ベースデータセットをコントリビュートする。本研究では,異なるスケールで動作するオートエンコーダに基づく異常検出手法の性能について検討する。
論文参考訳（メタデータ） (2021-10-27T18:47:06Z)
A Flow Base Bi-path Network for Cross-scene Video Crowd Understanding in Aerial View [93.23947591795897]
本稿では,これらの課題に対処し,ドローンから収集した視覚的データから参加者を自動的に理解する。クロスシーンテストで発生する背景雑音を軽減するために, 二重ストリーム群カウントモデルを提案する。極暗環境下での集団密度推定問題に対処するために,ゲームグランドセフトオートV(GTAV)によって生成された合成データを導入する。
論文参考訳（メタデータ） (2020-09-29T01:48:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。