論文の概要: World Knowledge from AI Image Generation for Robot Control

• arxiv url: http://arxiv.org/abs/2503.16579v1
• Date: Thu, 20 Mar 2025 12:25:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 14:55:46.217876
• Title: World Knowledge from AI Image Generation for Robot Control
• Title（参考訳）: ロボット制御のためのAI画像からの世界知識
• Authors: Jonas Krumme, Christoph Zetzsche,
• Abstract要約: 人間はしばしば、世界と対話する際のギャップを埋めるために知識と経験に頼っている。 現代の生成システムは、現実世界の可視画像を生成することができ、ロボットが動作している環境に調和させることができる。 本稿では,現実世界の説得力のある画像を生成し,未特定課題を解決する能力によって得られる,現代の生成型AIシステムの世界に関する暗黙の知識を利用することについて検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: When interacting with the world robots face a number of difficult questions, having to make decisions when given under-specified tasks where they need to make choices, often without clearly defined right and wrong answers. Humans, on the other hand, can often rely on their knowledge and experience to fill in the gaps. For example, the simple task of organizing newly bought produce into the fridge involves deciding where to put each thing individually, how to arrange them together meaningfully, e.g. putting related things together, all while there is no clear right and wrong way to accomplish this task. We could encode all this information on how to do such things explicitly into the robots' knowledge base, but this can quickly become overwhelming, considering the number of potential tasks and circumstances the robot could encounter. However, images of the real world often implicitly encode answers to such questions and can show which configurations of objects are meaningful or are usually used by humans. An image of a full fridge can give a lot of information about how things are usually arranged in relation to each other and the full fridge at large. Modern generative systems are capable of generating plausible images of the real world and can be conditioned on the environment in which the robot operates. Here we investigate the idea of using the implicit knowledge about the world of modern generative AI systems given by their ability to generate convincing images of the real world to solve under-specified tasks.
• Abstract（参考訳）: ロボットが世界と対話する際には、多くの難しい問題に直面します。 一方で人間は、そのギャップを埋めるために知識や経験に頼っていることが多い。 例えば、新しく購入した農産物を冷蔵庫にまとめる簡単な作業は、それぞれの商品を個別に配置する場所を決めたり、それらを意味ある方法で組み立てる方法を決めたりする。 このようなことをロボットの知識ベースに明示的に行う方法については、これらの情報を全てエンコードすることができるが、ロボットが遭遇する可能性のあるタスクや状況の数を考えると、すぐに圧倒的になる可能性がある。 しかし、現実世界のイメージはしばしばそのような質問に対する答えを暗黙的にエンコードし、どのオブジェクトの構成が意味があるか、通常人間によって使用されるかを示すことができる。 フル冷蔵庫のイメージは、通常、相互にどのように配置されているか、そしてフル冷蔵庫全体について、多くの情報を与えることができる。 現代の生成システムは、現実世界の可視画像を生成することができ、ロボットが動作している環境に調和させることができる。 本稿では,現実世界の説得力のある画像を生成し,未特定課題を解決する能力によって得られる,現代の生成型AIシステムの世界に関する暗黙の知識を利用することについて検討する。

関連論文リスト

• $π_0$: A Vision-Language-Action Flow Model for General Robot Control [77.32743739202543]
  本稿では,インターネット規模のセマンティック知識を継承するために,事前学習された視覚言語モデル(VLM)上に構築された新しいフローマッチングアーキテクチャを提案する。 我々は,事前訓練後のタスクをゼロショットで実行し,人からの言語指導に追従し,微調整で新たなスキルを習得する能力の観点から,我々のモデルを評価した。
  論文  参考訳（メタデータ） (2024-10-31T17:22:30Z)
• Prompting Task Trees using Gemini: Methodologies and Insights [0.0]
  今日の大きな課題は、知識表現を使ってロボットを正確に、共感的に訓練することだ。 本稿では,非構造化知識表現を用いて意味のある構造化表現に変換する方法について考察する。
  論文  参考訳（メタデータ） (2024-05-06T17:48:10Z)
• RH20T: A Comprehensive Robotic Dataset for Learning Diverse Skills in One-Shot [56.130215236125224]
  オープンドメインでのロボット操作における重要な課題は、ロボットの多様性と一般化可能なスキルの獲得方法である。 単発模倣学習の最近の研究は、訓練されたポリシーを実証に基づく新しいタスクに移行する可能性を示唆している。 本稿では,エージェントがマルチモーダルな知覚で数百の現実世界のスキルを一般化する可能性を解き放つことを目的とする。
  論文  参考訳（メタデータ） (2023-07-02T15:33:31Z)
• Open-World Object Manipulation using Pre-trained Vision-Language Models [72.87306011500084]
  ロボットが人からの指示に従うためには、人間の語彙の豊かな意味情報を繋げなければならない。 我々は、事前学習された視覚言語モデルを利用して、オブジェクト識別情報を抽出するシンプルなアプローチを開発する。 実際の移動マニピュレータにおける様々な実験において、MOOはゼロショットを様々な新しいオブジェクトカテゴリや環境に一般化する。
  論文  参考訳（メタデータ） (2023-03-02T01:55:10Z)
• Aligning Robot Representations with Humans [5.482532589225552]
  主な問題は、ある環境で学んだ知識を別の環境に移す方法である。 我々は、人間が世界でシステム成功の究極的な評価者になるので、ロボットに重要なタスクの側面を伝えるのに最も適していると仮定する。 このアプローチをインタラクティブシステムの構築に利用し、高度な協調ロボットをより良く開発するための今後の方向性を提供する3つの分野を強調します。
  論文  参考訳（メタデータ） (2022-05-15T15:51:05Z)
• Functional Task Tree Generation from a Knowledge Graph to Solve Unseen Problems [5.400294730456784]
  人間とは異なり、ロボットは創造的に新しいシナリオに適応できない。 知識グラフの形で存在する知識は、タスクツリーを作成するための参照の基盤として使用される。 提案手法は, 未確認成分の組み合わせであっても, 高精度にタスクプランを作成できることが示唆された。
  論文  参考訳（メタデータ） (2021-12-04T21:28:22Z)
• Lifelong Robotic Reinforcement Learning by Retaining Experiences [61.79346922421323]
  多くのマルチタスク強化学習は、ロボットが常にすべてのタスクからデータを収集できると仮定している。 本研究では,物理ロボットシステムの実用的制約を動機として,現実的なマルチタスクRL問題について検討する。 我々は、ロボットのスキルセットを累積的に成長させるために、過去のタスクで学んだデータとポリシーを効果的に活用するアプローチを導出する。
  論文  参考訳（メタデータ） (2021-09-19T18:00:51Z)
• A Road-map to Robot Task Execution with the Functional Object-Oriented Network [77.93376696738409]
  関数型オブジェクト指向ネットワーク(FOON)はロボットの知識グラフ表現である。 FOONは、二部グラフの形で、ロボットの環境やタスクに対する理解に関係のある象徴的あるいは高レベルな情報を含んでいる。
  論文  参考訳（メタデータ） (2021-06-01T00:43:04Z)
• Learning Generalizable Robotic Reward Functions from "In-The-Wild" Human Videos [59.58105314783289]
  ドメインに依存しないビデオ識別器(DVD)は、2つのビデオが同じタスクを実行しているかどうかを判断するために識別器を訓練することによりマルチタスク報酬関数を学習する。 DVDは、人間のビデオの広いデータセットで少量のロボットデータから学習することで、一般化することができる。 DVDと視覚モデル予測制御を組み合わせることで、実際のWidowX200ロボットのロボット操作タスクを単一の人間のデモから未知の環境で解決できます。
  論文  参考訳（メタデータ） (2021-03-31T05:25:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。