論文の概要: Dreaming the Sound of Contact: Leveraging Video and Audio Generation for Zero-Shot Force-Aware Manipulation and Data Generation

• arxiv url: http://arxiv.org/abs/2609.19137v2
• Date: Thu, 17 Sep 2026 07:00:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.928334
• Title: Dreaming the Sound of Contact: Leveraging Video and Audio Generation for Zero-Shot Force-Aware Manipulation and Data Generation
• Title（参考訳）: 接触音の夢:ゼロショット力覚操作とデータ生成のためのビデオとオーディオ生成の活用
• Abstract要約: ビデオ生成モデルは急速に進歩し、画像やテキストのプロンプトからロボット操作の可愛らしいビデオを合成できるようになった。 近年の研究では、生成したビデオから直接ロボットの動きを抽出しているが、その結果は純粋にキネマティックであり、力情報がない。 本稿では、生成した映像と音声を併用して、運動軌跡と所望の力プロファイルを導出するパイプラインを提案する。
• 参考スコア（独自算出の注目度）: 18.284222301809873
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video generation models have advanced rapidly and can now synthesize plausible videos of robot manipulation from image and text prompts. Recent work extracts robot actions directly from such generated videos, but the result is purely kinematic and lacks force information, causing failures in contact-rich tasks where appropriate contact forces are essential for success. We present a pipeline that jointly leverages generated video and audio to derive motion trajectories and desired-force profiles. The force profile is shaped by the loudness of the generated contact sound, and we execute the resulting force-aware trajectories on a Franka robot using a closed-loop force regulator. We evaluate our pipeline on multiple tasks that require making contact and demonstrate successful zero-shot manipulation where a kinematic-only baseline fails. We also show that the pipeline can be used as a data generation engine to train policies that achieve the tasks in a closed-loop manner. Project website, videos, and dataset: https://dreamingcontactsound.github.io/
• Abstract（参考訳）: ビデオ生成モデルは急速に進歩し、画像やテキストのプロンプトからロボット操作の可愛らしいビデオを合成できるようになった。 最近の研究は、生成したビデオから直接ロボットの動きを抽出するが、その結果は純粋にキネマティックであり、力情報がないため、適切な接触力が成功に不可欠であるような、接触に富んだタスクでは失敗する。 本稿では、生成した映像と音声を併用して、運動軌跡と所望の力プロファイルを導出するパイプラインを提案する。 出力プロファイルは、生成した接触音の音の大きさによって形成され、クローズドループ力調整器を用いて、フランカロボット上で得られた力認識軌道を実行する。 我々は、接触を必要とする複数のタスクにおいてパイプラインを評価し、キネマティックのみのベースラインが失敗するゼロショット操作を成功させることを実証する。 また、パイプラインをデータ生成エンジンとして使用して、クローズドループ方式でタスクを達成するポリシーをトレーニングすることも示しています。 プロジェクトウェブサイト、ビデオ、データセット:https://dreamingcontactsound.github.io/

関連論文リスト

• ContactFlow: A video action conditioning that transfers across embodiments [23.81895581513295]
  接触フロー(英: Contact Flow)は、3次元接触点の軌跡を通して操作を符号化するエンボディメントに依存しない行動表現である。 本研究では,コンタクトフローを条件とした人間とロボットの両方のインタラクションビデオに対して,大規模ビデオ生成モデルを訓練する。 生成したロールアウトは実行前に視覚言語モデルによって評価される。
  論文  参考訳（メタデータ） (2026-07-29T07:59:47Z)
• Dream.exe: Can Video Generation Models Dream Executable Robot Manipulation? [57.234658753381915]
  本稿では,ロボット操作を具体的かつ測定可能な窓として提案する。 もしモデルが本当に内在的な物理法則を持っているなら、その動きは実行可能なロボットの振る舞いに変換されるべきである。 Dream$.$exeは、ビデオから実行パイプラインを通じてこの基準を運用する評価フレームワークである。
  論文  参考訳（メタデータ） (2026-06-03T12:35:35Z)
• From Generated Human Videos to Physically Plausible Robot Trajectories [103.28274349461607]
  ビデオ生成モデルは、人間のアクションを新しい文脈で合成する能力が急速に向上している。 この可能性を実現するために、ヒューマノイドはどうやってゼロショットで生成されたビデオから人間の行動を実行することができるのか? この課題は、生成されたビデオがしばしばうるさいので、実際のビデオと比べて直接の模倣を困難にする形態的歪みを示すためである。 我々は,3次元キーポイントに条件付き物理対応強化学習政策であるGenMimicを提案し,対称性の正則化とキーポイント重み付きトラッキング報酬を訓練した。
  論文  参考訳（メタデータ） (2025-12-04T18:56:03Z)
• DreamGen: Unlocking Generalization in Robot Learning through Video World Models [120.25799361925387]
  DreamGenは、ニューラルトラジェクトリを通じて行動や環境を一般化するロボットポリシーをトレーニングするためのパイプラインだ。 私たちの研究は、手作業によるデータ収集を超えて、ロボット学習をスケールするための、有望な新たな軸を確立します。
  論文  参考訳（メタデータ） (2025-05-19T04:55:39Z)
• Chain-of-Modality: Learning Manipulation Programs from Multimodal Human Videos with Vision-Language-Models [49.4824734958566]
  カオス・オブ・モダリティ(CoM)は、ビジョン言語モデルがマルチモーダルな人間の実演データを推論することを可能にする。 CoMはタスクプランを洗練し、詳細な制御パラメータを生成し、ロボットは単一のマルチモーダルなヒューマンビデオプロンプトに基づいて操作タスクを実行できる。
  論文  参考訳（メタデータ） (2025-04-17T21:31:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。