論文の概要: What to Do Next? Memorizing skills from Egocentric Instructional Video

• arxiv url: http://arxiv.org/abs/2507.02997v1
• Date: Tue, 01 Jul 2025 22:53:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:34.51313
• Title: What to Do Next? Memorizing skills from Egocentric Instructional Video
• Title（参考訳）: 次に何をすべきか : エゴセントリックなインストラクショナルビデオから学ぶスキル
• Authors: Jing Bi, Chenliang Xu,
• Abstract要約: 本稿では,新しいタスクである対話型アクションプランニングを提案し,トポロジカルアプライアンスメモリとトランスフォーマーアーキテクチャを組み合わせたアプローチを提案する。 実験の結果,提案手法は意味のある表現を学習し,その結果,行動偏差が発生すると性能が向上し,頑健になることが示された。
• 参考スコア（独自算出の注目度）: 43.59787683244105
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning to perform activities through demonstration requires extracting meaningful information about the environment from observations. In this research, we investigate the challenge of planning high-level goal-oriented actions in a simulation setting from an egocentric perspective. We present a novel task, interactive action planning, and propose an approach that combines topological affordance memory with transformer architecture. The process of memorizing the environment's structure through extracting affordances facilitates selecting appropriate actions based on the context. Moreover, the memory model allows us to detect action deviations while accomplishing specific objectives. To assess the method's versatility, we evaluate it in a realistic interactive simulation environment. Our experimental results demonstrate that the proposed approach learns meaningful representations, resulting in improved performance and robust when action deviations occur.
• Abstract（参考訳）: 実演を通して活動を行うためには、観察から環境に関する有意義な情報を抽出する必要がある。 本研究では,エゴセントリックな視点から,シミュレーション環境での高レベルな目標指向行動計画の課題について検討する。 本稿では,新しいタスクである対話型アクションプランニングを提案し,トポロジカルアプライアンスメモリとトランスフォーマーアーキテクチャを組み合わせたアプローチを提案する。 余暇を抽出することで環境構造を記憶するプロセスは、コンテキストに基づいて適切な行動を選択することを容易にする。 さらに、メモリモデルにより、特定の目的を達成しつつ、行動偏差を検出することができる。 本手法の汎用性を評価するため,現実的な対話型シミュレーション環境で評価を行った。 実験の結果,提案手法は意味のある表現を学習し,その結果,行動偏差が発生すると性能が向上し,頑健になることが示された。

関連論文リスト

• Unlocking Smarter Device Control: Foresighted Planning with a World Model-Driven Code Execution Approach [83.21177515180564]
  本研究では,自然言語理解と構造化推論を優先し,エージェントの環境に対するグローバルな理解を高める枠組みを提案する。 本手法は,従来の手法,特にタスク成功率の44.4%向上を達成している。
  論文  参考訳（メタデータ） (2025-05-22T09:08:47Z)
• Can foundation models actively gather information in interactive environments to test hypotheses? [56.651636971591536]
  隠れた報酬関数に影響を与える要因をモデルが決定しなければならない枠組みを導入する。 自己スループットや推論時間の増加といったアプローチが情報収集効率を向上させるかどうかを検討する。
  論文  参考訳（メタデータ） (2024-12-09T12:27:21Z)
• Goal-conditioned Offline Planning from Curious Exploration [28.953718733443143]
  本研究では,教師なし探索技術の産物から目標条件付き行動を抽出することの課題について考察する。 従来の目標条件強化学習手法では,この困難なオフライン環境では,値関数とポリシの抽出が不十分であることがわかった。 そこで本研究では,学習した値のランドスケープに対するモデルベース計画と,グラフベースの値アグリゲーション手法を組み合わせることを提案する。
  論文  参考訳（メタデータ） (2023-11-28T17:48:18Z)
• Robust Visual Imitation Learning with Inverse Dynamics Representations [32.806294517277976]
  我々は,専門家環境と学習環境を整合させるために,逆ダイナミクス状態表現学習目標を開発する。 抽象状態表現を用いて、行動データと専門家データとの類似性を徹底的に測定する効果的な報酬関数を設計する。 提案手法は,ほとんどの環境においてほぼ熟練した性能を実現し,最先端のビジュアルIL法やロバストIL法を著しく上回っている。
  論文  参考訳（メタデータ） (2023-10-22T11:47:35Z)
• Active Sensing with Predictive Coding and Uncertainty Minimization [0.0]
  2つの生物学的計算から着想を得たエンボディード探索のためのエンドツーエンドの手法を提案する。 まず,迷路ナビゲーションタスクによるアプローチを実演し,環境の遷移分布と空間的特徴を明らかにする。 本モデルでは,視覚シーンを効率的に分類するための探索によって,教師なし表現を構築する。
  論文  参考訳（メタデータ） (2023-07-02T21:14:49Z)
• Procedure Planning in Instructional Videosvia Contextual Modeling and Model-based Policy Learning [114.1830997893756]
  本研究は,実生活ビデオにおける目標指向アクションを計画するモデルを学習することに焦点を当てる。 本研究では,ベイズ推論とモデルに基づく模倣学習を通して,人間の行動のモデル化を行う新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-10-05T01:06:53Z)
• Landmark Policy Optimization for Object Navigation Task [77.34726150561087]
  本研究は,未確認環境において,与えられたセマンティックカテゴリに関連する最も近いオブジェクトにナビゲートするオブジェクトゴールナビゲーションタスクについて研究する。 最近の研究は、エンドツーエンドの強化学習アプローチとモジュールシステムの両方において大きな成果を上げていますが、堅牢で最適なものにするには大きな前進が必要です。 本稿では,これらのランドマークを抽出する手法として,標準的なタスクの定式化とランドマークとしての付加的な地域知識を取り入れた階層的手法を提案する。
  論文  参考訳（メタデータ） (2021-09-17T12:28:46Z)
• Embodied Visual Active Learning for Semantic Segmentation [33.02424587900808]
  本研究では,エージェントが3次元環境を探索し,視覚シーン理解の獲得を目指す,具体化されたビジュアルアクティブラーニングの課題について検討する。 我々は、学習と事前指定の両方のエージェントのバッテリーを開発し、環境に関する異なるレベルの知識で開発する。 本研究では,matterport3dシミュレータを用いて提案手法を広範囲に評価し,本手法が比較対象よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-12-17T11:02:34Z)
• Variational Dynamic for Self-Supervised Exploration in Deep Reinforcement Learning [12.76337275628074]
  本研究では,条件付き変分推論に基づく変動力学モデルを提案し,多モード性および生成性をモデル化する。 環境遷移の負の対数類似度の上界を導出し、その上界を探査の本質的な報酬として利用する。 提案手法は,最先端の環境モデルに基づく探索手法よりも優れている。
  論文  参考訳（メタデータ） (2020-10-17T09:54:51Z)
• Learning intuitive physics and one-shot imitation using state-action-prediction self-organizing maps [0.0]
  人間は探索と模倣によって学び、世界の因果モデルを構築し、両方を使って新しいタスクを柔軟に解決する。 このような特徴を生み出す単純だが効果的な教師なしモデルを提案する。 エージェントがアクティブな推論スタイルで柔軟に解決する、複数の関連するが異なる1ショットの模倣タスクに対して、その性能を示す。
  論文  参考訳（メタデータ） (2020-07-03T12:29:11Z)
• Object Goal Navigation using Goal-Oriented Semantic Exploration [98.14078233526476]
  本研究は,未確認環境における対象カテゴリーのインスタンスにナビゲートするオブジェクトゴールナビゲーションの問題を研究する。 本稿では,表層的なセマンティックマップを構築し,効率的に環境を探索する「ゴール指向セマンティック探索」というモジュールシステムを提案する。
  論文  参考訳（メタデータ） (2020-07-01T17:52:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。