論文の概要: Moving Forward by Moving Backward: Embedding Action Impact over Action Semantics

• arxiv url: http://arxiv.org/abs/2304.12289v1
• Date: Mon, 24 Apr 2023 17:35:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-25 13:58:25.425410
• Title: Moving Forward by Moving Backward: Embedding Action Impact over Action Semantics
• Title（参考訳）: 後方移動による前方移動:アクションセマンティックスに対するアクションインパクトの埋め込み
• Authors: Kuo-Hao Zeng, Luca Weihs, Roozbeh Mottaghi, Ali Farhadi
• Abstract要約: 本稿では,潜伏埋め込みを用いた飛行行動の影響をモデル化する。 これらの潜在アクション埋め込みと、トランスフォーマーベースのポリシーヘッドを組み合わせることで、アクション適応ポリシーを設計する。 当社のAAPは, 対面時, 推論時, 動作不足時, 以前は見えなかった摂動行動空間においても, 高い性能を示した。
• 参考スコア（独自算出の注目度）: 57.671493865825255
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A common assumption when training embodied agents is that the impact of taking an action is stable; for instance, executing the "move ahead" action will always move the agent forward by a fixed distance, perhaps with some small amount of actuator-induced noise. This assumption is limiting; an agent may encounter settings that dramatically alter the impact of actions: a move ahead action on a wet floor may send the agent twice as far as it expects and using the same action with a broken wheel might transform the expected translation into a rotation. Instead of relying that the impact of an action stably reflects its pre-defined semantic meaning, we propose to model the impact of actions on-the-fly using latent embeddings. By combining these latent action embeddings with a novel, transformer-based, policy head, we design an Action Adaptive Policy (AAP). We evaluate our AAP on two challenging visual navigation tasks in the AI2-THOR and Habitat environments and show that our AAP is highly performant even when faced, at inference-time with missing actions and, previously unseen, perturbed action space. Moreover, we observe significant improvement in robustness against these actions when evaluating in real-world scenarios.
• Abstract（参考訳）: 例えば、"Move ahead"アクションを実行すると、エージェントは常に一定の距離を移動し、おそらく少数のアクチュエータが引き起こしたノイズでエージェントを前進させる。 この仮定は限定的であり、エージェントはアクションの影響を劇的に変化させる設定に遭遇する可能性がある:濡れた床で前進するアクションはエージェントを予想の2倍の速さで送り、車輪が壊れた場合と同じアクションを使用すると、期待される変換が回転に変換される。 動作の影響が,その事前定義された意味的意味を安定的に反映する代わりに,潜在埋め込みを用いたオンザフライ動作の影響をモデル化することを提案する。 これらの潜在アクション埋め込みと、トランスフォーマーベースのポリシーヘッドを組み合わせることで、AAP(Action Adaptive Policy)を設計する。 我々はAI2-THOR環境とHabitat環境における2つの困難な視覚ナビゲーションタスクについてAAPを評価し、AAPが直面するときでも、動作不足と、これまで見えなかった乱れのあるアクション空間において、推論時に高いパフォーマンスを示す。 さらに,実世界のシナリオでの評価において,これらの行動に対する堅牢性に大きな改善が見られた。

関連論文リスト

• DynaSaur: Large Language Agents Beyond Predefined Actions [108.75187263724838]
  既存のLLMエージェントシステムは、通常、各ステップで固定セットと事前定義されたセットからアクションを選択する。 動作の動的生成と構成をオンラインで実現するLLMエージェントフレームワークを提案する。 GAIAベンチマーク実験により, このフレームワークは柔軟性が向上し, 従来の手法よりも優れていたことが確認された。
  論文  参考訳（メタデータ） (2024-11-04T02:08:59Z)
• Cross-Embodied Affordance Transfer through Learning Affordance Equivalences [6.828097734917722]
  我々は,物体,行動,効果を,私たちが「空き空間」と呼ぶ共通潜在空間内の1つの潜在ベクトルに統一するディープニューラルネットワークモデルを提案する。 我々のモデルは、一つのエージェントによって実行される個々のオブジェクトの振舞いを学習しない。 Affordance Equivalenceは、オブジェクトに対するアクションの一般化だけでなく、異なるロボットのアクションをリンクするクロス・エボディメント・トランスファーも促進する。
  論文  参考訳（メタデータ） (2024-04-24T05:07:36Z)
• Context-Aware Planning and Environment-Aware Memory for Instruction Following Embodied Agents [15.902536100207852]
  本稿では,CAPEAMによる行動行動の結果を一連の行動で考察する。 提案したCAPEAMのエージェントは,様々な測定値において最先端の性能を達成することを実証的に示す。
  論文  参考訳（メタデータ） (2023-08-14T16:23:21Z)
• Action Sensitivity Learning for Temporal Action Localization [35.65086250175736]
  本稿では,時間的行動ローカライゼーションの課題に取り組むために,行動感性学習フレームワーク(ASL)を提案する。 まず、クラスレベルでのアクション感度とインスタンスレベルでのアクション感度を学習するための軽量なアクション感度評価器を導入する。 各フレームの動作感度に基づいて、アクション認識フレームを正のペアとしてサンプリングし、アクション非関連フレームを除去する機能を強化するために、アクション感性コントラスト損失を設計する。
  論文  参考訳（メタデータ） (2023-05-25T04:19:14Z)
• Weakly-Supervised Temporal Action Localization with Bidirectional Semantic Consistency Constraint [83.36913240873236]
  WTAL(Weakly Supervised Temporal Action Localization)は、ビデオの時間的境界を分類し、ローカライズすることを目的としている。 本研究では,双方向意味整合性制約 (Bi-SCC) という単純な手法を提案する。 実験結果から,THUMOS14とActivityNetの最先端手法よりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2023-04-25T07:20:33Z)
• Leveraging Self-Supervised Training for Unintentional Action Recognition [82.19777933440143]
  我々は、アクションが意図的なものから意図しないものへと移行するビデオのポイントを特定したい。 本研究では,動き速度,動き方向,意図しない動作を認識するために,固有バイアスを利用する多段階フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-23T21:36:36Z)
• Game-theoretic Objective Space Planning [4.989480853499916]
  他のエージェントの意図を理解することは、敵のマルチエージェント環境における自律システムの展開に不可欠である。 現在のアプローチは、エージェントのアクション空間の離散化を過度に単純化するか、または、アクションの長期的な効果を認識して、ミオピックになるのに失敗する。 本稿では,エージェント動作の連続性を維持しつつ,多様なエージェント動作をカプセル化する新しい次元還元法を提案する。
  論文  参考訳（メタデータ） (2022-09-16T07:35:20Z)
• Weakly-supervised Action Transition Learning for Stochastic Human Motion Prediction [81.94175022575966]
  動作駆動型人間の動作予測の課題について紹介する。 一連の動作ラベルと短い動作履歴から、複数の可算な将来の動作を予測することを目的としている。
  論文  参考訳（メタデータ） (2022-05-31T08:38:07Z)
• How RL Agents Behave When Their Actions Are Modified [0.0]
  複雑な環境での強化学習は、エージェントが危険なアクションを試みるのを防ぐために監督を必要とする。 本稿では,MDPモデルの拡張であるModified-Action Markov Decision Processについて述べる。
  論文  参考訳（メタデータ） (2021-02-15T18:10:03Z)
• Instance-Aware Predictive Navigation in Multi-Agent Environments [93.15055834395304]
  エージェント間の相互作用と将来のシーン構造を予測するIPC(Instance-Aware Predictive Control)アプローチを提案する。 我々は,ego中心の視点でエージェント間のインタラクションを推定するために,新しいマルチインスタンスイベント予測モジュールを採用する。 シーンレベルとインスタンスレベルの両方の予測状態をより有効活用するために、一連のアクションサンプリング戦略を設計します。
  論文  参考訳（メタデータ） (2021-01-14T22:21:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。