論文の概要: Transformer-Based Token Fusion and Dynamic Graph Planning for Audio-Visual Navigation
- arxiv url: http://arxiv.org/abs/2609.17421v1
- Date: Thu, 16 Jul 2026 00:35:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.542434
- Title: Transformer-Based Token Fusion and Dynamic Graph Planning for Audio-Visual Navigation
- Title（参考訳）: 変圧器を用いたトケ融合と動的グラフ計画
- Abstract要約: オーディオ・ビジュアル・ナビゲーション(AVN)は、エージェントが継続的に発声するターゲットに向かってローカライズし、ナビゲートする必要がある。
現在、システムは、不完全または誤解を招く視覚的知覚に直面したとき、適応的に修正し、計画する能力が欠如している。
- 参考スコア（独自算出の注目度）: 2.5209477824050954
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Audio-Visual Navigation (AVN) requires an agent to localize and navigate toward a continuously vocalizing target relying solely on visual observations and acoustic cues. Currently, systems lack the ability to adaptively correct and replan when faced with incomplete or misleading visual perception. Furthermore, relying on physical collisions to compensate for missing visual information results in inefficient and unsafe navigation, whereas existing methods are overly dependent on passive visual perception. To address these issues, we propose the Transformer-based Token Fusion and Dynamic Graph Planning (TDGP) model, which incorporates high-level perception layers and leverages the Transformer model to fuse multimodal cues for precise local planning. Next, a low-level planning layer is designed that uses physical collision penalties to remove edges that collide with the map in real time and apply corresponding penalties, forcing the agent to automatically re-plan to compensate for the lack of visual information. Experiments show that our TDGP model outperforms baseline models on the Replica and Matterport3D (MP3D) datasets, and that the model's sound enhancement strategy significantly improves generalization in unheard acoustic scenarios.
- Abstract（参考訳）: オーディオ・ビジュアル・ナビゲーション(AVN)は、エージェントが視覚的な観察と音響的手がかりにのみ依存して、連続的に発声対象に向かってローカライズし、ナビゲートする必要がある。
現在、システムは、不完全または誤解を招く視覚的知覚に直面したとき、適応的に修正し、計画する能力が欠如している。
さらに、視覚情報の欠如を補うために物理的衝突に依存すると、非効率で安全でないナビゲーションが生じるが、既存の手法は受動的視覚知覚に過度に依存している。
これらの問題に対処するために,トランスフォーマーを用いたToken Fusion and Dynamic Graph Planning (TDGP)モデルを提案する。
次に、物理衝突によるペナルティを用いて、リアルタイムで地図と衝突するエッジを除去し、対応するペナルティを適用し、エージェントに視覚情報の欠如を補うために自動的に再計画を強制する低レベル計画層を設計する。
実験により,我々のTDGPモデルはReplicaとMatterport3D(MP3D)データセットのベースラインモデルよりも優れており,音質向上戦略は未聴音シナリオにおける一般化を著しく改善することが示された。
関連論文リスト
- RAVEN: Reinforcement-Adaptive Visibility-Graph Planning for Robust Humanoid Navigation with Collision-Free MPC [11.923992019929495]
本稿では,ロバストなヒューマノイドナビゲーションのための階層型強化学習フレームワークであるRAVENを提案する。
RAVENは、障害物インフレーションと関連するグラフパラメータを変更することで、可視グラフプランナーの幾何学的構成にRLを適用する。
その結果、障害物近傍でのオーバーシュートを低減し、狭い通路でのロバスト性を向上し、遅延と騒音下でのより信頼性の高い航法が示された。
論文 参考訳（メタデータ） (2026-07-17T07:23:54Z) - Information-Regularized Attention for Visual-Centric Reasoning [30.245558374164492]
視覚言語モデル(VLM)は多モーダル学習のパラダイムとなっているが、対象の幻覚、弱い視覚的接地、破滅的な忘れ物のために不安定なままである。
Information-Regularized Attention (IRA) は,中間変圧器層に隠された状態に注入される視覚情報量を明示的に規制するアテンション機構である。
論文 参考訳（メタデータ） (2026-07-01T04:45:41Z) - Afford-VLA: Action-Aligned Visual Planning via Internalized Affordance [108.46436073194546]
効果的なプランニングは、ローカルで、視覚的に基礎があり、内部で生成され、アクションと直接整合するべきである、と私たちは主張する。
本稿では,タスク条件付きアベイランスをVLAモデル内で明示的な視覚的計画インターフェースとして内包する統合フレームワークであるAfford-VLAを提案する。
論文 参考訳（メタデータ） (2026-05-22T20:43:47Z) - Graph Enhanced Trajectory Anomaly Detection [23.8160784400789]
軌道異常検出は、インテリジェント交通システムから都市安全・不正防止に至るまで、異常かつ予期せぬ動きパターンを特定するために不可欠である。
既存の手法では、軌跡をサンプリングされた位置の列として扱うことにより、軌道の性質とその運動空間の限られた側面しか考慮していない。
提案するグラフ拡張軌道異常検出フレームワークは,道路網のトポロジ,セグメントセマンティクス,過去の走行パターンを密に統合し,軌跡データをモデル化する。
論文 参考訳（メタデータ） (2025-09-22T20:15:15Z) - DiFSD: Ego-Centric Fully Sparse Paradigm with Uncertainty Denoising and Iterative Refinement for Efficient End-to-End Self-Driving [55.53171248839489]
我々は、エンドツーエンドの自動運転のためのエゴ中心の完全スパースパラダイムであるDiFSDを提案する。
特に、DiFSDは主にスパース知覚、階層的相互作用、反復的な運動プランナーから構成される。
nuScenesとBench2Driveデータセットで実施された実験は、DiFSDの優れた計画性能と優れた効率を実証している。
論文 参考訳（メタデータ） (2024-09-15T15:55:24Z) - Spatiotemporal Implicit Neural Representation as a Generalized Traffic Data Learner [46.866240648471894]
時空間交通データ(STTD)は、マルチスケール交通システムの複雑な動的挙動を測定する。
本稿では,STTDを暗黙的ニューラル表現としてパラメータ化することで,STTD学習問題に対処する新しいパラダイムを提案する。
実世界のシナリオにおける広範な実験を通じて,その有効性を検証し,廊下からネットワークスケールへの応用を示す。
論文 参考訳（メタデータ） (2024-05-06T06:23:06Z) - Layout Sequence Prediction From Noisy Mobile Modality [53.49649231056857]
軌道予測は、自律運転やロボット工学などの応用における歩行者運動を理解する上で重要な役割を担っている。
現在の軌道予測モデルは、視覚的モダリティからの長い、完全な、正確に観察されたシーケンスに依存する。
本稿では,物体の障害物や視界外を,完全に視認できる軌跡を持つものと同等に扱う新しいアプローチであるLTrajDiffを提案する。
論文 参考訳（メタデータ） (2023-10-09T20:32:49Z) - Generalized Face Forgery Detection via Adaptive Learning for Pre-trained Vision Transformer [54.32283739486781]
適応学習パラダイムの下で,textbfForgery-aware textbfAdaptive textbfVision textbfTransformer(FA-ViT)を提案する。
FA-ViTは、クロスデータセット評価において、Celeb-DFおよびDFDCデータセット上で93.83%と78.32%のAUCスコアを達成する。
論文 参考訳（メタデータ） (2023-09-20T06:51:11Z) - SGDViT: Saliency-Guided Dynamic Vision Transformer for UAV Tracking [12.447854608181833]
本研究は、UAV追跡のための新しいサリエンシ誘導動的視覚変換器(SGDViT)を提案する。
提案手法は,クロスコリレーション操作を洗練させるために,タスク固有の新たなオブジェクト・サリエンシ・マイニング・ネットワークを設計する。
軽量な塩分フィルタリング変換器は、さらに塩分情報を洗練し、外観情報に焦点を当てる。
論文 参考訳（メタデータ） (2023-03-08T05:01:00Z) - Optimizing Relevance Maps of Vision Transformers Improves Robustness [91.61353418331244]
視覚的分類モデルは、しばしば画像背景に依存し、前景を無視し、分布の変化に対する頑丈さを損なうことが観察されている。
本稿では,モデルが前景オブジェクトに注目するように,モデルの関連性信号を監視して操作することを提案する。
これは、画像とそれに関連する前景マスクからなる比較的少数のサンプルを含む、微調整のステップとして行われる。
論文 参考訳（メタデータ） (2022-06-02T17:24:48Z) - Visual Learning-based Planning for Continuous High-Dimensional POMDPs [81.16442127503517]
Visual Tree Search (VTS)は、オフラインで学習した生成モデルとオンラインモデルベースのPOMDP計画を組み合わせた学習と計画の手順である。
VTSは、モンテカルロの木探索プランナーにおける画像観測の可能性を予測し評価するために、一連の深部生成観測モデルを利用することで、オフラインモデルトレーニングとオンラインプランニングを橋渡しする。
VTSは、異なる観測ノイズに対して堅牢であり、オンラインのモデルベースプランニングを利用するため、再トレーニングを必要とせずに、異なる報酬構造に適応できることを示す。
論文 参考訳（メタデータ） (2021-12-17T11:53:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。