論文の概要: Activating Self-Attention for Multi-Scene Absolute Pose Regression
- arxiv url: http://arxiv.org/abs/2411.01443v2
- Date: Mon, 18 Nov 2024 02:45:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-19 14:29:04.491038
- Title: Activating Self-Attention for Multi-Scene Absolute Pose Regression
- Title（参考訳）: 多面的絶対値回帰のための自己注意の活性化
- Authors: Miso Lee, Jihwan Kim, Jae-Pil Heo,
- Abstract要約: マルチシーン絶対ポーズ回帰は、高速でメモリ効率のよいカメラポーズ推定の需要に対処する。
変圧器エンコーダは、崩壊した自己アテンションマップのために未利用である。
クエリとキーをアライメントし、クエリキー空間の歪みを防止できる補助的損失を示す。
- 参考スコア（独自算出の注目度）: 21.164101507575186
- License:
- Abstract: Multi-scene absolute pose regression addresses the demand for fast and memory-efficient camera pose estimation across various real-world environments. Nowadays, transformer-based model has been devised to regress the camera pose directly in multi-scenes. Despite its potential, transformer encoders are underutilized due to the collapsed self-attention map, having low representation capacity. This work highlights the problem and investigates it from a new perspective: distortion of query-key embedding space. Based on the statistical analysis, we reveal that queries and keys are mapped in completely different spaces while only a few keys are blended into the query region. This leads to the collapse of the self-attention map as all queries are considered similar to those few keys. Therefore, we propose simple but effective solutions to activate self-attention. Concretely, we present an auxiliary loss that aligns queries and keys, preventing the distortion of query-key space and encouraging the model to find global relations by self-attention. In addition, the fixed sinusoidal positional encoding is adopted instead of undertrained learnable one to reflect appropriate positional clues into the inputs of self-attention. As a result, our approach resolves the aforementioned problem effectively, thus outperforming existing methods in both outdoor and indoor scenes.
- Abstract（参考訳）: マルチシーン絶対ポーズ回帰は、様々な実環境における高速でメモリ効率のよいカメラポーズ推定の需要に対処する。
今日では、トランスフォーマーをベースとしたモデルが、カメラのポーズを直接マルチシーンで再現するために考案されている。
その可能性にもかかわらず、トランスフォーマーエンコーダは、表現能力の低い自己アテンションマップが崩壊したため、未利用である。
この研究は問題を強調し、新しい視点、すなわちクエリキーの埋め込み空間の歪みを調査する。
統計的解析により,クエリとキーは完全に異なる空間にマッピングされ,クエリ領域に数個のキーが混在していることが明らかとなった。
これは、全てのクエリがこれらのいくつかのキーと類似していると考えられるので、自己アテンションマップの崩壊につながる。
そこで本研究では,自己注意を活性化するためのシンプルだが効果的なソリューションを提案する。
具体的には、クエリとキーの整列、クエリキー空間の歪みの防止、自己注意によるグローバルな関係の発見を促す補助的損失を示す。
さらに、自己注意の入力に適切な位置手がかりを反映させるために、訓練されていない学習可能ではなく、固定正弦波位置符号化を採用する。
その結果,提案手法は上記の課題を効果的に解決し,屋外と屋内の両方で既存の手法よりも優れていた。
関連論文リスト
- ADen: Adaptive Density Representations for Sparse-view Camera Pose Estimation [17.097170273209333]
画像からカメラのポーズを復元することは、3Dコンピュータビジョンの基本課題である。
最近のデータ駆動型アプローチは、6DoFカメラのポーズを後退させたり、回転を確率分布として定式化したりすることで、カメラのポーズを直接出力することを目指している。
本稿では, ジェネレータと識別器を用いて2つのフレームワークを統合することを提案する。
論文 参考訳（メタデータ） (2024-08-16T22:45:46Z) - GLACE: Global Local Accelerated Coordinate Encoding [66.87005863868181]
シーン座標回帰法は小規模なシーンでは有効であるが、大規模シーンでは重大な課題に直面している。
本研究では,事前学習したグローバルおよびローカルのエンコーディングを統合したGLACEを提案する。
提案手法は,低マップサイズモデルを用いて,大規模シーンにおける最先端結果を実現する。
論文 参考訳（メタデータ） (2024-06-06T17:59:50Z) - DiffUHaul: A Training-Free Method for Object Dragging in Images [78.93531472479202]
DiffUHaulと呼ばれるオブジェクトドラッグタスクのためのトレーニング不要な手法を提案する。
まず、各認知段階に注意マスキングを適用して、各生成を異なるオブジェクトにまたがってよりゆがみやすくする。
初期のデノナイジングステップでは、ソース画像とターゲット画像の注意特徴を補間して、新しいレイアウトを元の外観とスムーズに融合させる。
論文 参考訳（メタデータ） (2024-06-03T17:59:53Z) - Learning Robust Multi-Scale Representation for Neural Radiance Fields
from Unposed Images [65.41966114373373]
コンピュータビジョンにおけるニューラルイメージベースのレンダリング問題に対する改善された解決策を提案する。
提案手法は,テスト時に新たな視点からシーンのリアルなイメージを合成することができる。
論文 参考訳（メタデータ） (2023-11-08T08:18:23Z) - Rethinking Query-Key Pairwise Interactions in Vision Transformers [5.141895475956681]
本稿では,問合せキーの対の相互作用を排除し,注意重みを求めるために計算効率の高い相性ゲートを用いるキーオンリーの注意を提案する。
我々は、ImageNet分類ベンチマークのパラメータ限定設定において、最先端の精度に達する新しい自己注意モデルファミリーLinGlosを開発した。
論文 参考訳（メタデータ） (2022-07-01T03:36:49Z) - KeypointNeRF: Generalizing Image-based Volumetric Avatars using Relative
Spatial Encoding of Keypoints [28.234772596912165]
スパースビューから高忠実度体積アバターをモデル化するための高効率なアプローチを提案する。
鍵となるアイデアの1つは、スパース3Dキーポイントを介して相対空間の3D情報を符号化することである。
実験の結果,先行作業における誤りの大部分は,空間符号化の不適切な選択に起因することがわかった。
論文 参考訳（メタデータ） (2022-05-10T15:57:03Z) - Bottom-Up Human Pose Estimation Via Disentangled Keypoint Regression [81.05772887221333]
従来のキーポイント検出およびグループ化フレームワークに劣る密度の高いキーポイント回帰フレームワークについて検討する。
我々は,dekr(disentangled keypoint regression)という,単純かつ効果的な手法を提案する。
提案手法はキーポイント検出法やグループ化法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-04-06T05:54:46Z) - Paying Attention to Activation Maps in Camera Pose Regression [4.232614032390374]
カメラポーズ回帰手法は、クエリ画像に単一のフォワードパスを適用してカメラポーズを推定する。
畳み込みアクティベーションマップをシーケンシャル入力として使用するポーズ回帰のための注意に基づくアプローチを提案する。
提案手法は,現代のポーズレグレッサー方式に好適に比較し,複数のベンチマークにまたがる最先端の精度を実現する。
論文 参考訳（メタデータ） (2021-03-21T20:10:15Z) - Pose Guided Person Image Generation with Hidden p-Norm Regression [113.41144529452663]
ポーズ誘導者画像生成タスクを解くための新しいアプローチを提案する。
提案手法では,各アイデンティティに対するポーズ不変特徴行列を推定し,対象ポーズに条件づけられたターゲットの出現を予測できる。
提案手法は, 上記すべての変種シナリオにおいて, 競合性能を示す。
論文 参考訳（メタデータ） (2021-02-19T17:03:54Z) - Self-supervised Human Detection and Segmentation via Multi-view
Consensus [116.92405645348185]
本稿では,トレーニング中に幾何学的制約を多視点一貫性という形で組み込むマルチカメラフレームワークを提案する。
本手法は,標準ベンチマークから視覚的に外れた画像に対して,最先端の自己監視的人物検出とセグメンテーション技術に勝ることを示す。
論文 参考訳（メタデータ） (2020-12-09T15:47:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。