論文の概要: Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence
- arxiv url: http://arxiv.org/abs/2409.13291v1
- Date: Fri, 20 Sep 2024 07:41:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-09-26 02:50:58.388949
- Title: Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence
- Title(参考訳): 点雲対応のための自己注意重みとしての局所ガウス
- Authors: Alessandro Riva, Alessandro Raganato, Simone Melzi,
- Abstract要約: 本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。
注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
- 参考スコア(独自算出の注目度): 92.07601770031236
- License:
- Abstract: Current data-driven methodologies for point cloud matching demand extensive training time and computational resources, presenting significant challenges for model deployment and application. In the point cloud matching task, recent advancements with an encoder-only Transformer architecture have revealed the emergence of semantically meaningful patterns in the attention heads, particularly resembling Gaussian functions centered on each point of the input shape. In this work, we further investigate this phenomenon by integrating these patterns as fixed attention weights within the attention heads of the Transformer architecture. We evaluate two variants: one utilizing predetermined variance values for the Gaussians, and another where the variance values are treated as learnable parameters. Additionally we analyze the performances on noisy data and explore a possible way to improve robustness to noise. Our findings demonstrate that fixing the attention weights not only accelerates the training process but also enhances the stability of the optimization. Furthermore, we conducted an ablation study to identify the specific layers where the infused information is most impactful and to understand the reliance of the network on this information.
- Abstract(参考訳): ポイントクラウドマッチングのための現在のデータ駆動手法は、広範囲なトレーニング時間と計算資源を必要とし、モデルデプロイメントとアプリケーションにとって重要な課題を提示している。
点雲マッチングタスクにおいて、エンコーダのみのトランスフォーマーアーキテクチャによる最近の進歩は、特に入力形状の各点を中心とするガウス関数に類似した、注意頭における意味論的意味のあるパターンの出現を明らかにしている。
本研究では,これらのパターンを,トランスフォーマーアーキテクチャのアテンションヘッドに固定されたアテンション重みとして組み込むことにより,この現象をさらに解明する。
本稿では,ガウシアンに対して所定の分散値を利用する方法と,学習可能なパラメータとして分散値を扱う方法の2つを評価する。
さらに、ノイズデータの性能を分析し、ノイズに対する堅牢性を改善するための可能性を探る。
その結果,注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与することがわかった。
さらに,注入した情報が最も影響のある特定の層を同定し,その情報に対するネットワークの依存度を理解するためのアブレーション実験を行った。
関連論文リスト
- Attention as Robust Representation for Time Series Forecasting [23.292260325891032]
多くの実用化には時系列予測が不可欠である。
トランスフォーマーの重要な特徴、注意機構、データ表現を強化するために動的に埋め込みを融合させ、しばしば注意重みを副産物の役割に還元する。
提案手法は,時系列の主表現として注目重みを高くし,データポイント間の時間的関係を利用して予測精度を向上させる。
論文 参考訳(メタデータ) (2024-02-08T03:00:50Z) - Surprisal Driven $k$-NN for Robust and Interpretable Nonparametric
Learning [1.4293924404819704]
我々は情報理論の観点から、隣り合う従来のアルゴリズムに新たな光を当てた。
単一モデルを用いた分類,回帰,密度推定,異常検出などのタスクに対する頑健で解釈可能なフレームワークを提案する。
我々の研究は、分類と異常検出における最先端の成果を達成することによって、アーキテクチャの汎用性を示す。
論文 参考訳(メタデータ) (2023-11-17T00:35:38Z) - Gradient-Based Feature Learning under Structured Data [57.76552698981579]
異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。
バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。
特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
論文 参考訳(メタデータ) (2023-09-07T16:55:50Z) - Graph Neural Processes for Spatio-Temporal Extrapolation [36.01312116818714]
グラフ内の周囲のコンテキストから対象地点のデータを生成する補間時間プロセスのタスクについて検討する。
既存の手法では、ニューラルネットワークのような学習に精通したモデルや、ガウスのような統計的アプローチが使用されている。
本稿では,これらの機能を同時に制御するニューラル潜在変数モデルであるスポースグラフニューラル・プロセス(STGNP)を提案する。
論文 参考訳(メタデータ) (2023-05-30T03:55:37Z) - Inference from Real-World Sparse Measurements [21.194357028394226]
実世界の問題は、しばしば複雑で非構造的な測定セットが伴うが、これはセンサーが空間または時間に狭く配置されているときに起こる。
セットからセットまで様々な位置で測定セットを処理し、どこででも読み出しを抽出できるディープラーニングアーキテクチャは、方法論的に困難である。
本稿では,適用性と実用的堅牢性に着目したアテンションベースモデルを提案する。
論文 参考訳(メタデータ) (2022-10-20T13:42:20Z) - Invariant Causal Mechanisms through Distribution Matching [86.07327840293894]
本研究では、因果的視点と不変表現を学習するための新しいアルゴリズムを提供する。
実験により,このアルゴリズムは様々なタスク群でうまく動作し,特にドメインの一般化における最先端のパフォーマンスを観察する。
論文 参考訳(メタデータ) (2022-06-23T12:06:54Z) - Improving robustness of jet tagging algorithms with adversarial training [56.79800815519762]
本研究では,フレーバータグ付けアルゴリズムの脆弱性について,敵攻撃による検証を行った。
シミュレーション攻撃の影響を緩和する対人訓練戦略を提案する。
論文 参考訳(メタデータ) (2022-03-25T19:57:19Z) - Information-Theoretic Odometry Learning [83.36195426897768]
生体計測推定を目的とした学習動機付け手法のための統合情報理論フレームワークを提案する。
提案フレームワークは情報理論言語の性能評価と理解のためのエレガントなツールを提供する。
論文 参考訳(メタデータ) (2022-03-11T02:37:35Z) - Architectural Optimization and Feature Learning for High-Dimensional
Time Series Datasets [0.7388859384645262]
重力波検出器における過渡ノイズアーチファクトの存在を予測する問題について検討する。
従来の技術と比較して誤差率を60%以上削減するモデルを導入する。
論文 参考訳(メタデータ) (2022-02-27T23:41:23Z) - Convolutional generative adversarial imputation networks for
spatio-temporal missing data in storm surge simulations [86.5302150777089]
GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。
提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
論文 参考訳(メタデータ) (2021-11-03T03:50:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。