論文の概要: Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence

• arxiv url: http://arxiv.org/abs/2409.13291v1
• Date: Fri, 20 Sep 2024 07:41:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 07:51:11.332392
• Title: Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence
• Title（参考訳）: 点雲対応のための自己注意重みとしての局所ガウス
• Authors: Alessandro Riva, Alessandro Raganato, Simone Melzi,
• Abstract要約: 本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。 注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
• 参考スコア（独自算出の注目度）: 92.07601770031236
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Current data-driven methodologies for point cloud matching demand extensive training time and computational resources, presenting significant challenges for model deployment and application. In the point cloud matching task, recent advancements with an encoder-only Transformer architecture have revealed the emergence of semantically meaningful patterns in the attention heads, particularly resembling Gaussian functions centered on each point of the input shape. In this work, we further investigate this phenomenon by integrating these patterns as fixed attention weights within the attention heads of the Transformer architecture. We evaluate two variants: one utilizing predetermined variance values for the Gaussians, and another where the variance values are treated as learnable parameters. Additionally we analyze the performances on noisy data and explore a possible way to improve robustness to noise. Our findings demonstrate that fixing the attention weights not only accelerates the training process but also enhances the stability of the optimization. Furthermore, we conducted an ablation study to identify the specific layers where the infused information is most impactful and to understand the reliance of the network on this information.
• Abstract（参考訳）: ポイントクラウドマッチングのための現在のデータ駆動手法は、広範囲なトレーニング時間と計算資源を必要とし、モデルデプロイメントとアプリケーションにとって重要な課題を提示している。 点雲マッチングタスクにおいて、エンコーダのみのトランスフォーマーアーキテクチャによる最近の進歩は、特に入力形状の各点を中心とするガウス関数に類似した、注意頭における意味論的意味のあるパターンの出現を明らかにしている。 本研究では,これらのパターンを,トランスフォーマーアーキテクチャのアテンションヘッドに固定されたアテンション重みとして組み込むことにより,この現象をさらに解明する。 本稿では,ガウシアンに対して所定の分散値を利用する方法と,学習可能なパラメータとして分散値を扱う方法の2つを評価する。 さらに、ノイズデータの性能を分析し、ノイズに対する堅牢性を改善するための可能性を探る。 その結果,注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与することがわかった。 さらに,注入した情報が最も影響のある特定の層を同定し,その情報に対するネットワークの依存度を理解するためのアブレーション実験を行った。

関連論文リスト

• Heterogeneous quantization regularizes spiking neural network activity [0.0]
  本稿では、アナログデータを正規化し、スパイク位相表現に量子化する、データブラインドニューロモルフィック信号条件付け戦略を提案する。 我々は、量子化重みの範囲と密度が蓄積された入力統計に適応するデータ認識キャリブレーションステップを追加することで、このメカニズムを拡張した。
  論文  参考訳（メタデータ） (2024-09-27T02:25:44Z)
• Kriformer: A Novel Spatiotemporal Kriging Approach Based on Graph Transformers [5.4381914710364665]
  本研究は, 環境問題として, スパースセンサの配置と信頼性の低いデータに対処する。 グラフクリフォーマーモデルであるKriformerは、限られた資源であっても、空間的および時間的相関をマイニングすることで、センサのない場所でデータを推定する。
  論文  参考訳（メタデータ） (2024-09-23T11:01:18Z)
• A Simple Background Augmentation Method for Object Detection with Diffusion Model [53.32935683257045]
  コンピュータビジョンでは、データの多様性の欠如がモデル性能を損なうことはよく知られている。 本稿では, 生成モデルの進歩を生かして, 単純かつ効果的なデータ拡張手法を提案する。 背景強化は、特にモデルの堅牢性と一般化能力を大幅に改善する。
  論文  参考訳（メタデータ） (2024-08-01T07:40:00Z)
• Attention as Robust Representation for Time Series Forecasting [23.292260325891032]
  多くの実用化には時系列予測が不可欠である。 トランスフォーマーの重要な特徴、注意機構、データ表現を強化するために動的に埋め込みを融合させ、しばしば注意重みを副産物の役割に還元する。 提案手法は,時系列の主表現として注目重みを高くし,データポイント間の時間的関係を利用して予測精度を向上させる。
  論文  参考訳（メタデータ） (2024-02-08T03:00:50Z)
• Gradient-Based Feature Learning under Structured Data [57.76552698981579]
  異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。 バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。 特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
  論文  参考訳（メタデータ） (2023-09-07T16:55:50Z)
• Inference from Real-World Sparse Measurements [21.194357028394226]
  実世界の問題は、しばしば複雑で非構造的な測定セットが伴うが、これはセンサーが空間または時間に狭く配置されているときに起こる。 セットからセットまで様々な位置で測定セットを処理し、どこででも読み出しを抽出できるディープラーニングアーキテクチャは、方法論的に困難である。 本稿では,適用性と実用的堅牢性に着目したアテンションベースモデルを提案する。
  論文  参考訳（メタデータ） (2022-10-20T13:42:20Z)
• Invariant Causal Mechanisms through Distribution Matching [86.07327840293894]
  本研究では、因果的視点と不変表現を学習するための新しいアルゴリズムを提供する。 実験により,このアルゴリズムは様々なタスク群でうまく動作し,特にドメインの一般化における最先端のパフォーマンスを観察する。
  論文  参考訳（メタデータ） (2022-06-23T12:06:54Z)
• Improving robustness of jet tagging algorithms with adversarial training [56.79800815519762]
  本研究では,フレーバータグ付けアルゴリズムの脆弱性について,敵攻撃による検証を行った。 シミュレーション攻撃の影響を緩和する対人訓練戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-25T19:57:19Z)
• Architectural Optimization and Feature Learning for High-Dimensional Time Series Datasets [0.7388859384645262]
  重力波検出器における過渡ノイズアーチファクトの存在を予測する問題について検討する。 従来の技術と比較して誤差率を60%以上削減するモデルを導入する。
  論文  参考訳（メタデータ） (2022-02-27T23:41:23Z)
• Convolutional generative adversarial imputation networks for spatio-temporal missing data in storm surge simulations [86.5302150777089]
  GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。 提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
  論文  参考訳（メタデータ） (2021-11-03T03:50:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。