論文の概要: Coneheads: Hierarchy Aware Attention

• arxiv url: http://arxiv.org/abs/2306.00392v2
• Date: Mon, 4 Dec 2023 01:40:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 23:19:42.404318
• Title: Coneheads: Hierarchy Aware Attention
• Title（参考訳）: コーンヘッド:階層的意識の注意
• Authors: Albert Tseng, Tao Yu, Toni J.B. Liu, Christopher De Sa
• Abstract要約: ドット製品への注目の代替として,コーンアテンションを導入します。 コーンアテンションは双曲錐によって定義される階層の中で、それらの最も低い共通の祖先の深さによって2つの点を関連付ける。 ドット製品注意やその他のベースラインよりもタスクレベルのパフォーマンスが向上することを示す。
• 参考スコア（独自算出の注目度）: 40.685504511826885
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Attention networks such as transformers have achieved state-of-the-art performance in many domains. These networks rely heavily on the dot product attention operator, which computes the similarity between two points by taking their inner product. However, the inner product does not explicitly model the complex structural properties of real world datasets, such as hierarchies between data points. To remedy this, we introduce cone attention, a drop-in replacement for dot product attention based on hyperbolic entailment cones. Cone attention associates two points by the depth of their lowest common ancestor in a hierarchy defined by hyperbolic cones, which intuitively measures the divergence of two points and gives a hierarchy aware similarity score. We test cone attention on a wide variety of models and tasks and show that it improves task-level performance over dot product attention and other baselines, and is able to match dot-product attention with significantly fewer parameters. Our results suggest that cone attention is an effective way to capture hierarchical relationships when calculating attention.
• Abstract（参考訳）: 変圧器のような注意ネットワークは多くの領域で最先端の性能を達成した。 これらのネットワークはドット積の注意演算子に大きく依存しており、2点間の類似性を計算する。 しかし、内部積は、データポイント間の階層のような実世界のデータセットの複雑な構造的性質を明示的にモデル化しない。 そこで本研究では,双曲円錐に基づくドット製品注目のためのドロップイン代替であるコーンアテンションを提案する。 コーンアテンションは双曲円錐によって定義される階層において、最も低い共通の祖先の深さによって2つの点を関連付け、2つの点の発散を直感的に測定し、階層を意識した類似度スコアを与える。 我々は,多種多様なモデルやタスクに注意を払って,ドット製品の注意点やその他の基準点よりもタスクレベルのパフォーマンスが向上し,ドット製品の注意点をパラメータの少ないものに合わせることができることを示す。 この結果から,コーンアテンションは注目度を計算する上で,階層的関係を捉える効果的な方法であることが示唆された。

関連論文リスト

• Unifying Feature and Cost Aggregation with Transformers for Semantic and Visual Correspondence [51.54175067684008]
  本稿では,高密度マッチングタスク用に設計されたTransformerベースの積分機能とコスト集約ネットワークを提案する。 まず, 特徴集約とコスト集約が異なる特徴を示し, 双方の集約プロセスの司法的利用から生じる実質的な利益の可能性を明らかにした。 本フレームワークは意味マッチングのための標準ベンチマークで評価され,また幾何マッチングにも適用された。
  論文  参考訳（メタデータ） (2024-03-17T07:02:55Z)
• Learning Feature Matching via Matchable Keypoint-Assisted Graph Neural Network [52.29330138835208]
  画像のペア間の局所的な特徴の正確なマッチングは、コンピュータビジョンの課題である。 従来の研究では、注意に基づくグラフニューラルネットワーク(GNN)と、画像内のキーポイントに完全に接続されたグラフを使用するのが一般的だった。 本稿では,非繰り返しキーポイントをバイパスし,マッチング可能なキーポイントを利用してメッセージパッシングを誘導する,疎注意に基づくGNNアーキテクチャであるMaKeGNNを提案する。
  論文  参考訳（メタデータ） (2023-07-04T02:50:44Z)
• Integrative Feature and Cost Aggregation with Transformers for Dense Correspondence [63.868905184847954]
  現在の最先端はTransformerベースのアプローチで、機能記述子やコストボリュームアグリゲーションに重点を置いている。 本稿では,両形態のアグリゲーションを相互にインターリーブするトランスフォーマーネットワークを提案する。 提案手法が密マッチングタスクに与える影響を評価し,全ての主要なベンチマークで最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-09-19T03:33:35Z)
• Cell Attention Networks [25.72671436731666]
  グラフの頂点上で定義されたデータを操作するニューラルネットワークであるCell Attention Networks (CANs)を紹介する。 CANは、細胞複合体にコードされているように、下部と上部の地区を利用して、2つの独立したマスク付き自己保持機構を設計する。 実験結果から,CANはグラフベースの学習課題における技術結果と同等に比較可能な,低複雑性戦略であることが示唆された。
  論文  参考訳（メタデータ） (2022-09-16T21:57:39Z)
• Augmenting Convolutional networks with attention-based aggregation [55.97184767391253]
  我々は,非局所的推論を実現するために,注目に基づくグローバルマップを用いた畳み込みネットワークの強化方法を示す。 この学習集約層を2つのパラメータ(幅と深さ)でパラメータ化した単純パッチベースの畳み込みネットワークで接続する。 これは、特にメモリ消費の点で、精度と複雑さの間の驚くほど競争力のあるトレードオフをもたらす。
  論文  参考訳（メタデータ） (2021-12-27T14:05:41Z)
• An attention-driven hierarchical multi-scale representation for visual recognition [3.3302293148249125]
  畳み込みニューラルネットワーク(CNN)は、視覚内容の理解に革命をもたらした。 グラフ畳み込みネットワーク(GCN)を探索することにより,高レベルの長距離依存関係を捕捉する手法を提案する。 本手法は,細粒度と総称的な視覚的分類の両問題を解くのに極めて効果的である。
  論文  参考訳（メタデータ） (2021-10-23T09:22:22Z)
• Leveraging redundancy in attention with Reuse Transformers [58.614198953733194]
  Pairwise dot product-based attentionでは、Transformerは入力依存の方法でトークン間で情報を交換することができる。 典型的なTransformerモデルは、同じシーケンスに対してそのようなペアワイズアテンションスコアを何度も計算する。 本稿では,複数の層において1層で計算された注意点を再利用する新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-10-13T16:08:02Z)
• Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks [34.32609892928909]
  外部注意と呼ばれる新しい注意機構を,外部的,小さく,学習可能,共有的記憶の2つに基づいて提案する。 提案手法は,自己保持機構とその変種に匹敵する性能を有し,計算コストとメモリコストを大幅に低減する。
  論文  参考訳（メタデータ） (2021-05-05T22:29:52Z)
• Attention improves concentration when learning node embeddings [1.2233362977312945]
  検索クエリテキストでラベル付けされたノードを考えると、製品を共有する関連クエリへのリンクを予測したい。 様々なディープニューラルネットワークを用いた実験では、注意機構を備えた単純なフィードフォワードネットワークが埋め込み学習に最適であることが示されている。 本稿では,クエリ生成モデルであるAttESTを提案する。このモデルでは,製品とクエリテキストの両方を,潜在空間に埋め込まれたベクトルとして見ることができる。
  論文  参考訳（メタデータ） (2020-06-11T21:21:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。