論文の概要: Attention improves concentration when learning node embeddings

• arxiv url: http://arxiv.org/abs/2006.06834v1
• Date: Thu, 11 Jun 2020 21:21:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 12:48:32.577100
• Title: Attention improves concentration when learning node embeddings
• Title（参考訳）: ノード埋め込み学習時の集中度向上への注意
• Authors: Matthew Dippel, Adam Kiezun, Tanay Mehta, Ravi Sundaram, Srikanth Thirumalai, Akshar Varma
• Abstract要約: 検索クエリテキストでラベル付けされたノードを考えると、製品を共有する関連クエリへのリンクを予測したい。 様々なディープニューラルネットワークを用いた実験では、注意機構を備えた単純なフィードフォワードネットワークが埋め込み学習に最適であることが示されている。 本稿では,クエリ生成モデルであるAttESTを提案する。このモデルでは,製品とクエリテキストの両方を,潜在空間に埋め込まれたベクトルとして見ることができる。
• 参考スコア（独自算出の注目度）: 1.2233362977312945
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the problem of predicting edges in a graph from node attributes in an e-commerce setting. Specifically, given nodes labelled with search query text, we want to predict links to related queries that share products. Experiments with a range of deep neural architectures show that simple feedforward networks with an attention mechanism perform best for learning embeddings. The simplicity of these models allows us to explain the performance of attention. We propose an analytically tractable model of query generation, AttEST, that views both products and the query text as vectors embedded in a latent space. We prove (and empirically validate) that the point-wise mutual information (PMI) matrix of the AttEST query text embeddings displays a low-rank behavior analogous to that observed in word embeddings. This low-rank property allows us to derive a loss function that maximizes the mutual information between related queries which is used to train an attention network to learn query embeddings. This AttEST network beats traditional memory-based LSTM architectures by over 20% on F-1 score. We justify this out-performance by showing that the weights from the attention mechanism correlate strongly with the weights of the best linear unbiased estimator (BLUE) for the product vectors, and conclude that attention plays an important role in variance reduction.
• Abstract（参考訳）: 我々は,電子商取引におけるノード属性からグラフのエッジを予測する問題を考える。 具体的には,検索クエリテキストをラベル付けしたノードに対して,製品を共有する関連クエリへのリンクを予測したい。 深層ニューラルネットワークを用いた実験では、注意機構を持つ単純なフィードフォワードネットワークが埋め込み学習に最適であることが示されている。 これらのモデルの単純さによって、注意力のパフォーマンスが説明できる。 本稿では,クエリ生成モデルであるAttESTを提案する。このモデルでは,製品とクエリテキストの両方を,潜在空間に埋め込まれたベクトルとして見ることができる。 AttESTクエリテキスト埋め込みのポイントワイド相互情報(PMI)行列は、単語埋め込みと類似した低ランクな振る舞いを示すことを実証(実証的検証)する。 この低ランク特性により,アテンションネットワークをトレーニングしてクエリ埋め込みを学習する関連クエリ間の相互情報を最大化するロス関数を導出することができる。 AttESTネットワークは、従来のメモリベースのLSTMアーキテクチャをF-1スコアで20%以上上回っている。 注意機構の重みが積ベクトルに対する最良の線形偏差推定器(BLUE)の重みと強く相関していることを示し、注意が分散還元に重要な役割を果たしていると結論付けることにより、この非性能を正当化する。

関連論文リスト

• Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
  本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。 注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-09-20T07:41:47Z)
• Learning Feature Matching via Matchable Keypoint-Assisted Graph Neural Network [52.29330138835208]
  画像のペア間の局所的な特徴の正確なマッチングは、コンピュータビジョンの課題である。 従来の研究では、注意に基づくグラフニューラルネットワーク(GNN)と、画像内のキーポイントに完全に接続されたグラフを使用するのが一般的だった。 本稿では,非繰り返しキーポイントをバイパスし,マッチング可能なキーポイントを利用してメッセージパッシングを誘導する,疎注意に基づくGNNアーキテクチャであるMaKeGNNを提案する。
  論文  参考訳（メタデータ） (2023-07-04T02:50:44Z)
• AU-aware graph convolutional network for Macro- and Micro-expression spotting [44.507747407072685]
  我々はAUW-GCN(Action-Unit-aWare Graph Convolutional Network)と呼ばれるグラフ畳み込み型ネットワークを提案する。 先行情報を注入し、小さなデータセットの問題に対処するために、AU関連統計データをネットワークにエンコードする。 その結果, 2つのベンチマークデータセットにおいて, ベースライン手法を一貫して向上させ, 新たなSOTA性能を実現することができた。
  論文  参考訳（メタデータ） (2023-03-16T07:00:36Z)
• Revisiting Attention Weights as Explanations from an Information Theoretic Perspective [4.499369811647602]
  注意機構は、他のモデル要素と慎重に組み合わせた場合、説明をモデル化するためのショートカットとして機能する可能性があることを示す。 本研究により,注意機構は,他のモデル要素と慎重に組み合わせた場合,モデル説明のためのショートカットとして機能する可能性が示唆された。
  論文  参考訳（メタデータ） (2022-10-31T12:53:20Z)
• Beyond the Gates of Euclidean Space: Temporal-Discrimination-Fusions and Attention-based Graph Neural Network for Human Activity Recognition [5.600003119721707]
  ウェアラブルデバイスによるヒューマンアクティビティ認識(HAR)は、フィットネストラッキング、ウェルネススクリーニング、生活支援など多くの応用により、大きな関心を集めている。 従来のディープラーニング(DL)は、HARドメインのアートパフォーマンスの状態を規定している。 提案手法はグラフニューラルネットワーク(GNN)を用いて,入力表現を構造化し,サンプル間の関係性を利用する手法である。
  論文  参考訳（メタデータ） (2022-06-10T03:04:23Z)
• Detecting Owner-member Relationship with Graph Convolution Network in Fisheye Camera System [9.665475078766017]
  我々は,グラフ畳み込みネットワーク(GCN)を設計して,革新的な関係予測手法であるDeepWORDを提案する。 実験の結果,提案手法が最先端の精度と実時間性能を達成できることが判明した。
  論文  参考訳（メタデータ） (2022-01-28T13:12:27Z)
• Siamese Attribute-missing Graph Auto-encoder [35.79233150253881]
  我々は,Samese Attribute-missing Graph Auto-Encoder (SAGA)を提案する。 まず、両方のプロセスで学習したパラメータを共有するために、シアムネットワーク構造を導入することで、属性の埋め込みと構造埋め込みを絡み合わせる。 第二に, K-nearest neighbor (KNN) と構造制約強化学習機構を導入し, 欠落属性の潜伏特性の質を向上させる。
  論文  参考訳（メタデータ） (2021-12-09T11:21:31Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• Online Multiple Object Tracking with Cross-Task Synergy [120.70085565030628]
  位置予測と埋め込み結合の相乗効果を考慮した新しい統一モデルを提案する。 この2つのタスクは、時間認識対象の注意と注意の注意、およびアイデンティティ認識メモリ集約モデルによってリンクされる。
  論文  参考訳（メタデータ） (2021-04-01T10:19:40Z)
• SparseBERT: Rethinking the Importance Analysis in Self-attention [107.68072039537311]
  トランスフォーマーベースのモデルは、その強力な能力のために自然言語処理(NLP)タスクに人気がある。 事前学習モデルの注意マップの可視化は,自己着脱機構を理解するための直接的な方法の一つである。 本研究では,sparsebert設計の指導にも適用可能な微分可能アテンションマスク(dam)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:13:44Z)
• A Trainable Optimal Transport Embedding for Feature Aggregation and its Relationship to Attention [96.77554122595578]
  固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。 我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
  論文  参考訳（メタデータ） (2020-06-22T08:35:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。