論文の概要: Text Information Aggregation with Centrality Attention

• arxiv url: http://arxiv.org/abs/2011.07916v1
• Date: Mon, 16 Nov 2020 13:08:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-24 23:30:34.330990
• Title: Text Information Aggregation with Centrality Attention
• Title（参考訳）: 中心性を考慮したテキスト情報集約
• Authors: Jingjing Gong, Hang Yan, Yining Zheng, Xipeng Qiu and Xuanjing Huang
• Abstract要約: 本稿では, 固有中央集権自己注意という, 集権重み付けの新たな方法を提案する。 文中のすべての単語に対する完全連結グラフを構築し,各単語の注意点として固有中央性を計算する。
• 参考スコア（独自算出の注目度）: 86.91922440508576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A lot of natural language processing problems need to encode the text sequence as a fix-length vector, which usually involves aggregation process of combining the representations of all the words, such as pooling or self-attention. However, these widely used aggregation approaches did not take higher-order relationship among the words into consideration. Hence we propose a new way of obtaining aggregation weights, called eigen-centrality self-attention. More specifically, we build a fully-connected graph for all the words in a sentence, then compute the eigen-centrality as the attention score of each word. The explicit modeling of relationships as a graph is able to capture some higher-order dependency among words, which helps us achieve better results in 5 text classification tasks and one SNLI task than baseline models such as pooling, self-attention and dynamic routing. Besides, in order to compute the dominant eigenvector of the graph, we adopt power method algorithm to get the eigen-centrality measure. Moreover, we also derive an iterative approach to get the gradient for the power method process to reduce both memory consumption and computation requirement.}
• Abstract（参考訳）: 自然言語処理の多くの問題は、テキストシーケンスを固定長ベクトルとしてエンコードする必要がある。 しかし、これらの広く使われる集約アプローチは、単語間の高次関係を考慮に入れていない。 そこで本研究では,固有中央集権自己注意という,集約重みを求める新しい手法を提案する。 より具体的には、文中のすべての単語に対する完全連結グラフを構築し、各単語の注意点として固有中央性を計算する。 グラフとして関係を明示的にモデル化することで,単語間の高階依存を捉えることができ,プーリングや自己注意,動的ルーティングといったベースラインモデルよりも,5つのテキスト分類タスクと1つのSNLIタスクにおいて,よりよい結果が得られる。 さらに,グラフの固有ベクトルを計算するために,固有分散度測定値を得るためにパワーメソッドアルゴリズムを採用する。 さらに,メモリ消費と計算要求の両方を減らすために電力法プロセスの勾配を得るための反復的アプローチも導出する。 }

関連論文リスト

• Ensemble Quadratic Assignment Network for Graph Matching [52.20001802006391]
  グラフマッチングはコンピュータビジョンやパターン認識において一般的に用いられる技法である。 最近のデータ駆動型アプローチは、グラフマッチングの精度を著しく改善した。 データ駆動手法と従来の手法の利点を組み合わせたグラフニューラルネットワーク(GNN)に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2024-03-11T06:34:05Z)
• Conversational Semantic Parsing using Dynamic Context Graphs [68.72121830563906]
  汎用知識グラフ(KG)を用いた会話意味解析の課題を,数百万のエンティティと数千のリレーショナルタイプで検討する。 ユーザ発話を実行可能な論理形式にインタラクティブにマッピングできるモデルに焦点を当てる。
  論文  参考訳（メタデータ） (2023-05-04T16:04:41Z)
• ClusterFuG: Clustering Fully connected Graphs by Multicut [20.254912065749956]
  密マルチカットでは、クラスタリングの目的はノード特徴ベクトルの内部積として分解形式で与えられる。 我々は、密集した環境でのマルチカットのための古典的欲求アルゴリズムの書き直し方法と、より効率とソリューションの品質を高めるためにそれらをどう修正するかを示す。
  論文  参考訳（メタデータ） (2023-01-28T11:10:50Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Towards Efficient Scene Understanding via Squeeze Reasoning [71.1139549949694]
  我々はSqueeze Reasoningと呼ばれる新しいフレームワークを提案する。 空間地図上の情報を伝播するのではなく、まず入力特徴をチャネルワイドなグローバルベクトルに絞ることを学ぶ。 提案手法はエンドツーエンドのトレーニングブロックとしてモジュール化可能であり,既存のネットワークに簡単に接続可能であることを示す。
  論文  参考訳（メタデータ） (2020-11-06T12:17:01Z)
• Improving Coreference Resolution by Leveraging Entity-Centric Features with Graph Neural Networks and Second-order Inference [12.115691569576345]
  Coreferentの言及は通常、テキスト全体においてはるかに分散しており、エンティティレベルの機能を組み込むのが困難である。 本稿では,エンティティ中心の情報をキャプチャ可能なグラフニューラルネットワークに基づくコア参照分解法を提案する。 グローバル推論アルゴリズムは、クラスタの参照を一貫したグループに最適化する。
  論文  参考訳（メタデータ） (2020-09-10T02:22:21Z)
• Gossip and Attend: Context-Sensitive Graph Representation Learning [0.5493410630077189]
  グラフ表現学習(GRL)は、高次元かつしばしばスパースグラフの低次元ベクトル表現を学習する強力な手法である。 本稿では,Gossip通信にインスパイアされた文脈依存型アルゴリズムGOATと,グラフの構造上の相互注意機構を提案する。
  論文  参考訳（メタデータ） (2020-03-30T18:23:26Z)
• GATCluster: Self-Supervised Gaussian-Attention Network for Image Clustering [9.722607434532883]
  画像クラスタリングのための自己教師型クラスタリングネットワーク(GATCluster)を提案する。 まず中間機能を抽出し、次に従来のクラスタリングを実行する代わりに、GATClusterセマンティッククラスタラベルを後処理なしで実行します。 大規模画像のクラスタリングにメモリ効率のよい2段階学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-02-27T00:57:18Z)
• Quantized Decentralized Stochastic Learning over Directed Graphs [52.94011236627326]
  有向グラフ上で通信する計算ノード間でデータポイントが分散される分散学習問題を考える。 モデルのサイズが大きくなるにつれて、分散学習は、各ノードが隣人にメッセージ(モデル更新)を送信することによる通信負荷の大きなボトルネックに直面します。 本稿では,分散コンセンサス最適化におけるプッシュサムアルゴリズムに基づく有向グラフ上の量子化分散学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-23T18:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。