Fugu-MT 論文翻訳(概要): Betti numbers of attention graphs is all you really need

論文の概要: Betti numbers of attention graphs is all you really need

arxiv url: http://arxiv.org/abs/2207.01903v1
Date: Tue, 5 Jul 2022 09:10:47 GMT
ステータス: 処理完了
システム内更新日: 2022-07-07 00:45:49.449387
Title: Betti numbers of attention graphs is all you really need
Title（参考訳）: 注意グラフのベティ数は本当に必要なもの
Authors: Laida Kushnareva, Dmitri Piontkovski and Irina Piontkovskaya
Abstract要約: トレーニングされたニューラルネットワークは,従来の分類法と同等の分類結果が得られることを示す。私たちの知る限りでは、自然言語処理に広く使われている注目に基づくニューラルネットワークのトポロジを分析するための最初の試みである。
参考スコア（独自算出の注目度）: 1.933681537640272
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We apply methods of topological analysis to the attention graphs, calculated on the attention heads of the BERT model ( arXiv:1810.04805v2 ). Our research shows that the classifier built upon basic persistent topological features (namely, Betti numbers) of the trained neural network can achieve classification results on par with the conventional classification method. We show the relevance of such topological text representation on three text classification benchmarks. For the best of our knowledge, it is the first attempt to analyze the topology of an attention-based neural network, widely used for Natural Language Processing.
Abstract（参考訳）: BERTモデル(arXiv:1810.04805v2 )のアテンションヘッド上で計算したアテンショングラフにトポロジカル解析の手法を適用する。ニューラルネットワークの基本的持続的トポロジ的特徴(ベッチ数)に基づいて構築された分類器は,従来の分類法と同等の分類結果が得られることを示す。 3つのテキスト分類ベンチマークにおいて,このようなトポロジカルテキスト表現の関連性を示す。私たちの知る限りでは、自然言語処理に広く使われている注目に基づくニューラルネットワークのトポロジを分析するための最初の試みである。

関連論文リスト

Text classification optimization algorithm based on graph neural network [0.36651088217486427]
本稿では,グラフニューラルネットワークを用いたテキスト分類最適化アルゴリズムを提案する。適応的なグラフ構築戦略と効率的なグラフ畳み込み操作を導入することにより、テキスト分類の精度と効率を効果的に向上する。
論文参考訳（メタデータ） (2024-08-09T23:25:37Z)
GNN-LoFI: a Novel Graph Neural Network through Localized Feature-based Histogram Intersection [51.608147732998994]
グラフニューラルネットワークは、グラフベースの機械学習の選択フレームワークになりつつある。本稿では,古典的メッセージパッシングに代えて,ノード特徴の局所分布を解析するグラフニューラルネットワークアーキテクチャを提案する。
論文参考訳（メタデータ） (2024-01-17T13:04:23Z)
SimNP: Learning Self-Similarity Priors Between Neural Points [52.4201466988562]
SimNPはカテゴリーレベルの自己相似性を学ぶ方法である。我々は、SimNPが対称な見えない対象領域の再構成において、従来の手法より優れていることを示す。
論文参考訳（メタデータ） (2023-09-07T16:02:40Z)
Graph Neural Networks for Text Classification: A Survey [8.414181339242706]
グラフニューラルネットワークベースのモデルは、複雑な構造化テキストデータに対処し、グローバル情報を利用することができる。コーパスレベルと文書レベルのグラフニューラルネットワークを含む、メソッドのカバレッジを2023年までに提供します。技術調査に加えて,グラフニューラルネットワークを用いたテキスト分類における課題と今後の方向性についても検討する。
論文参考訳（メタデータ） (2023-04-23T04:21:50Z)
Hub-aware Random Walk Graph Embedding Methods for Classification [44.99833362998488]
ノード分類問題に特化して設計されたランダムウォークに基づく2つの新しいグラフ埋め込みアルゴリズムを提案する。提案手法は,実世界のネットワークの埋め込みを訓練した3つの分類アルゴリズムの分類性能を解析して実験的に評価する。
論文参考訳（メタデータ） (2022-09-15T20:41:18Z)
A semantic hierarchical graph neural network for text classification [1.439766998338892]
本稿では,単語レベル,文レベル,文書レベルから対応する情報をそれぞれ抽出する階層型グラフニューラルネットワーク(HieGNN)を提案する。いくつかのベンチマークデータセットの実験結果は、いくつかのベースライン手法と比較して、より良い、または類似した結果が得られる。
論文参考訳（メタデータ） (2022-09-15T03:59:31Z)
Self-Supervised Graph Representation Learning for Neuronal Morphologies [75.38832711445421]
ラベルのないデータセットから3次元神経形態の低次元表現を学習するためのデータ駆動型アプローチであるGraphDINOを提案する。 2つの異なる種と複数の脳領域において、この方法では、専門家による手動の特徴に基づく分類と同程度に形態学的細胞型クラスタリングが得られることを示す。提案手法は,大規模データセットにおける新しい形態的特徴や細胞型の発見を可能にする可能性がある。
論文参考訳（メタデータ） (2021-12-23T12:17:47Z)
Joint Graph Learning and Matching for Semantic Feature Correspondence [69.71998282148762]
本稿では,グラフマッチングを向上するための信頼度の高いグラフ構造を探索するために,GLAMという共用電子グラフ学習とマッチングネットワークを提案する。提案手法は,3つの人気ビジュアルマッチングベンチマーク (Pascal VOC, Willow Object, SPair-71k) で評価される。すべてのベンチマークにおいて、従来の最先端のグラフマッチング手法よりも大きなマージンを達成している。
論文参考訳（メタデータ） (2021-09-01T08:24:02Z)
Be More with Less: Hypergraph Attention Networks for Inductive Text Classification [56.98218530073927]
グラフニューラルネットワーク(GNN)は、研究コミュニティで注目され、この標準タスクで有望な結果を実証している。成功にもかかわらず、それらのパフォーマンスは、単語間の高次相互作用をキャプチャできないため、実際は大部分が危険に晒される可能性がある。本稿では,テキスト表現学習において,少ない計算量でより表現力の高いハイパーグラフアテンションネットワーク(HyperGAT)を提案する。
論文参考訳（メタデータ） (2020-11-01T00:21:59Z)
A Topological Framework for Deep Learning [0.7310043452300736]
機械学習における分類問題は、非常に穏やかな条件下では常に解決可能であることを示す。特に,ソフトマックス分類ネットワークは,有限列の位相移動によって入力位相空間に作用し,その分類処理を実現する。
論文参考訳（メタデータ） (2020-08-31T15:56:42Z)
Structured Landmark Detection via Topology-Adapting Deep Graph Learning [75.20602712947016]
解剖学的顔と医学的ランドマーク検出のための新しいトポロジ適応深層グラフ学習手法を提案する。提案手法は局所像特徴と大域形状特徴の両方を利用するグラフ信号を構成する。 3つの公開顔画像データセット(WFLW、300W、COFW-68)と3つの現実世界のX線医学データセット(ケパロメトリ、ハンド、ペルビス)で実験を行った。
論文参考訳（メタデータ） (2020-04-17T11:55:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。