論文の概要: Continuous Decomposition of Granularity for Neural Paraphrase Generation
- arxiv url: http://arxiv.org/abs/2209.01765v1
- Date: Mon, 5 Sep 2022 05:02:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-07 13:31:43.923285
- Title: Continuous Decomposition of Granularity for Neural Paraphrase Generation
- Title(参考訳): ニューラルパラフレーズ生成のための粒度の連続分解
- Authors: Xiaodong Gu, Zhaowei Zhang, Sang-Woo Lee, Kang Min Yoo, Jung-Woo Ha
- Abstract要約: ニューラルパラフレーズ生成のための粒度連続分解法(C-DNPG)を提案する。
C-DNPGは、多頭部自己注意を拡張した粒度認識機構(GA-Attention)を導入している。
Quoraの質問ペアとTwitterのURLを含む2つのベンチマークの実験では、C-DNPGがベースラインモデルを上回っていることが示されている。
- 参考スコア(独自算出の注目度): 26.05252697808379
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While Transformers have had significant success in paragraph generation, they
treat sentences as linear sequences of tokens and often neglect their
hierarchical information. Prior work has shown that decomposing the levels of
granularity~(e.g., word, phrase, or sentence) for input tokens has produced
substantial improvements, suggesting the possibility of enhancing Transformers
via more fine-grained modeling of granularity. In this work, we propose a
continuous decomposition of granularity for neural paraphrase generation
(C-DNPG). In order to efficiently incorporate granularity into sentence
encoding, C-DNPG introduces a granularity-aware attention (GA-Attention)
mechanism which extends the multi-head self-attention with: 1) a granularity
head that automatically infers the hierarchical structure of a sentence by
neurally estimating the granularity level of each input token; and 2) two novel
attention masks, namely, granularity resonance and granularity scope, to
efficiently encode granularity into attention. Experiments on two benchmarks,
including Quora question pairs and Twitter URLs have shown that C-DNPG
outperforms baseline models by a remarkable margin and achieves
state-of-the-art results in terms of many metrics. Qualitative analysis reveals
that C-DNPG indeed captures fine-grained levels of granularity with
effectiveness.
- Abstract(参考訳): トランスフォーマーは段落世代で大きな成功を収めているが、文をトークンの線形列として扱い、しばしば階層的な情報を無視する。
以前の研究は、入力トークンに対する粒度のレベル~(例えば、単語、フレーズ、文)の分解が大幅に改善され、よりきめ細かい粒度のモデリングによってトランスフォーマーを強化する可能性が示唆されている。
本研究では,ニューラルパラフレーズ生成(C-DNPG)のための粒度連続分解法を提案する。
文の符号化に粒度を効率的に組み込むため、C-DNPGは多頭部自己注意を拡大する粒度認識機構(GA-Attention)を導入する。
1)各入力トークンの粒度レベルを神経的に推定して自動的に文の階層構造を推測する粒度ヘッド,
2)2つの新しい注目マスク,すなわち粒度共鳴と粒度スコープは,注目度を効率よく符号化する。
Quoraの質問ペアとTwitterのURLを含む2つのベンチマークの実験では、C-DNPGはベースラインモデルよりも優れたマージンを示し、多くのメトリクスで最先端の結果を達成する。
定性的分析により、C-DNPGは実際に粒度の細かいレベルを効果的に捉えていることが明らかとなった。
関連論文リスト
- UGMAE: A Unified Framework for Graph Masked Autoencoders [67.75493040186859]
グラフマスク付きオートエンコーダのための統一フレームワークであるUGMAEを提案する。
まず,ノードの特異性を考慮した適応型特徴マスク生成器を開発した。
次に,階層型構造再構成と特徴再構成を併用し,総合的なグラフ情報を取得する。
論文 参考訳(メタデータ) (2024-02-12T19:39:26Z) - Combating Bilateral Edge Noise for Robust Link Prediction [56.43882298843564]
本稿では,RGIB(Robust Graph Information Bottleneck)という情報理論の原則を提案し,信頼性の高い監視信号を抽出し,表現の崩壊を回避する。
RGIB-SSLとRGIB-REPの2つのインスタンス化は、異なる手法の利点を活用するために検討されている。
6つのデータセットと3つのGNNの様々なノイズシナリオによる実験は、我々のRGIBインスタンスの有効性を検証する。
論文 参考訳(メタデータ) (2023-11-02T12:47:49Z) - Interpolation-based Correlation Reduction Network for Semi-Supervised
Graph Learning [49.94816548023729]
補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。
提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。
この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
論文 参考訳(メタデータ) (2022-06-06T14:26:34Z) - Boosting Graph Neural Networks by Injecting Pooling in Message Passing [4.952681349410351]
オーバースムーシングを防止するために,新しい,適応可能な,強力なMPフレームワークを提案する。
我々の両側MPは、ノードのクラス情報を利用して、ペアワイズなモジュラー勾配を推定する。
5つの中規模ベンチマークデータセットの実験から、二値MPは過度なスムーシングを緩和することで性能を向上させることが示されている。
論文 参考訳(メタデータ) (2022-02-08T08:21:20Z) - MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs [55.66953093401889]
Masked Graph Autoencoder (MGAE) フレームワークは、グラフ構造データの効果的な学習を行う。
自己指導型学習から洞察を得て、私たちはランダムに大量のエッジを隠蔽し、トレーニング中に欠落したエッジを再構築しようとします。
論文 参考訳(メタデータ) (2022-01-07T16:48:07Z) - TFill: Image Completion via a Transformer-Based Architecture [69.62228639870114]
画像補完を無方向性シーケンス対シーケンス予測タスクとして扱うことを提案する。
トークン表現には,小かつ重複しないRFを持つ制限型CNNを用いる。
第2フェーズでは、可視領域と発生領域の外観整合性を向上させるために、新しい注意認識層(aal)を導入する。
論文 参考訳(メタデータ) (2021-04-02T01:42:01Z) - Keyphrase Extraction with Dynamic Graph Convolutional Networks and
Diversified Inference [50.768682650658384]
キーワード抽出(KE)は、ある文書でカバーされている概念やトピックを正確に表現するフレーズの集合を要約することを目的としている。
最近のシークエンス・ツー・シークエンス(Seq2Seq)ベースの生成フレームワークはKEタスクで広く使われ、様々なベンチマークで競合性能を得た。
本稿では,この2つの問題を同時に解くために,動的グラフ畳み込みネットワーク(DGCN)を採用することを提案する。
論文 参考訳(メタデータ) (2020-10-24T08:11:23Z) - Hierarchical Message-Passing Graph Neural Networks [12.207978823927386]
本稿では,新しい階層型メッセージパッシンググラフニューラルネットワークフレームワークを提案する。
鍵となるアイデアは、フラットグラフ内のすべてのノードをマルチレベルなスーパーグラフに再編成する階層構造を生成することである。
階層型コミュニティ対応グラフニューラルネットワーク(HC-GNN)と呼ばれる,このフレームワークを実装した最初のモデルを提案する。
論文 参考訳(メタデータ) (2020-09-08T13:11:07Z) - Perturb More, Trap More: Understanding Behaviors of Graph Neural
Networks [8.544938500193494]
TraP2は、訓練されたグラフニューラルネットワーク(GNN)の局所忠実度に基づくポストホックフレームワークである
最先端の手法よりも精度が10.2%高い。
論文 参考訳(メタデータ) (2020-04-21T08:07:01Z) - ENIGMA Anonymous: Symbol-Independent Inference Guiding Machine (system
description) [0.4893345190925177]
本稿では,飽和式自動定理証明器の勾配押し上げと神経誘導の実装について述べる。
勾配ブースティング法では、論理式のアリティに基づく符号化を考慮し、手動で抽象的な特徴を生成できる。
ニューラルネットワークでは,シンボルに依存しないグラフニューラルネットワーク(GNN)と,その用語や節の埋め込みを用いる。
論文 参考訳(メタデータ) (2020-02-13T09:44:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。