論文の概要: Continuous Decomposition of Granularity for Neural Paraphrase Generation

• arxiv url: http://arxiv.org/abs/2209.01765v1
• Date: Mon, 5 Sep 2022 05:02:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-07 13:31:43.923285
• Title: Continuous Decomposition of Granularity for Neural Paraphrase Generation
• Title（参考訳）: ニューラルパラフレーズ生成のための粒度の連続分解
• Authors: Xiaodong Gu, Zhaowei Zhang, Sang-Woo Lee, Kang Min Yoo, Jung-Woo Ha
• Abstract要約: ニューラルパラフレーズ生成のための粒度連続分解法(C-DNPG)を提案する。 C-DNPGは、多頭部自己注意を拡張した粒度認識機構(GA-Attention)を導入している。 Quoraの質問ペアとTwitterのURLを含む2つのベンチマークの実験では、C-DNPGがベースラインモデルを上回っていることが示されている。
• 参考スコア（独自算出の注目度）: 26.05252697808379
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While Transformers have had significant success in paragraph generation, they treat sentences as linear sequences of tokens and often neglect their hierarchical information. Prior work has shown that decomposing the levels of granularity~(e.g., word, phrase, or sentence) for input tokens has produced substantial improvements, suggesting the possibility of enhancing Transformers via more fine-grained modeling of granularity. In this work, we propose a continuous decomposition of granularity for neural paraphrase generation (C-DNPG). In order to efficiently incorporate granularity into sentence encoding, C-DNPG introduces a granularity-aware attention (GA-Attention) mechanism which extends the multi-head self-attention with: 1) a granularity head that automatically infers the hierarchical structure of a sentence by neurally estimating the granularity level of each input token; and 2) two novel attention masks, namely, granularity resonance and granularity scope, to efficiently encode granularity into attention. Experiments on two benchmarks, including Quora question pairs and Twitter URLs have shown that C-DNPG outperforms baseline models by a remarkable margin and achieves state-of-the-art results in terms of many metrics. Qualitative analysis reveals that C-DNPG indeed captures fine-grained levels of granularity with effectiveness.
• Abstract（参考訳）: トランスフォーマーは段落世代で大きな成功を収めているが、文をトークンの線形列として扱い、しばしば階層的な情報を無視する。 以前の研究は、入力トークンに対する粒度のレベル~(例えば、単語、フレーズ、文)の分解が大幅に改善され、よりきめ細かい粒度のモデリングによってトランスフォーマーを強化する可能性が示唆されている。 本研究では,ニューラルパラフレーズ生成(C-DNPG)のための粒度連続分解法を提案する。 文の符号化に粒度を効率的に組み込むため、C-DNPGは多頭部自己注意を拡大する粒度認識機構(GA-Attention)を導入する。 1)各入力トークンの粒度レベルを神経的に推定して自動的に文の階層構造を推測する粒度ヘッド, 2)2つの新しい注目マスク,すなわち粒度共鳴と粒度スコープは,注目度を効率よく符号化する。 Quoraの質問ペアとTwitterのURLを含む2つのベンチマークの実験では、C-DNPGはベースラインモデルよりも優れたマージンを示し、多くのメトリクスで最先端の結果を達成する。 定性的分析により、C-DNPGは実際に粒度の細かいレベルを効果的に捉えていることが明らかとなった。

関連論文リスト

• It Takes Two: Accurate Gait Recognition in the Wild via Cross-granularity Alignment [72.75844404617959]
  本稿では,XGait という新しい粒度アライメント歩行認識手法を提案する。 この目的を達成するために、XGaitはまず2つのバックボーンエンコーダの分岐を含み、シルエットシーケンスとパーシングシーケンスを2つの潜在空間にマッピングする。 2つの大規模な歩行データセットの総合的な実験では、ランク1の精度が80.5%、CCPGが88.3%である。
  論文  参考訳（メタデータ） (2024-11-16T08:54:27Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• Efficient Topology-aware Data Augmentation for High-Degree Graph Neural Networks [2.7523980737007414]
  高次グラフ(HDG)上のグラフニューラルネットワーク(GNN)のための効率的かつ効果的なフロントマウントデータ拡張フレームワークであるTADを提案する。 内部では、(i)構造埋め込みによる機能拡張と(ii)トポロジと属性対応グラフのスパース化という、2つの重要なモジュールが含まれている。 TADAは、ノード分類の観点から8つの実ホモ親和性/ヘテロ親和性HDG上でのメインストリームGNNモデルの予測性能を大幅に改善する。
  論文  参考訳（メタデータ） (2024-06-08T14:14:19Z)
• UGMAE: A Unified Framework for Graph Masked Autoencoders [67.75493040186859]
  グラフマスク付きオートエンコーダのための統一フレームワークであるUGMAEを提案する。 まず,ノードの特異性を考慮した適応型特徴マスク生成器を開発した。 次に,階層型構造再構成と特徴再構成を併用し,総合的なグラフ情報を取得する。
  論文  参考訳（メタデータ） (2024-02-12T19:39:26Z)
• Combating Bilateral Edge Noise for Robust Link Prediction [56.43882298843564]
  本稿では,RGIB(Robust Graph Information Bottleneck)という情報理論の原則を提案し,信頼性の高い監視信号を抽出し,表現の崩壊を回避する。 RGIB-SSLとRGIB-REPの2つのインスタンス化は、異なる手法の利点を活用するために検討されている。 6つのデータセットと3つのGNNの様々なノイズシナリオによる実験は、我々のRGIBインスタンスの有効性を検証する。
  論文  参考訳（メタデータ） (2023-11-02T12:47:49Z)
• Boosting Graph Neural Networks by Injecting Pooling in Message Passing [4.952681349410351]
  オーバースムーシングを防止するために,新しい,適応可能な,強力なMPフレームワークを提案する。 我々の両側MPは、ノードのクラス情報を利用して、ペアワイズなモジュラー勾配を推定する。 5つの中規模ベンチマークデータセットの実験から、二値MPは過度なスムーシングを緩和することで性能を向上させることが示されている。
  論文  参考訳（メタデータ） (2022-02-08T08:21:20Z)
• MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs [55.66953093401889]
  Masked Graph Autoencoder (MGAE) フレームワークは、グラフ構造データの効果的な学習を行う。 自己指導型学習から洞察を得て、私たちはランダムに大量のエッジを隠蔽し、トレーニング中に欠落したエッジを再構築しようとします。
  論文  参考訳（メタデータ） (2022-01-07T16:48:07Z)
• Keyphrase Extraction with Dynamic Graph Convolutional Networks and Diversified Inference [50.768682650658384]
  キーワード抽出(KE)は、ある文書でカバーされている概念やトピックを正確に表現するフレーズの集合を要約することを目的としている。 最近のシークエンス・ツー・シークエンス(Seq2Seq)ベースの生成フレームワークはKEタスクで広く使われ、様々なベンチマークで競合性能を得た。 本稿では,この2つの問題を同時に解くために,動的グラフ畳み込みネットワーク(DGCN)を採用することを提案する。
  論文  参考訳（メタデータ） (2020-10-24T08:11:23Z)
• Hierarchical Message-Passing Graph Neural Networks [12.207978823927386]
  本稿では,新しい階層型メッセージパッシンググラフニューラルネットワークフレームワークを提案する。 鍵となるアイデアは、フラットグラフ内のすべてのノードをマルチレベルなスーパーグラフに再編成する階層構造を生成することである。 階層型コミュニティ対応グラフニューラルネットワーク(HC-GNN)と呼ばれる,このフレームワークを実装した最初のモデルを提案する。
  論文  参考訳（メタデータ） (2020-09-08T13:11:07Z)
• Perturb More, Trap More: Understanding Behaviors of Graph Neural Networks [8.544938500193494]
  TraP2は、訓練されたグラフニューラルネットワーク(GNN)の局所忠実度に基づくポストホックフレームワークである 最先端の手法よりも精度が10.2%高い。
  論文  参考訳（メタデータ） (2020-04-21T08:07:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。