論文の概要: Learning Cluster Patterns for Abstractive Summarization

• arxiv url: http://arxiv.org/abs/2202.10967v1
• Date: Tue, 22 Feb 2022 15:15:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-23 15:37:12.885063
• Title: Learning Cluster Patterns for Abstractive Summarization
• Title（参考訳）: 抽象要約のためのクラスタパターンの学習
• Authors: Sung-Guk Jo, Jeong-Jae Kim and Byung-Won On
• Abstract要約: そこで我々は,デコーダがより有意な文脈ベクトルに参加できるような,有意なコンテキストベクトルと非有意なコンテキストベクトルの2つのクラスタについて考察する。 そこで本研究では,エンコーダとデコーダの間の新たなクラスタリングトランスフォーマ層を提案し,まず2つの正則ベクトルと非正則ベクトルのクラスタを生成し,次にクラスタを正規化し,遅延空間で分割する。 実験結果から,提案モデルは,これらの異なるクラスタパターンを学習することにより,既存のBARTモデルよりも優れた性能を示すことが示された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Nowadays, pre-trained sequence-to-sequence models such as BERTSUM and BART have shown state-of-the-art results in abstractive summarization. In these models, during fine-tuning, the encoder transforms sentences to context vectors in the latent space and the decoder learns the summary generation task based on the context vectors. In our approach, we consider two clusters of salient and non-salient context vectors, using which the decoder can attend more to salient context vectors for summary generation. For this, we propose a novel clustering transformer layer between the encoder and the decoder, which first generates two clusters of salient and non-salient vectors, and then normalizes and shirinks the clusters to make them apart in the latent space. Our experimental result shows that the proposed model outperforms the existing BART model by learning these distinct cluster patterns, improving up to 4% in ROUGE and 0.3% in BERTScore on average in CNN/DailyMail and XSUM data sets.
• Abstract（参考訳）: 現在、BERTSUMやBARTのような事前訓練されたシーケンス・ツー・シーケンスモデルは、抽象的な要約の最先端の結果を示している。 これらのモデルでは、微調整の間、エンコーダは文を潜在空間の文脈ベクトルに変換し、デコーダは文脈ベクトルに基づいて要約生成タスクを学習する。 提案手法では,デコーダがより有意な文脈ベクトルに参加できるような,有意な文脈ベクトルと非有意な文脈ベクトルの2つのクラスタを考える。 そこで本研究では,エンコーダとデコーダの間の新たなクラスタリングトランスフォーマ層を提案し,まず2つの正則ベクトルと非正則ベクトルのクラスタを生成し,次にクラスタを正規化し,遅延空間で分割する。 実験の結果,提案モデルはこれらの異なるクラスタパターンを学習することで既存のBARTモデルよりも優れており,CNN/DailyMailおよびXSUMデータセットで平均4%,BERTScoreで0.3%向上した。

関連論文リスト

• Vector Quantized Wasserstein Auto-Encoder [57.29764749855623]
  生成的視点から深層離散表現を学習する。 我々は,コードワード列上の離散分布を付与し,コードワード列上の分布をデータ分布に伝達する決定論的デコーダを学習する。 WS 距離のクラスタリングの観点と結びつけて,より優れた,より制御可能なクラスタリングソリューションを実現するための,さらなる理論を開発しています。
  論文  参考訳（メタデータ） (2023-02-12T13:51:36Z)
• Deep Temporal Contrastive Clustering [21.660509622172274]
  本稿では,時間差の深いクラスタリング手法を提案する。 対照的な学習パラダイムを、ディープ時系列クラスタリング研究に取り入れている。 様々な時系列データセットの実験は、最先端技術に対する我々のアプローチの優位性を実証している。
  論文  参考訳（メタデータ） (2022-12-29T16:43:34Z)
• ClusTR: Exploring Efficient Self-attention via Clustering for Vision Transformers [70.76313507550684]
  本稿では,密集自己注意の代替として,コンテンツに基づくスパースアテンション手法を提案する。 具体的には、合計トークン数を減少させるコンテンツベースの方法として、キーとバリュートークンをクラスタ化し、集約する。 結果として得られたクラスタ化されたTokenシーケンスは、元の信号のセマンティックな多様性を保持するが、より少ない計算コストで処理できる。
  論文  参考訳（メタデータ） (2022-08-28T04:18:27Z)
• Large-Margin Representation Learning for Texture Classification [67.94823375350433]
  本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。 テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
  論文  参考訳（メタデータ） (2022-06-17T04:07:45Z)
• Enhancing Latent Space Clustering in Multi-filter Seq2Seq Model: A Reinforcement Learning Approach [0.0]
  クラスタリングアルゴリズムを用いて潜在空間表現を解析する潜時拡張型マルチフィルタセq2seqモデル (LMS2S) を設計する。 セマンティック解析と機械翻訳の実験により,クラスタリングの品質とモデルの性能の正の相関が示された。
  論文  参考訳（メタデータ） (2021-09-25T16:36:31Z)
• Latent Space Energy-Based Model of Symbol-Vector Coupling for Text Generation and Classification [42.5461221309397]
  本稿では,テキスト生成と分類のための遅延空間エネルギーに基づく先行モデルを提案する。 モデルは、連続した潜伏ベクトルに基づいてテキストシーケンスを生成するジェネレータネットワークの上に立つ。 実験により,提案モデルが十分に構造化された有意義な潜在空間を学習できることが実証された。
  論文  参考訳（メタデータ） (2021-08-26T02:31:18Z)
• Clustering by Maximizing Mutual Information Across Views [62.21716612888669]
  本稿では,共同表現学習とクラスタリングを組み合わせた画像クラスタリングのための新しいフレームワークを提案する。 提案手法は,様々な画像データセットにおける最先端の単一ステージクラスタリング手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-07-24T15:36:49Z)
• Neighborhood Contrastive Learning for Novel Class Discovery [79.14767688903028]
  我々は,クラスタリング性能に重要な識別表現を学習するために,Neighborhood Contrastive Learningという新しいフレームワークを構築した。 これらの2つの成分がクラスタリング性能に大きく寄与し、我々のモデルが最先端の手法よりも大きなマージンで優れていることを実験的に実証した。
  論文  参考訳（メタデータ） (2021-06-20T17:34:55Z)
• Variational Auto Encoder Gradient Clustering [0.0]
  近年,ディープニューラルネットワークモデルを用いたクラスタリングが広く研究されている。 本稿では、より良いクラスタリングを実現するために確率関数勾配上昇を使用してデータを処理する方法を検討する。 DBSCANクラスタリングアルゴリズムに基づいて,データに適したクラスタ数を調べるための簡便かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2021-05-11T08:00:36Z)
• Graph Contrastive Clustering [131.67881457114316]
  本稿では,クラスタリングタスクに適用可能な新しいグラフコントラスト学習フレームワークを提案し,gcc(graph constrastive clustering)法を考案した。 特に、グラフラプラシアンに基づくコントラスト損失は、より識別的かつクラスタリングフレンドリーな特徴を学ぶために提案されている。 一方で、よりコンパクトなクラスタリング割り当てを学ぶために、グラフベースのコントラスト学習戦略が提案されている。
  論文  参考訳（メタデータ） (2021-04-03T15:32:49Z)
• Event-Driven News Stream Clustering using Entity-Aware Contextual Embeddings [14.225334321146779]
  本稿では,非パラメトリックストリーミングk-meansアルゴリズムの変種であるオンラインニュースストリームクラスタリング手法を提案する。 我々のモデルはスパースと密集した文書表現の組み合わせを使用し、これらの複数の表現に沿って文書とクラスタの類似性を集約する。 事前学習したトランスフォーマモデルにおいて,適切な微調整目標と外部知識を用いることにより,文脈埋め込みの有効性が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2021-01-26T19:58:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。