論文の概要: Keywords and Instances: A Hierarchical Contrastive Learning Framework Unifying Hybrid Granularities for Text Generation

• arxiv url: http://arxiv.org/abs/2205.13346v1
• Date: Thu, 26 May 2022 13:26:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-27 22:23:15.537660
• Title: Keywords and Instances: A Hierarchical Contrastive Learning Framework Unifying Hybrid Granularities for Text Generation
• Title（参考訳）: キーワードとインスタンス:テキスト生成のためのハイブリッド粒度を統合する階層的コントラスト学習フレームワーク
• Authors: Mingzhe Li, XieXiong Lin, Xiuying Chen, Jinxiong Chang, Qishen Zhang, Feng Wang, Taifeng Wang, Zhongyi Liu, Wei Chu, Dongyan Zhao, Rui Yan
• Abstract要約: 入力テキスト中のハイブリッドな粒度意味を統一する階層的コントラスト学習機構を提案する。 実験により,本モデルがパラフレージング,対話生成,ストーリーテリングタスクにおいて,競争ベースラインより優れていることが示された。
• 参考スコア（独自算出の注目度）: 59.01297461453444
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive learning has achieved impressive success in generation tasks to militate the "exposure bias" problem and discriminatively exploit the different quality of references. Existing works mostly focus on contrastive learning on the instance-level without discriminating the contribution of each word, while keywords are the gist of the text and dominant the constrained mapping relationships. Hence, in this work, we propose a hierarchical contrastive learning mechanism, which can unify hybrid granularities semantic meaning in the input text. Concretely, we first propose a keyword graph via contrastive correlations of positive-negative pairs to iteratively polish the keyword representations. Then, we construct intra-contrasts within instance-level and keyword-level, where we assume words are sampled nodes from a sentence distribution. Finally, to bridge the gap between independent contrast levels and tackle the common contrast vanishing problem, we propose an inter-contrast mechanism that measures the discrepancy between contrastive keyword nodes respectively to the instance distribution. Experiments demonstrate that our model outperforms competitive baselines on paraphrasing, dialogue generation, and storytelling tasks.
• Abstract（参考訳）: 対照的な学習は、"露出バイアス"問題を緩和し、異なる参照品質を差別的に利用するために、生成タスクにおいて驚くべき成功を収めた。 既存の作品は、各単語の寄与を区別することなく、インスタンスレベルでのコントラスト学習に焦点を当てているのに対して、キーワードはテキストの要点であり、制約されたマッピング関係を支配する。 そこで本研究では,入力テキストにおけるハイブリッドな粒度意味的意味を統一する階層的コントラスト学習機構を提案する。 具体的には,まず正負対の対比相関によってキーワード表現を反復的に洗練するキーワードグラフを提案する。 次に,単語が文分布からサンプリングされたノードであると仮定し,インスタンスレベルとキーワードレベルのコントラストを構成する。 最後に、独立なコントラストレベル間のギャップを橋渡しし、共通コントラスト消滅問題に取り組むために、インスタンス分布に対するコントラストキーワードノード間の不一致を測定するコントラスト間メカニズムを提案する。 実験により,我々のモデルがパラフラージング,対話生成,ストーリーテリングタスクにおいて,競合ベースラインよりも優れていることが証明された。

関連論文リスト

• Saliency Attention and Semantic Similarity-Driven Adversarial Perturbation [0.0]
  SASSP(Saliency Attention and Semantic similarity driven adversarial Perturbation)は、文脈的摂動の有効性を改善するために設計された。 提案手法は,単語選択と摂動のための3段階の戦略を取り入れたものである。 SASSPは高い攻撃成功率と低い単語摂動率を得た。
  論文  参考訳（メタデータ） (2024-06-18T14:07:27Z)
• DenoSent: A Denoising Objective for Self-Supervised Sentence Representation Learning [59.4644086610381]
  本稿では,他の視点,すなわち文内視点から継承する新たな認知的目的を提案する。 離散ノイズと連続ノイズの両方を導入することで、ノイズの多い文を生成し、モデルを元の形式に復元するように訓練する。 我々の経験的評価は,本手法が意味的テキスト類似性(STS)と幅広い伝達タスクの両面で競合する結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2024-01-24T17:48:45Z)
• RankCSE: Unsupervised Sentence Representations Learning via Learning to Rank [54.854714257687334]
  本稿では,教師なし文表現学習のための新しい手法であるRangCSEを提案する。 コントラスト学習を伴うランキング一貫性とランキング蒸留を統一された枠組みに組み込む。 セマンティックテキスト類似性(STS)と転送タスク(TR)の両方について、広範な実験が実施されている。
  論文  参考訳（メタデータ） (2023-05-26T08:27:07Z)
• Towards Unsupervised Recognition of Token-level Semantic Differences in Related Documents [61.63208012250885]
  意味的差異をトークンレベルの回帰タスクとして認識する。 マスク付き言語モデルに依存する3つの教師なしアプローチについて検討する。 その結果,単語アライメントと文レベルのコントラスト学習に基づくアプローチは,ゴールドラベルと強い相関関係があることが示唆された。
  論文  参考訳（メタデータ） (2023-05-22T17:58:04Z)
• ContrastNet: A Contrastive Learning Framework for Few-Shot Text Classification [40.808421462004866]
  テキスト分類における識別的表現と過剰適合の両問題に対処するContrastNetを提案する。 8つの数ショットのテキスト分類データセットの実験は、ContrastNetが現在の最先端モデルより優れていることを示している。
  論文  参考訳（メタデータ） (2023-05-16T08:22:17Z)
• Dictionary-Assisted Supervised Contrastive Learning [0.0]
  本稿では,辞書支援型教師付きコントラスト学習(DASCL)の目的について紹介する。 共通の固定トークンは、関心の概念に関連する辞書(ies)に現れるコーパス内の任意の単語を置き換える。 DASCLとクロスエントロピーは、数ショットの学習設定と社会科学応用における分類性能指標を改善する。
  論文  参考訳（メタデータ） (2022-10-27T04:57:43Z)
• Conditional Supervised Contrastive Learning for Fair Text Classification [59.813422435604025]
  対照的な学習を通してテキスト分類のための等化オッズとして知られる公平性の概念を満たす学習公正表現について研究する。 具体的には、まず、公正性制約のある学習表現と条件付き教師付きコントラスト目的との間の関係を理論的に分析する。
  論文  参考訳（メタデータ） (2022-05-23T17:38:30Z)
• UniKeyphrase: A Unified Extraction and Generation Framework for Keyphrase Prediction [20.26899340581431]
  キーワード予測タスクは、与えられたドキュメントのメインアイデアを要約できるいくつかのキーフレーズを予測することを目的としている。 メインストリームKP法は、純粋に生成的アプローチと、抽出と生成を伴う統合モデルに分類することができる。 キーフレーズの抽出と生成を共同で学習する新しいエンドツーエンド学習フレームワークUniKeyphraseを提案する。
  論文  参考訳（メタデータ） (2021-06-09T07:09:51Z)
• SLUA: A Super Lightweight Unsupervised Word Alignment Model via Cross-Lingual Contrastive Learning [79.91678610678885]
  超軽量非教師付き単語アライメントモデル(SLUA)を提案する。 いくつかの公開ベンチマークによる実験結果から,我々のモデルは性能が向上しても競争力を発揮することが示された。 特に、我々のモデルはバイリンガル単語の埋め込みと単語のアライメントを統一する先駆的な試みであると認識している。
  論文  参考訳（メタデータ） (2021-02-08T05:54:11Z)
• Model Choices Influence Attributive Word Associations: A Semi-supervised Analysis of Static Word Embeddings [0.0]
  本研究は、5つの異なる静的単語埋め込みアーキテクチャの属性的単語関連を評価することを目的とする。 その結果, 組込み学習における文脈学習のフレーバーの選択は, 学習コーパスにおける単語の関連性や単語の組込み感に影響を及ぼすことが明らかとなった。
  論文  参考訳（メタデータ） (2020-12-14T22:27:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。