論文の概要: Semantic-aware Contrastive Learning for More Accurate Semantic Parsing

• arxiv url: http://arxiv.org/abs/2301.07919v1
• Date: Thu, 19 Jan 2023 07:04:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-20 15:35:15.932525
• Title: Semantic-aware Contrastive Learning for More Accurate Semantic Parsing
• Title（参考訳）: 意味論的構文解析のための意味論的コントラスト学習
• Authors: Shan Wu, Chunlei Xin, Bo Chen, Xianpei Han, Le Sun
• Abstract要約: そこで本研究では,意味表現の微粒化を学習できる意味認識型コントラスト学習アルゴリズムを提案する。 2つの標準データセットの実験により、我々の手法はMLEベースラインよりも大幅に改善されていることが示された。
• 参考スコア（独自算出の注目度）: 32.74456368167872
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Since the meaning representations are detailed and accurate annotations which express fine-grained sequence-level semtantics, it is usually hard to train discriminative semantic parsers via Maximum Likelihood Estimation (MLE) in an autoregressive fashion. In this paper, we propose a semantic-aware contrastive learning algorithm, which can learn to distinguish fine-grained meaning representations and take the overall sequence-level semantic into consideration. Specifically, a multi-level online sampling algorithm is proposed to sample confusing and diverse instances. Three semantic-aware similarity functions are designed to accurately measure the distance between meaning representations as a whole. And a ranked contrastive loss is proposed to pull the representations of the semantic-identical instances together and push negative instances away. Experiments on two standard datasets show that our approach achieves significant improvements over MLE baselines and gets state-of-the-art performances by simply applying semantic-aware contrastive learning on a vanilla Seq2Seq model.
• Abstract（参考訳）: 意味表現は、微粒なシーケンスレベルのセマンティックスを表現する詳細かつ正確なアノテーションであるため、通常、MLE(Maximum Likelihood Estimation)を通じて、自己回帰的な方法で識別的セマンティックパーサーを訓練することは困難である。 本稿では,細粒度の意味表現を識別し,シーケンスレベル全体の意味を考慮に入れた意味認識型コントラスト学習アルゴリズムを提案する。 具体的には,多段階オンラインサンプリングアルゴリズムを提案する。 3つの意味認識類似関数は、意味表現全体の距離を正確に測定するように設計されている。 また、意味同一のインスタンスの表現をまとめ、否定的なインスタンスを取り除くために、ランク付けされたコントラスト損失が提案されている。 2つの標準データセットの実験により,本手法は,バニラSeq2Seqモデルにセマンティック・アウェア・コントラッシブ・ラーニングを適用することで,MLEベースラインよりも大幅に改善され,最先端のパフォーマンスが得られることが示された。

関連論文リスト

• GroupContrast: Semantic-aware Self-supervised Representation Learning for 3D Understanding [66.5538429726564]
  自己教師付き3D表現学習は、大規模未ラベルの点群から効果的な表現を学習することを目的としている。 本稿では,セグメンテーションとセマンティック・アウェア・コントラッシブ・ラーニングを組み合わせた新しいアプローチであるGroupContrastを提案する。
  論文  参考訳（メタデータ） (2024-03-14T17:59:59Z)
• Semantic Contrastive Bootstrapping for Single-positive Multi-label Recognition [36.3636416735057]
  本研究では,意味的コントラスト型ブートストラップ法(Scob)を用いて,オブジェクト間の関係を徐々に回復する手法を提案する。 次に、アイコン的オブジェクトレベルの表現を抽出する再帰的セマンティックマスク変換器を提案する。 大規模な実験結果から,提案手法が最先端のモデルを超えていることが示唆された。
  論文  参考訳（メタデータ） (2023-07-15T01:59:53Z)
• RankCSE: Unsupervised Sentence Representations Learning via Learning to Rank [54.854714257687334]
  本稿では,教師なし文表現学習のための新しい手法であるRangCSEを提案する。 コントラスト学習を伴うランキング一貫性とランキング蒸留を統一された枠組みに組み込む。 セマンティックテキスト類似性(STS)と転送タスク(TR)の両方について、広範な実験が実施されている。
  論文  参考訳（メタデータ） (2023-05-26T08:27:07Z)
• BERM: Training the Balanced and Extractable Representation for Matching to Improve Generalization Ability of Dense Retrieval [54.66399120084227]
  本稿では,BERMと呼ばれるマッチング信号の取得により,高密度検索の一般化を改善する手法を提案する。 センス検索は、ドメイン内のラベル付きデータセットでトレーニングされた場合、第1段階の検索プロセスにおいて有望であることが示されている。
  論文  参考訳（メタデータ） (2023-05-18T15:43:09Z)
• Deep Semi-supervised Learning with Double-Contrast of Features and Semantics [2.2230089845369094]
  本稿では,エンド・ツー・エンドの半教師あり学習における意味と特徴の二重コントラストを提案する。 我々は情報理論を活用し、意味論と特徴の二重コントラストの合理性を説明する。
  論文  参考訳（メタデータ） (2022-11-28T09:08:19Z)
• Self-Supervised Learning Disentangled Group Representation as Feature [82.07737719232972]
  既存の自己監督学習(SSL)は、回転や着色などの単純な拡張機能のみを分解することを示す。 反復的分割に基づく不変リスク最小化(IP-IRM)を提案する。 我々は、IP-IRMが完全に不整合表現に収束し、様々なベンチマークでその効果を示すことを証明した。
  論文  参考訳（メタデータ） (2021-10-28T16:12:33Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)
• Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
  画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。 これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。 そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
  論文  参考訳（メタデータ） (2021-09-24T07:20:13Z)
• Disentangled Contrastive Learning for Learning Robust Textual Representations [13.880693856907037]
  運動量表現一貫性の概念を導入し,特徴を整合させ,一様性に適合しながらパワー正規化を活用する。 NLPベンチマークの実験結果から,本手法はベースラインよりも優れた結果が得られることが示された。
  論文  参考訳（メタデータ） (2021-04-11T03:32:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。