論文の概要: Towards Unsupervised Recognition of Token-level Semantic Differences in Related Documents

• arxiv url: http://arxiv.org/abs/2305.13303v3
• Date: Fri, 20 Oct 2023 12:27:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 07:52:29.534600
• Title: Towards Unsupervised Recognition of Token-level Semantic Differences in Related Documents
• Title（参考訳）: 関連文書におけるトークンレベルの意味的差異の教師なし認識に向けて
• Authors: Jannis Vamvas and Rico Sennrich
• Abstract要約: 意味的差異をトークンレベルの回帰タスクとして認識する。 マスク付き言語モデルに依存する3つの教師なしアプローチについて検討する。 その結果,単語アライメントと文レベルのコントラスト学習に基づくアプローチは,ゴールドラベルと強い相関関係があることが示唆された。
• 参考スコア（独自算出の注目度）: 61.63208012250885
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatically highlighting words that cause semantic differences between two documents could be useful for a wide range of applications. We formulate recognizing semantic differences (RSD) as a token-level regression task and study three unsupervised approaches that rely on a masked language model. To assess the approaches, we begin with basic English sentences and gradually move to more complex, cross-lingual document pairs. Our results show that an approach based on word alignment and sentence-level contrastive learning has a robust correlation to gold labels. However, all unsupervised approaches still leave a large margin of improvement. Code to reproduce our experiments is available at https://github.com/ZurichNLP/recognizing-semantic-differences
• Abstract（参考訳）: 2つの文書のセマンティックな違いを引き起こす単語を自動的にハイライトすることは、広範囲のアプリケーションに有用である。 トークンレベルの回帰タスクとして意味差(RSD)を認識し,マスク付き言語モデルに依存する3つの教師なしアプローチについて検討する。 アプローチを評価するために、まず英語の基本文から始め、より複雑で言語横断的な文書ペアに徐々に移行する。 本研究は,単語アライメントと文レベルのコントラスト学習に基づくアプローチが,ゴールドラベルと強い相関を持つことを示す。 しかし、すべての教師なしアプローチは依然として大きな改善点を残している。 実験を再現するコードはhttps://github.com/ZurichNLP/recognizing-semantic-differencesで公開されている。

関連論文リスト

• Pixel Sentence Representation Learning [67.4775296225521]
  本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。 タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。 我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
  論文  参考訳（メタデータ） (2024-02-13T02:46:45Z)
• mCL-NER: Cross-Lingual Named Entity Recognition via Multi-view Contrastive Learning [54.523172171533645]
  CrossNERは多言語コーパスの不足により不均一な性能から生じる課題に直面している。 言語横断的名前付きエンティティ認識(mCL-NER)のためのマルチビューコントラスト学習を提案する。 40言語にまたがるXTREMEベンチマーク実験では、従来のデータ駆動型およびモデルベースアプローチよりもmCL-NERの方が優れていることを示した。
  論文  参考訳（メタデータ） (2023-08-17T16:02:29Z)
• RankCSE: Unsupervised Sentence Representations Learning via Learning to Rank [54.854714257687334]
  本稿では,教師なし文表現学習のための新しい手法であるRangCSEを提案する。 コントラスト学習を伴うランキング一貫性とランキング蒸留を統一された枠組みに組み込む。 セマンティックテキスト類似性(STS)と転送タスク(TR)の両方について、広範な実験が実施されている。
  論文  参考訳（メタデータ） (2023-05-26T08:27:07Z)
• Stance Detection: A Practical Guide to Classifying Political Beliefs in Text [0.0]
  本稿では,姿勢検出を正確に定義し,テキスト解析手法を改良する。 本稿では,教師付き分類,自然言語推論,生成言語モデルを用いた文脈内学習の3つのアプローチを提案する。 私は、実装のためのコーディングチュートリアルと同様に、アプリケーションおよびバリデーションテクニックに関するガイダンスを提供します。
  論文  参考訳（メタデータ） (2023-05-02T18:49:12Z)
• Semantic-aware Contrastive Learning for More Accurate Semantic Parsing [32.74456368167872]
  そこで本研究では,意味表現の微粒化を学習できる意味認識型コントラスト学習アルゴリズムを提案する。 2つの標準データセットの実験により、我々の手法はMLEベースラインよりも大幅に改善されていることが示された。
  論文  参考訳（メタデータ） (2023-01-19T07:04:32Z)
• Constructing Phrase-level Semantic Labels to Form Multi-Grained Supervision for Image-Text Retrieval [48.20798265640068]
  テキスト中のミスマッチしたユニットの識別をより良くするためのフレーズレベルの監視を導入する。 一致した文のテキストシーングラフを構築し,フレーズレベルのラベルとしてエンティティとトリプルを抽出する。 トレーニングでは,グローバルな視点とローカルな視点の両方から,マルチスケールのマッチング損失を提案する。
  論文  参考訳（メタデータ） (2021-09-12T14:21:15Z)
• Fake it Till You Make it: Self-Supervised Semantic Shifts for Monolingual Word Embedding Tasks [58.87961226278285]
  語彙意味変化をモデル化するための自己教師付きアプローチを提案する。 本手法は,任意のアライメント法を用いて意味変化の検出に利用できることを示す。 3つの異なるデータセットに対する実験結果を用いて,本手法の有用性について述べる。
  論文  参考訳（メタデータ） (2021-01-30T18:59:43Z)
• Dynamic Semantic Matching and Aggregation Network for Few-shot Intent Detection [69.2370349274216]
  利用可能な注釈付き発話が不足しているため、インテント検出は困難である。 セマンティック成分はマルチヘッド自己認識によって発話から蒸留される。 本手法はラベル付きインスタンスとラベルなしインスタンスの両方の表現を強化するための総合的なマッチング手段を提供する。
  論文  参考訳（メタデータ） (2020-10-06T05:16:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。