論文の概要: Sentence Similarity Based on Contexts

• arxiv url: http://arxiv.org/abs/2105.07623v1
• Date: Mon, 17 May 2021 06:03:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-19 00:40:04.834018
• Title: Sentence Similarity Based on Contexts
• Title（参考訳）: 文脈に基づく文類似性
• Authors: Xiaofei Sun, Yuxian Meng, Xiang Ao, Fei Wu, Tianwei Zhang, Jiwei Li and Chun Fan
• Abstract要約: 提案するフレームワークは,文の意味を文脈によって定義する,という中核的な考え方に基づいている。 2つの文間の意味的類似度スコアを教師なしの方法で高品質の大規模データセットを生成することができます。
• 参考スコア（独自算出の注目度）: 31.135984064747607
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing methods to measure sentence similarity are faced with two challenges: (1) labeled datasets are usually limited in size, making them insufficient to train supervised neural models; (2) there is a training-test gap for unsupervised language modeling (LM) based models to compute semantic scores between sentences, since sentence-level semantics are not explicitly modeled at training. This results in inferior performances in this task. In this work, we propose a new framework to address these two issues. The proposed framework is based on the core idea that the meaning of a sentence should be defined by its contexts, and that sentence similarity can be measured by comparing the probabilities of generating two sentences given the same context. The proposed framework is able to generate high-quality, large-scale dataset with semantic similarity scores between two sentences in an unsupervised manner, with which the train-test gap can be largely bridged. Extensive experiments show that the proposed framework achieves significant performance boosts over existing baselines under both the supervised and unsupervised settings across different datasets.
• Abstract（参考訳）: 既存の文の類似性を測定する方法は、(1)ラベル付きデータセットはサイズが制限され、教師付きニューラルネットワークのトレーニングが不十分である、(2)文間の意味スコアを計算するための教師なし言語モデリング(lm)モデルにはトレーニング-テストギャップがある、という2つの課題に直面している。 これにより、このタスクのパフォーマンスが低下する。 本稿では,この2つの課題に対処する新しい枠組みを提案する。 提案する枠組みは,文の意味を文脈によって定義し,同じ文脈で2つの文を生成する確率を比較することにより,文の類似性を計測できるという基本的な考え方に基づいている。 提案フレームワークは、2つの文間の意味的類似性スコアを教師なしで生成し、列車とテストのギャップを大きく埋めることのできる高品質で大規模なデータセットを生成する。 大規模な実験により、提案フレームワークは、さまざまなデータセットにまたがる教師なし設定と教師なし設定の両方の下で、既存のベースラインに対して大幅なパフォーマンス向上を実現することが示された。

関連論文リスト

• DenoSent: A Denoising Objective for Self-Supervised Sentence Representation Learning [59.4644086610381]
  本稿では,他の視点,すなわち文内視点から継承する新たな認知的目的を提案する。 離散ノイズと連続ノイズの両方を導入することで、ノイズの多い文を生成し、モデルを元の形式に復元するように訓練する。 我々の経験的評価は,本手法が意味的テキスト類似性(STS)と幅広い伝達タスクの両面で競合する結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2024-01-24T17:48:45Z)
• Learning to Paraphrase Sentences to Different Complexity Levels [3.0273878903284275]
  文の単純化はNLPにおいて活発な研究課題であるが,その隣接する文の複雑化や同レベルのパラフレーズ化の課題はそうではない。 3つのタスクすべてでモデルをトレーニングするために、教師なしデータセットを2つ提示する。
  論文  参考訳（メタデータ） (2023-08-04T09:43:37Z)
• Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
  文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。 RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
  論文  参考訳（メタデータ） (2022-12-17T05:25:17Z)
• Generate, Discriminate and Contrast: A Semi-Supervised Sentence Representation Learning Framework [68.04940365847543]
  本稿では,大規模未ラベルデータを効果的に活用する半教師付き文埋め込みフレームワークGenSEを提案する。 1) 生成: 生成: 生成/識別器モデルはオープンドメインの未ラベルコーパスから文ペアを合成するために共同で訓練される; 2) 識別: ノイズのある文ペアは識別器によってフィルタリングされ、高品質な正と負の文ペアを取得する; 3) コントラスト: 注釈付きデータと合成されたデータの両方を用いて文表現を学習するために、プロンプトベースのコントラクティブアプローチが提示される。
  論文  参考訳（メタデータ） (2022-10-30T10:15:21Z)
• Unsupervised Mismatch Localization in Cross-Modal Sequential Data [5.932046800902776]
  我々は、コンテンツミスマッチしたクロスモーダルデータ間の関係を推測できる教師なし学習アルゴリズムを開発した。 本稿では,音声生成過程を階層的に構造化された潜在変数に分解する,ミスマッチ局所化変分自動符号化(ML-VAE)という階層型ベイズディープラーニングモデルを提案する。 実験の結果,ML-VAEは人間のアノテーションを必要とせず,テキストと音声のミスマッチの特定に成功した。
  論文  参考訳（メタデータ） (2022-05-05T14:23:27Z)
• Bridging the Data Gap between Training and Inference for Unsupervised Neural Machine Translation [49.916963624249355]
  UNMTモデルは、翻訳されたソースと推論中の自然言語で擬似並列データに基づいて訓練される。 トレーニングと推論のソース差はUNMTモデルの翻訳性能を妨げている。 本稿では、擬似並列データ自然言語を同時に用いたオンライン自己学習手法を提案する。
  論文  参考訳（メタデータ） (2022-03-16T04:50:27Z)
• Retrieve-and-Fill for Scenario-based Task-Oriented Semantic Parsing [110.4684789199555]
  シナリオベースのセマンティックパーシングを導入し、最初に発話の「scenario」を曖昧にする必要がある元のタスクの変種を紹介します。 この定式化により、タスクの粗くきめ細かな側面を分離することが可能となり、それぞれがオフザシェルフニューラルネットワークモジュールで解決される。 私たちのモデルはモジュール化され、差別化可能で、解釈可能で、シナリオから余分な監督を得られるようになります。
  論文  参考訳（メタデータ） (2022-02-02T08:00:21Z)
• ConRPG: Paraphrase Generation using Contexts as Regularizer [31.967883219986362]
  パラフレーズ生成の長年の問題として、信頼できる監視信号を得る方法がある。 本稿では,同じ文脈で同じ意味を持つ2つの文を生成する確率が同じであるという仮定に基づいて,パラフレーズ生成のための教師なしパラダイムを提案する。 本稿では、文脈言語モデルに基づくパラフレーズ候補生成、スコアリング関数を用いた候補フィルタリング、選択した候補に基づくパラフレーズモデルトレーニングからなるパイプラインシステムを提案する。
  論文  参考訳（メタデータ） (2021-09-01T12:57:30Z)
• Rethinking End-to-End Evaluation of Decomposable Tasks: A Case Study on Spoken Language Understanding [101.24748444126982]
  分解可能なタスクは複雑で、サブタスクの階層から構成される。 しかし、既存のベンチマークでは、通常は表面レベルのサブタスクのみの例が示される。 サブタスク固有のユーティリティ関数上の座標アセントを用いて、ロバストなテストセットを構築するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-29T02:53:59Z)
• Reinforcement Learning-based N-ary Cross-Sentence Relation Extraction [3.342376225738321]
  遠方監督に基づくn-aryクロス文関係抽出モデルでは、n 個の実体に言及する連続した文がこれらの n 個の実体の関係を記述していると仮定する。 一方、一部の非連続文は1つの関係を記述しており、これらの文はこの仮定ではラベル付けできない。 最初の問題に対処する新しい文分布推定器モデルを提案する。
  論文  参考訳（メタデータ） (2020-09-26T20:39:55Z)
• SentPWNet: A Unified Sentence Pair Weighting Network for Task-specific Sentence Embedding [12.020634125787279]
  本稿では,タスク固有の文の埋め込みを学習するための局所性重み付けと学習フレームワークを提案する。 我々のモデルであるSentPWNetは、各文の空間分布を局所性重みとして利用し、文対の情報レベルを示す。
  論文  参考訳（メタデータ） (2020-05-22T18:32:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。