論文の概要: Exploiting Twitter as Source of Large Corpora of Weakly Similar Pairs for Semantic Sentence Embeddings

• arxiv url: http://arxiv.org/abs/2110.02030v1
• Date: Tue, 5 Oct 2021 13:21:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-06 14:15:14.885760
• Title: Exploiting Twitter as Source of Large Corpora of Weakly Similar Pairs for Semantic Sentence Embeddings
• Title（参考訳）: セマンティック・センテンス・エンベディングのための巨大な類似のペアのソースとしてTwitterを爆発させる
• Authors: Marco Di Giovanni and Marco Brambilla
• Abstract要約: 本稿では,言語に依存しない2組の非公式テキストのデータセットを構築する手法を提案する。 ツイートの返信と引用という、Twitterの本質的な強力な関連性のシグナルを利用しています。 我々のモデルは古典的セマンティックテキスト類似性を学習するだけでなく、文のペアが正確なパラフレーズではないタスクにも長けている。
• 参考スコア（独自算出の注目度）: 3.8073142980733
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Semantic sentence embeddings are usually supervisedly built minimizing distances between pairs of embeddings of sentences labelled as semantically similar by annotators. Since big labelled datasets are rare, in particular for non-English languages, and expensive, recent studies focus on unsupervised approaches that require not-paired input sentences. We instead propose a language-independent approach to build large datasets of pairs of informal texts weakly similar, without manual human effort, exploiting Twitter's intrinsic powerful signals of relatedness: replies and quotes of tweets. We use the collected pairs to train a Transformer model with triplet-like structures, and we test the generated embeddings on Twitter NLP similarity tasks (PIT and TURL) and STSb. We also introduce four new sentence ranking evaluation benchmarks of informal texts, carefully extracted from the initial collections of tweets, proving not only that our best model learns classical Semantic Textual Similarity, but also excels on tasks where pairs of sentences are not exact paraphrases. Ablation studies reveal how increasing the corpus size influences positively the results, even at 2M samples, suggesting that bigger collections of Tweets still do not contain redundant information about semantic similarities.
• Abstract（参考訳）: 意味的文埋め込みは通常、アノテーションによって意味的に類似したラベルが付けられた文の組間の距離を最小化するために教師によって構築される。 ビッグラベル付きデータセットは、特に非英語言語では珍しく、高価であるため、近年の研究は、ペアなしの入力文を必要とする教師なしのアプローチに焦点を当てている。 代わりに、言語に依存しないアプローチを提案し、手動の人的努力なしに、大量の非公式テキストのデータセットを構築することで、Twitterの本質的な強力な関連性信号であるツイートの返信と引用を利用する。 収集したペアを使って三重項構造を持つTransformerモデルをトレーニングし、Twitter NLP類似タスク(PITとTURL)とSTSb上で生成された埋め込みをテストする。 また,ツイートの最初の集合から注意深く抽出した非公式テキストの文ランク評価ベンチマークを4つ導入し,古典的意味的文の類似性を学習するだけでなく,文対が正確なパラフレーズではないタスクにも優れていることを示した。 アブレーション研究は、コーパスサイズの増加が2mのサンプルでも結果にどのように影響するかを明らかにし、さらに大きなツイートのコレクションには意味的類似性に関する冗長な情報が含まれていないことを示唆している。

関連論文リスト

• Concept-Guided Chain-of-Thought Prompting for Pairwise Comparison Scaling of Texts with Large Language Models [3.9940425551415597]
  既存のテキストスケーリング手法は、大きなコーパス、短いテキストとの競合、ラベル付きデータを必要とすることが多い。 生成する大規模言語モデルのパターン認識機能を活用したテキストスケーリング手法を開発した。 LLMと実体知識を組み合わせることで、抽象概念の最先端の尺度をいかに作成できるかを実証する。
  論文  参考訳（メタデータ） (2023-10-18T15:34:37Z)
• Towards Unsupervised Recognition of Token-level Semantic Differences in Related Documents [61.63208012250885]
  意味的差異をトークンレベルの回帰タスクとして認識する。 マスク付き言語モデルに依存する3つの教師なしアプローチについて検討する。 その結果,単語アライメントと文レベルのコントラスト学習に基づくアプローチは,ゴールドラベルと強い相関関係があることが示唆された。
  論文  参考訳（メタデータ） (2023-05-22T17:58:04Z)
• Improving Sentence Similarity Estimation for Unsupervised Extractive Summarization [21.602394765472386]
  教師なし抽出要約における文類似度推定を改善するための2つの新しい手法を提案する。 我々は、比較学習を用いて、同じ文書の文が異なる文書の文とよりよく似ているという文書レベルの目的を最適化する。 また、相互学習を用いて文類似度推定と文サリエンスランキングの関係を高める。
  論文  参考訳（メタデータ） (2023-02-24T07:10:33Z)
• Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
  文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。 RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
  論文  参考訳（メタデータ） (2022-12-17T05:25:17Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)
• A Case Study to Reveal if an Area of Interest has a Trend in Ongoing Tweets Using Word and Sentence Embeddings [0.0]
  我々は、デイリー平均類似度スコアが日々のツイートコーパスとターゲット語との類似性を示す、容易に適用可能な自動化手法を提案する。 デイリー平均類似度スコアは主にコサイン類似度と単語/文埋め込みに基づいている。 また,提案手法を適用しながら単語と文の埋め込みの有効性を比較し,ほぼ同じ結果が得られることを認識した。
  論文  参考訳（メタデータ） (2021-10-02T18:44:55Z)
• Phrase-BERT: Improved Phrase Embeddings from BERT with an Application to Corpus Exploration [25.159601117722936]
  我々は,BERTがより強力なフレーズ埋め込みを生成可能な,対照的な微調整対象を提案する。 提案手法は,パラフレーズ生成モデルを用いて自動生成される多種多様なパラフレーズのデータセットに依存する。 ケーススタディでは、フレーズベースのニューラルトピックモデルを構築するために、Phrase-BERT埋め込みを単純なオートエンコーダと簡単に統合できることが示されている。
  論文  参考訳（メタデータ） (2021-09-13T20:31:57Z)
• More Than Words: Collocation Tokenization for Latent Dirichlet Allocation Models [71.42030830910227]
  モデルが異なる環境でクラスタリングの品質を測定するための新しい指標を提案する。 マージトークンでトレーニングされたトピックは、マージされていないモデルよりも、より明確で、一貫性があり、トピックを区別する効果が高いトピックキーをもたらすことを示す。
  論文  参考訳（メタデータ） (2021-08-24T14:08:19Z)
• Sentiment analysis in tweets: an assessment study from classical to modern text representation models [59.107260266206445]
  Twitterで公開された短いテキストは、豊富な情報源として大きな注目を集めている。 非公式な言語スタイルや騒々しい言語スタイルといったそれらの固有の特徴は、多くの自然言語処理(NLP)タスクに挑戦し続けている。 本研究では,22データセットの豊富なコレクションを用いて,ツイートに表される感情を識別する既存言語モデルの評価を行った。
  論文  参考訳（メタデータ） (2021-05-29T21:05:28Z)
• A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
  本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。 異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。 これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
  論文  参考訳（メタデータ） (2020-09-23T15:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。