論文の概要: Unsupervised Sentence Representation Learning with Frequency-induced Adversarial Tuning and Incomplete Sentence Filtering

• arxiv url: http://arxiv.org/abs/2305.08655v1
• Date: Mon, 15 May 2023 13:59:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-16 14:26:46.391874
• Title: Unsupervised Sentence Representation Learning with Frequency-induced Adversarial Tuning and Incomplete Sentence Filtering
• Title（参考訳）: 周波数誘起逆調整と不完全文フィルタリングによる教師なし文表現学習
• Authors: Bing Wang, Ximing Li, Zhiyao Yang, Yuanyuan Guan, Jiayin Li, Shengsheng Wang
• Abstract要約: SLT-FAI(SLT-FAI)を用いた文表現学習を提案する。 PLMは、事前学習したコーパスからの単語の周波数情報に敏感であり、異方性埋め込み空間となる。 いくつかの低頻度単語をランダムにマスキングすることで、原文と不完全文の埋め込みを識別するために、情報識別器を組み込んだ。
• 参考スコア（独自算出の注目度）: 14.085826003974187
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained Language Model (PLM) is nowadays the mainstay of Unsupervised Sentence Representation Learning (USRL). However, PLMs are sensitive to the frequency information of words from their pre-training corpora, resulting in anisotropic embedding space, where the embeddings of high-frequency words are clustered but those of low-frequency words disperse sparsely. This anisotropic phenomenon results in two problems of similarity bias and information bias, lowering the quality of sentence embeddings. To solve the problems, we fine-tune PLMs by leveraging the frequency information of words and propose a novel USRL framework, namely Sentence Representation Learning with Frequency-induced Adversarial tuning and Incomplete sentence filtering (SLT-FAI). We calculate the word frequencies over the pre-training corpora of PLMs and assign words thresholding frequency labels. With them, (1) we incorporate a similarity discriminator used to distinguish the embeddings of high-frequency and low-frequency words, and adversarially tune the PLM with it, enabling to achieve uniformly frequency-invariant embedding space; and (2) we propose a novel incomplete sentence detection task, where we incorporate an information discriminator to distinguish the embeddings of original sentences and incomplete sentences by randomly masking several low-frequency words, enabling to emphasize the more informative low-frequency words. Our SLT-FAI is a flexible and plug-and-play framework, and it can be integrated with existing USRL techniques. We evaluate SLT-FAI with various backbones on benchmark datasets. Empirical results indicate that SLT-FAI can be superior to the existing USRL baselines. Our code is released in \url{https://github.com/wangbing1416/SLT-FAI}.
• Abstract（参考訳）: プレトレーニング言語モデル(PLM)は、現在、教師なし文表現学習(USRL)の主流となっている。 しかし、PLMは事前学習したコーパスからの単語の周波数情報に敏感であり、その結果、高周波ワードの埋め込みはクラスタ化されるが、低周波ワードの埋め込みはわずかに分散する。 この異方性現象は、類似性バイアスと情報バイアスの2つの問題を引き起こし、文埋め込みの品質が低下する。 この問題を解決するために、単語の周波数情報を活用してPLMを微調整し、SLT-FAI(Sentence Representation Learning with Frequency-induced Adversarial tuning and Incomplete sentence filtering)という新しいUSRLフレームワークを提案する。 我々は、plmの事前学習コーパス上で単語周波数を算出し、単語しきい値周波数ラベルを割り当てる。 With them, (1) we incorporate a similarity discriminator used to distinguish the embeddings of high-frequency and low-frequency words, and adversarially tune the PLM with it, enabling to achieve uniformly frequency-invariant embedding space; and (2) we propose a novel incomplete sentence detection task, where we incorporate an information discriminator to distinguish the embeddings of original sentences and incomplete sentences by randomly masking several low-frequency words, enabling to emphasize the more informative low-frequency words. 我々のSLT-FAIは柔軟でプラグアンドプレイのフレームワークであり、既存のUSRL技術と統合することができます。 ベンチマークデータセット上で,様々なバックボーンを用いてSLT-FAIを評価する。 その結果,SLT-FAIは既存のUSRLベースラインよりも優れていることがわかった。 私たちのコードは \url{https://github.com/wangbing1416/SLT-FAI} でリリースされています。

関連論文リスト

• Zipfian Whitening [7.927385005964994]
  埋め込み空間の対称性をモデル化、修正、測定するためのほとんどのアプローチは、単語の周波数が一様であることを暗黙的に仮定する。 実際、単語頻度はZipfの法則として知られる非常に一様でない分布に従う。 Zipfの法則に従う経験的単語頻度によって重み付けされたPCA白化を行うことでタスク性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2024-11-01T15:40:19Z)
• On the Noise Robustness of In-Context Learning for Text Generation [41.59602454113563]
  本研究では、テキスト生成タスクにおいて、ノイズの多いアノテーションがテキスト内学習の性能を著しく損なうことを示す。 この問題を回避するために,LPR(Local Perplexity Ranking)と呼ばれるシンプルで効果的なアプローチを提案する。 LPRは「騒々しい」候補者を、より清潔である可能性が高い隣人に置き換える。
  論文  参考訳（メタデータ） (2024-05-27T15:22:58Z)
• HyPoradise: An Open Baseline for Generative Speech Recognition with Large Language Models [81.56455625624041]
  ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。 提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。 合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
  論文  参考訳（メタデータ） (2023-09-27T14:44:10Z)
• Frequency effects in Linear Discriminative Learning [0.36248657646376703]
  形態と意味間の効率的かつ周波数インフォームドマッピングがいかに得られるかを示す(周波数インフォームド・ラーニング; FIL)。 FILは比較的低い型と高いトークン精度を示し、モデルが日々の生活の中で話者が遭遇するほとんどのワードトークンを正しく処理できることを示した。 本研究は,学習モデルにおける周波数効果を効率的にシミュレートする方法を示し,認知モデルにおける低頻度単語の最適な説明法について疑問を投げかけるものである。
  論文  参考訳（メタデータ） (2023-06-19T16:15:46Z)
• Alleviating Over-smoothing for Unsupervised Sentence Representation [96.19497378628594]
  本稿では,この問題を緩和するために,SSCL(Self-Contrastive Learning)というシンプルな手法を提案する。 提案手法は非常に単純で,様々な最先端モデルに拡張して,性能向上を図ることができる。
  論文  参考訳（メタデータ） (2023-05-09T11:00:02Z)
• M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [103.6153593636399]
  緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。 これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。 提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
  論文  参考訳（メタデータ） (2023-03-09T09:05:47Z)
• Refined Semantic Enhancement towards Frequency Diffusion for Video Captioning [29.617527535279574]
  ビデオキャプションは、与えられたビデオを正確に記述した自然言語文を生成することを目的としている。 既存の方法では、エンコードフェーズにおけるよりリッチな視覚表現を探索したり、復号能力を向上させることで、良好な生成が得られる。 頻繁なトークンの言語表現を常に知覚するキャプションモデルであるRSFD(Refined Semantic enhancement Method)を導入する。
  論文  参考訳（メタデータ） (2022-11-28T05:45:17Z)
• ADEPT: A DEbiasing PrompT Framework [49.582497203415855]
  ファインタニングは文脈化された単語の埋め込みを曖昧にするための応用手法である。 意味的な意味を持つ個別のプロンプトは、タスクを乱すのに有効であることが示されている。 本稿では, PLM をデバイアス化する方法であるADEPT を提案し, バイアス除去と表現能力の確保の微妙なバランスを維持しながら, 即時チューニングによる PLM のデバイアス化手法を提案する。
  論文  参考訳（メタデータ） (2022-11-10T08:41:40Z)
• SLICER: Learning universal audio representations using low-resource self-supervised pre-training [53.06337011259031]
  ラベルなし音声データに事前学習エンコーダを組み込むための自己指導型学習手法を提案する。 我々の主な目的は、多種多様な音声および非音声タスクにまたがる一般化が可能な音声表現を学習することである。
  論文  参考訳（メタデータ） (2022-11-02T23:45:33Z)
• Frequency-Aware Contrastive Learning for Neural Machine Translation [24.336356651877388]
  低周波ワード予測は、現代のニューラルマシン翻訳(NMT)システムにおいて依然として課題である。 低周波単語がよりコンパクトな埋め込み空間を形成するという観察に触発されて、表現学習の観点からこの問題に取り組む。 本稿では,各復号ステップの隠蔽状態を他のターゲット語から押し出す,周波数対応のトークンレベルのコントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-29T10:10:10Z)
• Single-channel speech separation using Soft-minimum Permutation Invariant Training [60.99112031408449]
  教師付き音声分離における長寿命問題は、それぞれの分離された音声信号の正しいラベルを見つけることである。 Permutation Invariant Training (PIT) はラベルあいまいさ問題に対処する上で有望な解決策であることが示されている。 そこで本研究では,PITの不効率に対処する確率的最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-16T17:25:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。