論文の概要: A Simple and Plug-and-play Method for Unsupervised Sentence Representation Enhancement

• arxiv url: http://arxiv.org/abs/2305.07824v1
• Date: Sat, 13 May 2023 02:43:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-16 19:28:50.826871
• Title: A Simple and Plug-and-play Method for Unsupervised Sentence Representation Enhancement
• Title（参考訳）: 教師なし文表現強調のためのシンプルかつプラグアンドプレイ法
• Authors: Lingfeng Shen, Haiyun Jiang, Lemao Liu, Shuming Shi
• Abstract要約: RepALは、文表現を強化する非常に単純な後処理手法である。 RepALは学習自由であり、既存の教師なし文学習モデルと組み合わせることができるプラグアンドプレイ方式であることを示す。
• 参考スコア（独自算出の注目度）: 35.6803390044542
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generating proper embedding of sentences through an unsupervised way is beneficial to semantic matching and retrieval problems in real-world scenarios. This paper presents Representation ALchemy (RepAL), an extremely simple post-processing method that enhances sentence representations. The basic idea in RepAL is to de-emphasize redundant information of sentence embedding generated by pre-trained models. Through comprehensive experiments, we show that RepAL is free of training and is a plug-and-play method that can be combined with most existing unsupervised sentence learning models. We also conducted in-depth analysis to understand RepAL.
• Abstract（参考訳）: 文の適切な埋め込みを教師なしの方法で生成することは、実世界のシナリオにおける意味マッチングと検索の問題に有用である。 本稿では,文章表現を高度化する非常に単純な後処理手法であるRepresentation ALchemy(RepAL)を提案する。 RepALの基本的な考え方は、事前訓練されたモデルによって生成された文埋め込みの冗長な情報を強調することである。 総合的な実験を通して、RepALは学習自由であり、既存の教師なし文章学習モデルと組み合わせることができるプラグアンドプレイ法であることを示す。 また,RepALの理解のために詳細な分析を行った。

関連論文リスト

• Detecting, Explaining, and Mitigating Memorization in Diffusion Models [49.438362005962375]
  そこで本研究では,テキスト条件予測の大きさを検査することで,暗黙のプロンプトを検出する方法を提案する。 提案手法はサンプリングアルゴリズムを中断することなくシームレスに統合し,第1世代でも高い精度を実現する。 検出戦略に基づいて,個々の単語やトークンの記憶への寄与を示す説明可能なアプローチを提示する。
  論文  参考訳（メタデータ） (2024-07-31T16:13:29Z)
• Exploring Annotation-free Image Captioning with Retrieval-augmented Pseudo Sentence Generation [21.54093527562344]
  本稿では,大規模事前学習モデル (LPM) からの事前知識を蒸留し, 監視として活用する新たな戦略を提案する。 具体的には,Retrieval-augmented Pseudo Sentence Generation (RaPSG)を導入する。 実験結果から,SOTAキャプションの精度は様々な設定で優れていた。
  論文  参考訳（メタデータ） (2023-07-27T10:16:13Z)
• Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
  本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
  論文  参考訳（メタデータ） (2023-07-13T17:59:35Z)
• Alleviating Over-smoothing for Unsupervised Sentence Representation [96.19497378628594]
  本稿では,この問題を緩和するために,SSCL(Self-Contrastive Learning)というシンプルな手法を提案する。 提案手法は非常に単純で,様々な最先端モデルに拡張して,性能向上を図ることができる。
  論文  参考訳（メタデータ） (2023-05-09T11:00:02Z)
• Learning Non-Autoregressive Models from Search for Unsupervised Sentence Summarization [20.87460375478907]
  テキスト要約は、入力テキストの短い要約を生成することを目的としている。 本研究では,非自己回帰的教師なし要約手法を提案する。 実験により、NAUSは教師なし要約の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2022-05-28T21:09:23Z)
• Learning to Ask Conversational Questions by Optimizing Levenshtein Distance [83.53855889592734]
  明示的な編集動作によって最小レベンシュテイン距離(MLD)を最適化する強化反復シーケンス編集(RISE)フレームワークを導入する。 RISEは会話の特徴に関連するトークンに注意を払うことができる。 2つのベンチマークデータセットの実験結果から、RISEは最先端の手法を大幅に上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-30T08:44:19Z)
• Predicting What You Already Know Helps: Provable Self-Supervised Learning [60.27658820909876]
  自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。 本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。 複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
  論文  参考訳（メタデータ） (2020-08-03T17:56:13Z)
• Embodied Self-supervised Learning by Coordinated Sampling and Training [14.107020105091662]
  本稿では, 逆問題に対して, 対応する物理フォワードプロセスを用いて, 自己教師型アプローチを提案する。 提案手法は、反復的なサンプリングとトレーニングによって推論ネットワークを学習するために、分析バイシンセシス方式で動作する。 音声から調音情報を推測するために,音響-調音インバージョン問題に対処することで,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2020-06-20T14:05:47Z)
• Iterative Edit-Based Unsupervised Sentence Simplification [30.128553647491817]
  本モデルでは, 流布, 単純さ, 意味保存を含むスコアリング機能によって導かれる。 複雑な文に対して単語と句レベルの編集を反復的に行う。
  論文  参考訳（メタデータ） (2020-06-17T03:53:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。