論文の概要: Zero-Shot Multi-Label Topic Inference with Sentence Encoders
- arxiv url: http://arxiv.org/abs/2304.07382v1
- Date: Fri, 14 Apr 2023 20:27:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-18 19:20:21.936920
- Title: Zero-Shot Multi-Label Topic Inference with Sentence Encoders
- Title(参考訳): 文エンコーダを用いたゼロショットマルチラベルトピック推論
- Authors: Souvika Sarkar and Dongji Feng and Shubhra Kanti Karmaker Santu
- Abstract要約: 文エンコーダは、多くのダウンストリームテキストマイニングタスクにおいて優れたパフォーマンスを達成することが示されている。
これらの文エンコーダを「ゼロショットトピック推論」タスクに活用する方法を示す。
- 参考スコア(独自算出の注目度): 0.8658596218544772
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sentence encoders have indeed been shown to achieve superior performances for
many downstream text-mining tasks and, thus, claimed to be fairly general.
Inspired by this, we performed a detailed study on how to leverage these
sentence encoders for the "zero-shot topic inference" task, where the topics
are defined/provided by the users in real-time. Extensive experiments on seven
different datasets demonstrate that Sentence-BERT demonstrates superior
generality compared to other encoders, while Universal Sentence Encoder can be
preferred when efficiency is a top priority.
- Abstract(参考訳): 実際、文エンコーダは多くの下流のテキストマイニングタスクで優れた性能を達成できることが示されており、そのためかなり一般的であると主張した。
そこで我々は,これらの文エンコーダを「ゼロショットトピック推論(zero-shot topic inference)」タスクに活用する方法に関する詳細な研究を行った。
7つの異なるデータセットに対する大規模な実験は、Sentence-BERTが他のエンコーダよりも優れた一般性を示すことを示している。
関連論文リスト
- Faster Diffusion: Rethinking the Role of UNet Encoder in Diffusion
Models [95.47438940934413]
UNetエンコーダの最初の包括的な研究を行う。
エンコーダの特徴は緩やかに変化するが,デコーダの特徴は時間経過によって大きく変化する。
伝搬方式の利点を生かして,特定の時間ステップでデコーダを並列に実行することが可能となる。
論文 参考訳(メタデータ) (2023-12-15T08:46:43Z) - Sub-Sentence Encoder: Contrastive Learning of Propositional Semantic
Representations [102.05351905494277]
サブ文エンコーダ(Sub-sentence encoder)は、テキストの微細な意味表現のためのコンテクスト埋め込みモデルである。
文エンコーダと比較して,サブ文エンコーダは推論コストと空間複雑さのレベルが同じであることを示す。
論文 参考訳(メタデータ) (2023-11-07T20:38:30Z) - Investigating Pre-trained Audio Encoders in the Low-Resource Condition [66.92823764664206]
低リソース環境下で3つの最先端エンコーダ(Wav2vec2,WavLM,Whisper)を用いて総合的な実験を行う。
本稿では,タスク性能,収束速度,エンコーダの表現特性に関する定量的,定性的な分析を行った。
論文 参考訳(メタデータ) (2023-05-28T14:15:19Z) - ConvFiT: Conversational Fine-Tuning of Pretrained Language Models [42.7160113690317]
大規模なテキストコレクションに事前訓練されたトランスフォーマーベース言語モデル(LM)は、豊富なセマンティック知識を保存できることが証明されている。
本稿では,任意の事前学習したLMをユニバーサルな会話エンコーダに変換する,シンプルで効率的な2段階の手順であるConvFiTを提案する。
論文 参考訳(メタデータ) (2021-09-21T12:16:56Z) - Discrete Cosine Transform as Universal Sentence Encoder [10.355894890759377]
我々は離散コサイン変換(DCT)を用いて、異なる言語に対する普遍的な文表現を生成する。
実験結果からDCT符号化の有効性が明らかとなった。
論文 参考訳(メタデータ) (2021-06-02T04:43:54Z) - Cross-Thought for Sentence Encoder Pre-training [89.32270059777025]
Cross-Thoughtは、事前トレーニングシーケンスエンコーダに対する新しいアプローチである。
我々は、Transformerベースのシーケンスエンコーダを、多数の短いシーケンスに対してトレーニングする。
質問応答とテキストのエンコーダタスクの実験は、事前学習したエンコーダが最先端のエンコーダより優れていることを示す。
論文 参考訳(メタデータ) (2020-10-07T21:02:41Z) - Rethinking and Improving Natural Language Generation with Layer-Wise
Multi-View Decoding [59.48857453699463]
シーケンシャル・ツー・シーケンス学習では、デコーダは注意機構に依存してエンコーダから情報を効率的に抽出する。
近年の研究では、異なるエンコーダ層からの表現を多様なレベルの情報に利用することが提案されている。
本稿では, 各デコーダ層に対して, グローバルビューとして機能する最後のエンコーダ層からの表現とともに, ソースシーケンスの立体視のために他のエンコーダ層からのデコーダ層からのデコーダ層を補足するレイヤワイド・マルチビューデコーダを提案する。
論文 参考訳(メタデータ) (2020-05-16T20:00:39Z) - On Sparsifying Encoder Outputs in Sequence-to-Sequence Models [90.58793284654692]
我々はTransformerをテストベッドとして、エンコーダとデコーダの間にあるゲートの層を導入します。
ゲートは、パリシティ誘導L0ペナルティの期待値を用いて正規化される。
このスペーサー化が2つの機械翻訳と2つの要約タスクに与える影響について検討する。
論文 参考訳(メタデータ) (2020-04-24T16:57:52Z) - On the impressive performance of randomly weighted encoders in
summarization tasks [3.5407857489235206]
本研究では,列列モデルの一般クラスにおける非訓練ランダムエンコーダの性能について検討する。
抽象的な要約作業において,その性能と完全学習エンコーダの性能を比較した。
論文 参考訳(メタデータ) (2020-02-21T01:47:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。