論文の概要: Zero-Shot Multi-Label Topic Inference with Sentence Encoders

• arxiv url: http://arxiv.org/abs/2304.07382v1
• Date: Fri, 14 Apr 2023 20:27:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-18 19:20:21.936920
• Title: Zero-Shot Multi-Label Topic Inference with Sentence Encoders
• Title（参考訳）: 文エンコーダを用いたゼロショットマルチラベルトピック推論
• Authors: Souvika Sarkar and Dongji Feng and Shubhra Kanti Karmaker Santu
• Abstract要約: 文エンコーダは、多くのダウンストリームテキストマイニングタスクにおいて優れたパフォーマンスを達成することが示されている。 これらの文エンコーダを「ゼロショットトピック推論」タスクに活用する方法を示す。
• 参考スコア（独自算出の注目度）: 0.8658596218544772
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sentence encoders have indeed been shown to achieve superior performances for many downstream text-mining tasks and, thus, claimed to be fairly general. Inspired by this, we performed a detailed study on how to leverage these sentence encoders for the "zero-shot topic inference" task, where the topics are defined/provided by the users in real-time. Extensive experiments on seven different datasets demonstrate that Sentence-BERT demonstrates superior generality compared to other encoders, while Universal Sentence Encoder can be preferred when efficiency is a top priority.
• Abstract（参考訳）: 実際、文エンコーダは多くの下流のテキストマイニングタスクで優れた性能を達成できることが示されており、そのためかなり一般的であると主張した。 そこで我々は,これらの文エンコーダを「ゼロショットトピック推論(zero-shot topic inference)」タスクに活用する方法に関する詳細な研究を行った。 7つの異なるデータセットに対する大規模な実験は、Sentence-BERTが他のエンコーダよりも優れた一般性を示すことを示している。

関連論文リスト

• Extra Global Attention Designation Using Keyword Detection in Sparse Transformer Architectures [2.2271054384396187]
  本稿では,一般的なスパーストランスアーキテクチャであるLongformer-Decoderの拡張を提案する。 グローバルアテンションを選択的に増加させる手法を提案し,実証した。
  論文  参考訳（メタデータ） (2024-10-11T16:41:11Z)
• Sub-Sentence Encoder: Contrastive Learning of Propositional Semantic Representations [102.05351905494277]
  サブ文エンコーダ(Sub-sentence encoder)は、テキストの微細な意味表現のためのコンテクスト埋め込みモデルである。 文エンコーダと比較して,サブ文エンコーダは推論コストと空間複雑さのレベルが同じであることを示す。
  論文  参考訳（メタデータ） (2023-11-07T20:38:30Z)
• Investigating Pre-trained Audio Encoders in the Low-Resource Condition [66.92823764664206]
  低リソース環境下で3つの最先端エンコーダ(Wav2vec2,WavLM,Whisper)を用いて総合的な実験を行う。 本稿では,タスク性能,収束速度,エンコーダの表現特性に関する定量的,定性的な分析を行った。
  論文  参考訳（メタデータ） (2023-05-28T14:15:19Z)
• Discrete Cosine Transform as Universal Sentence Encoder [10.355894890759377]
  我々は離散コサイン変換(DCT)を用いて、異なる言語に対する普遍的な文表現を生成する。 実験結果からDCT符号化の有効性が明らかとなった。
  論文  参考訳（メタデータ） (2021-06-02T04:43:54Z)
• Cross-Thought for Sentence Encoder Pre-training [89.32270059777025]
  Cross-Thoughtは、事前トレーニングシーケンスエンコーダに対する新しいアプローチである。 我々は、Transformerベースのシーケンスエンコーダを、多数の短いシーケンスに対してトレーニングする。 質問応答とテキストのエンコーダタスクの実験は、事前学習したエンコーダが最先端のエンコーダより優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-07T21:02:41Z)
• On the Sub-Layer Functionalities of Transformer Decoder [74.83087937309266]
  トランスフォーマーをベースとしたデコーダは,ソースおよびターゲット言語からの情報をいかに活用するかを検討する。 これらの知見に基づき,各トランスフォーマーデコーダ層内の残フィードフォワードモジュールは,性能の低下を最小限に抑えられることを示した。
  論文  参考訳（メタデータ） (2020-10-06T11:50:54Z)
• Rethinking and Improving Natural Language Generation with Layer-Wise Multi-View Decoding [59.48857453699463]
  シーケンシャル・ツー・シーケンス学習では、デコーダは注意機構に依存してエンコーダから情報を効率的に抽出する。 近年の研究では、異なるエンコーダ層からの表現を多様なレベルの情報に利用することが提案されている。 本稿では, 各デコーダ層に対して, グローバルビューとして機能する最後のエンコーダ層からの表現とともに, ソースシーケンスの立体視のために他のエンコーダ層からのデコーダ層からのデコーダ層を補足するレイヤワイド・マルチビューデコーダを提案する。
  論文  参考訳（メタデータ） (2020-05-16T20:00:39Z)
• On Sparsifying Encoder Outputs in Sequence-to-Sequence Models [90.58793284654692]
  我々はTransformerをテストベッドとして、エンコーダとデコーダの間にあるゲートの層を導入します。 ゲートは、パリシティ誘導L0ペナルティの期待値を用いて正規化される。 このスペーサー化が2つの機械翻訳と2つの要約タスクに与える影響について検討する。
  論文  参考訳（メタデータ） (2020-04-24T16:57:52Z)
• On the impressive performance of randomly weighted encoders in summarization tasks [3.5407857489235206]
  本研究では,列列モデルの一般クラスにおける非訓練ランダムエンコーダの性能について検討する。 抽象的な要約作業において,その性能と完全学習エンコーダの性能を比較した。
  論文  参考訳（メタデータ） (2020-02-21T01:47:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。