論文の概要: Static Fuzzy Bag-of-Words: a lightweight sentence embedding algorithm
- arxiv url: http://arxiv.org/abs/2304.03098v1
- Date: Thu, 6 Apr 2023 14:25:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-07 13:59:02.223298
- Title: Static Fuzzy Bag-of-Words: a lightweight sentence embedding algorithm
- Title（参考訳）: 静的ファジィバグ・オブ・ワード:軽量文埋め込みアルゴリズム
- Authors: Matteo Muffo, Roberto Tedesco, Licia Sbattella and Vincenzo Scotti
- Abstract要約: 文埋め込みのための静的ファジィバグ・オブ・ワードモデルを提案する。
我々のモデルはファジィバグ・オブ・ワードのアプローチの洗練であり、文の埋め込みを予め定義された次元で提供する。
SFBoWはセマンティックテキスト類似性ベンチマークで競争力のある性能を提供するが、計算資源は少ない。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The introduction of embedding techniques has pushed forward significantly the
Natural Language Processing field. Many of the proposed solutions have been
presented for word-level encoding; anyhow, in the last years, new mechanism to
treat information at an higher level of aggregation, like at sentence- and
document-level, have emerged. With this work we address specifically the
sentence embeddings problem, presenting the Static Fuzzy Bag-of-Word model. Our
model is a refinement of the Fuzzy Bag-of-Words approach, providing sentence
embeddings with a predefined dimension. SFBoW provides competitive performances
in Semantic Textual Similarity benchmarks, while requiring low computational
resources.
- Abstract（参考訳）: 埋め込み技術の導入は自然言語処理分野を大きく前進させてきた。
提案手法の多くは単語レベルの符号化のために提示されているが,近年では文や文書レベルのように,より高レベルの情報を扱うための新たなメカニズムが出現している。
本研究では,文埋め込み問題に特に対処し,静的ファジィバグ・オブ・ワードモデルを提案する。
我々のモデルはファジィバグ・オブ・ワードのアプローチの洗練であり、文の埋め込みを予め定義された次元で提供する。
SFBoWはセマンティックテキスト類似性ベンチマークで競争力のある性能を提供するが、計算資源は少ない。
関連論文リスト
- Pointer-Guided Pre-Training: Infusing Large Language Models with Paragraph-Level Contextual Awareness [3.2925222641796554]
ポインター誘導セグメントオーダリング(SO)は,段落レベルのテキスト表現の文脈的理解を高めることを目的とした,新しい事前学習手法である。
実験の結果,ポインタ誘導型事前学習は複雑な文書構造を理解する能力を大幅に向上させることがわかった。
論文 参考訳（メタデータ） (2024-06-06T15:17:51Z) - Efficient and Flexible Topic Modeling using Pretrained Embeddings and
Bag of Sentences [1.8592384822257952]
本稿では,新しいトピックモデリングと推論アルゴリズムを提案する。
我々は,生成過程モデルとクラスタリングを組み合わせることで,事前学習文の埋め込みを活用する。
The Tailor の評価は,本手法が比較的少ない計算要求で最先端の成果をもたらすことを示している。
論文 参考訳（メタデータ） (2023-02-06T20:13:11Z) - HanoiT: Enhancing Context-aware Translation via Selective Context [95.93730812799798]
コンテキスト対応ニューラルネットワーク翻訳は、文書レベルのコンテキストを使用して翻訳品質を改善することを目的としている。
無関係または自明な単語は、いくつかのノイズをもたらし、モデルが現在の文と補助的な文脈の関係を学ぶのを邪魔する可能性がある。
そこで本稿では,階層的選択機構を備えたエンド・ツー・エンドのエンコーダ・デコーダモデルを提案する。
論文 参考訳（メタデータ） (2023-01-17T12:07:13Z) - Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。
RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
論文 参考訳（メタデータ） (2022-12-17T05:25:17Z) - HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text
Extractive Summarization [57.798070356553936]
HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。
単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
論文 参考訳（メタデータ） (2021-10-12T22:42:31Z) - LexSubCon: Integrating Knowledge from Lexical Resources into Contextual
Embeddings for Lexical Substitution [76.615287796753]
本稿では,コンテキスト埋め込みモデルに基づくエンドツーエンドの語彙置換フレームワークであるLexSubConを紹介する。
これは文脈情報と構造化語彙資源からの知識を組み合わせることで達成される。
我々の実験によると、LexSubConはLS07とCoInCoベンチマークデータセットで従来の最先端の手法よりも優れていた。
論文 参考訳（メタデータ） (2021-07-11T21:25:56Z) - Obtaining Better Static Word Embeddings Using Contextual Embedding
Models [53.86080627007695]
提案手法はCBOWをベースとした簡易な蒸留法である。
副作用として、我々の手法は文脈的および静的な埋め込みの公正な比較を可能にする。
論文 参考訳（メタデータ） (2021-06-08T12:59:32Z) - Denoising Word Embeddings by Averaging in a Shared Space [34.175826109538676]
単語埋め込みの品質を円滑にし,改善するための新しい手法を提案する。
一般化プロクリスト解析(GPA)手法の効率的な実装を用いて,すべてのモデルを共有ベクトル空間に投影する。
新しい表現はより安定し信頼性が高いため、稀な単語評価において顕著な改善がある。
論文 参考訳（メタデータ） (2021-06-05T19:49:02Z) - Multitask Learning for Class-Imbalanced Discourse Classification [74.41900374452472]
マルチタスクアプローチは,現在のベンチマークで7%のマイクロf1コアを改善できることを示す。
また,NLPにおける資源不足問題に対処するための追加手法の比較検討を行った。
論文 参考訳（メタデータ） (2021-01-02T07:13:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。