論文の概要: SIFTER: A Task-specific Alignment Strategy for Enhancing Sentence
Embeddings
- arxiv url: http://arxiv.org/abs/2306.12280v1
- Date: Wed, 21 Jun 2023 14:08:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-22 13:07:50.252749
- Title: SIFTER: A Task-specific Alignment Strategy for Enhancing Sentence
Embeddings
- Title（参考訳）: SIFTER: 文の埋め込みを強化するタスク固有のアライメント戦略
- Authors: Chao Yu, Wenhao Zhu, Chaoming Liu, Xiaoyu Zhang, Qiuhong zhai
- Abstract要約: 事前訓練されたモデルの性能は、異なるドメインタスクによって大きく異なる可能性がある。
類似性計算では、"led"や"life"といった単語がより重要である。
感情分析では、"happy"という言葉が不可欠である。
SIFTERは重要な単語の入力ゲートを短絡させることでLSTMモデルのゲート機構を改善することができる。
- 参考スコア（独自算出の注目度）: 12.075913918087839
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The paradigm of pre-training followed by fine-tuning on downstream tasks has
become the mainstream method in natural language processing tasks. Although
pre-trained models have the advantage of generalization, their performance may
still vary significantly across different domain tasks. This is because the
data distribution in different domains varies. For example, the different parts
of the sentence 'He married Smt. Dipali Ghosh in 1947 and led a very happy
married life' may have different impact for downstream tasks. For similarity
calculations, words such as 'led' and 'life' are more important. On the other
hand, for sentiment analysis, the word 'happy' is crucial. This indicates that
different downstream tasks have different levels of sensitivity to sentence
components. Our starting point is to scale information of the model and data
according to the specifics of downstream tasks, enhancing domain information of
relevant parts for these tasks and reducing irrelevant elements for different
domain tasks, called SIFTER. In the experimental part, we use the SIFTER to
improve SimCSE by constructing positive sample pairs based on enhancing the
sentence stem and reducing the unimportant components in the sentence, and
maximize the similarity between three sentences. Similarly, SIFTER can improve
the gate mechanism of the LSTM model by short-circuiting the input gate of
important words so that the LSTM model remembers the important parts of the
sentence. Our experiments demonstrate that SIFTER outperforms the SimCSE and
LSTM baselines.
- Abstract（参考訳）: 下流タスクの微調整による事前学習のパラダイムが,自然言語処理タスクの主流となっている。
事前学習されたモデルには一般化の利点があるが、その性能は異なるドメインタスクによって大きく異なる可能性がある。
これは異なるドメイン内のデータ分布が異なるためである。
例えば、"he married smt. dipali ghosh in 1947 and led a very happy married life"という文の異なる部分は、下流の作業に異なる影響を与える可能性がある。
類似性計算では、"led"や"life"といった単語がより重要である。
一方,感情分析では「幸福」という言葉が重要である。
これは、異なる下流タスクが文成分に対する感度のレベルが異なることを示している。
私たちの出発点は、ダウンストリームタスクの仕様に従ってモデルとデータの情報をスケールし、それらのタスクに関連する部分のドメイン情報を高め、異なるドメインタスクの無関係な要素を減らすことです。
実験では,SIFTERを用いて文幹の強化と文中の重要でない成分の削減に基づく正のサンプルペアを構築し,三つの文間の類似性を最大化することにより,SimCSEを改善する。
同様に、SIFTERは重要な単語の入力ゲートを短絡させることで、LSTMモデルのゲート機構を改善することができるので、LSTMモデルは文の重要な部分を記憶することができる。
実験の結果,SIFTERはSimCSEおよびLSTMベースラインよりも優れていた。
関連論文リスト
- Evaluating Semantic Variation in Text-to-Image Synthesis: A Causal Perspective [50.261681681643076]
本稿では,SemVarEffectとSemVarBenchというベンチマークを用いて,テキスト・画像合成における入力のセマンティックな変化と出力の因果性を評価する。
本研究は,T2I合成コミュニティによるヒューマンインストラクション理解の探索を促進する効果的な評価枠組みを確立する。
論文 参考訳（メタデータ） (2024-10-14T08:45:35Z) - A Unified Causal View of Instruction Tuning [76.1000380429553]
メタ構造因果モデル(meta-SCM)を開発し、異なるNLPタスクをデータの単一因果構造の下で統合する。
主なアイデアは、タスク要求因果関係を学習し、タスクの予測にのみそれらを使用することである。
論文 参考訳（メタデータ） (2024-02-09T07:12:56Z) - Vocabulary-Defined Semantics: Latent Space Clustering for Improving In-Context Learning [32.178931149612644]
コンテキスト内学習により、言語モデルは下流のデータに適応したり、プロンプト内のデモとして少数のサンプルでタスクを組み込むことができる。
しかし、文脈内学習のパフォーマンスは、実演の質、形式、順序によって不安定である可能性がある。
語彙定義意味論(vocabulary-defined semantics)を提案する。
論文 参考訳（メタデータ） (2024-01-29T14:29:48Z) - Narrowing the Gap between Supervised and Unsupervised Sentence
Representation Learning with Large Language Model [44.77515147970206]
文表現学習(SRL)は自然言語処理(NLP)の基本課題である
CSE(Contrastive Learning of Sentence Embeddings)はその優れたパフォーマンスのために主流のテクニックである。
以前の作品では、このパフォーマンスギャップは2つの表現特性(配向と均一性)の違いに起因するとされていた。
論文 参考訳（メタデータ） (2023-09-12T08:16:58Z) - Exploring Efficient Few-shot Adaptation for Vision Transformers [70.91692521825405]
そこで本稿では,Few-shot LearningタスクにおけるVTの微調整を容易にするトランスフォーマーチューニング(eTT)手法を提案する。
新しく発表されたAttentive Prefix Tuning(APT)とDomain Residual Adapter(DRA)の主な新機能
我々は,我々のモデルの有効性を示す広範囲な実験を行った。
論文 参考訳（メタデータ） (2023-01-06T08:42:05Z) - Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。
RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
論文 参考訳（メタデータ） (2022-12-17T05:25:17Z) - Meta-Learning with Variational Semantic Memory for Word Sense
Disambiguation [56.830395467247016]
メタ学習環境におけるWSDのセマンティックメモリモデルを提案する。
我々のモデルは階層的変動推論に基づいており、ハイパーネットワークを介して適応的なメモリ更新ルールを組み込んでいる。
極めて少ないシナリオでの効果的な学習を支援するために,本モデルがWSDで最先端の技術を数ショットで実現していることを示す。
論文 参考訳（メタデータ） (2021-06-05T20:40:01Z) - Word2rate: training and evaluating multiple word embeddings as
statistical transitions [4.350783459690612]
単語順に敏感なタスクのパフォーマンスを向上させる,新しい左サイドコンテキスト分割目標を提案する。
私たちの word2rate モデルは、さまざまな言語タスクで競争しながら、レート行列を用いた統計基礎に基礎を置いている。
論文 参考訳（メタデータ） (2021-04-16T15:31:29Z) - What Happens To BERT Embeddings During Fine-tuning? [19.016185902256826]
細調整がBERTモデルの表現に与える影響について検討する。
微調整は主にBERTの上位層に影響を与えるが、タスク間で注目すべきバリエーションがある。
特に、依存関係解析はモデルのほとんどを再構成するが、SQuADとMNLIはより浅い処理を伴っているように見える。
論文 参考訳（メタデータ） (2020-04-29T19:46:26Z) - Depth-Adaptive Graph Recurrent Network for Text Classification [71.20237659479703]
S-LSTM(Sentence-State LSTM)は、高効率なグラフリカレントネットワークである。
そこで本研究では,S-LSTMの深度適応機構を提案する。
論文 参考訳（メタデータ） (2020-02-29T03:09:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。