論文の概要: Regularized Contrastive Learning of Semantic Search
- arxiv url: http://arxiv.org/abs/2209.13241v1
- Date: Tue, 27 Sep 2022 08:25:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-28 16:00:04.581950
- Title: Regularized Contrastive Learning of Semantic Search
- Title(参考訳): 意味検索の正規化コントラスト学習
- Authors: Mingxi Tan, Alexis Rolland, Andong Tian
- Abstract要約: トランスフォーマーベースのモデルは、セマンティック表現を学習する能力に優れたため、検索モデルとして広く利用されている。
本稿では,正規化コントラスト学習という新たな正規化手法を提案する。
文ごとに異なるセマンティック表現を増補し、レギュレータとして対照的な目的に含める。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Semantic search is an important task which objective is to find the relevant
index from a database for query. It requires a retrieval model that can
properly learn the semantics of sentences. Transformer-based models are widely
used as retrieval models due to their excellent ability to learn semantic
representations. in the meantime, many regularization methods suitable for them
have also been proposed. In this paper, we propose a new regularization method:
Regularized Contrastive Learning, which can help transformer-based models to
learn a better representation of sentences. It firstly augments several
different semantic representations for every sentence, then take them into the
contrastive objective as regulators. These contrastive regulators can overcome
overfitting issues and alleviate the anisotropic problem. We firstly evaluate
our approach on 7 semantic search benchmarks with the outperforming pre-trained
model SRoBERTA. The results show that our method is more effective for learning
a superior sentence representation. Then we evaluate our approach on 2
challenging FAQ datasets, Cough and Faqir, which have long query and index. The
results of our experiments demonstrate that our method outperforms baseline
methods.
- Abstract(参考訳): セマンティック検索は、クエリーのためのデータベースから関連するインデックスを見つけることを目的とする重要なタスクである。
文の意味を適切に学習できる検索モデルが必要となる。
トランスフォーマティブベースのモデルは,セマンティクス表現の学習に優れた能力を持つため,検索モデルとして広く利用されている。
その間に、それらに適した多くの正規化方法も提案されている。
本稿では,トランスフォーマティブモデルによる文表現の学習を支援する,新しい正規化手法である正規化コントラスト学習を提案する。
まず、各文に対するいくつかの異なる意味表現を拡大し、それらを規制機関として対照的な目的に導く。
これらの対照的なレギュレータはオーバーフィッティング問題を克服し、異方性の問題を緩和することができる。
まず,より優れた事前学習モデルであるSRoBERTAを用いたセマンティックサーチベンチマークについて検討した。
その結果,本手法は優れた文表現の学習に有効であることがわかった。
そして、クエリとインデックスが長い2つの挑戦的なfaqデータセット、coughとfaqirのアプローチを評価した。
実験の結果,本手法がベースライン法より優れていることが示された。
関連論文リスト
- Learning Interpretable Queries for Explainable Image Classification with
Information Pursuit [18.089603786027503]
Information Pursuit (IP) は、データに関する解釈可能なクエリのシーケンスを欲求的に選択する説明可能な予測アルゴリズムである。
本稿では,データセットから直接解釈可能なクエリの辞書を学習する,新しいアプローチを提案する。
論文 参考訳(メタデータ) (2023-12-16T21:43:07Z) - Semantic-aware Contrastive Learning for More Accurate Semantic Parsing [32.74456368167872]
そこで本研究では,意味表現の微粒化を学習できる意味認識型コントラスト学習アルゴリズムを提案する。
2つの標準データセットの実験により、我々の手法はMLEベースラインよりも大幅に改善されていることが示された。
論文 参考訳(メタデータ) (2023-01-19T07:04:32Z) - Beyond Contrastive Learning: A Variational Generative Model for
Multilingual Retrieval [109.62363167257664]
本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。
我々のモデルは、$N$言語で並列データを操作する。
本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
論文 参考訳(メタデータ) (2022-12-21T02:41:40Z) - Query Expansion Using Contextual Clue Sampling with Language Models [69.51976926838232]
本稿では,実効的なフィルタリング戦略と検索した文書の融合の組み合わせを,各文脈の生成確率に基づいて提案する。
我々の語彙マッチングに基づくアプローチは、よく確立された高密度検索モデルDPRと比較して、同様のトップ5/トップ20検索精度と上位100検索精度を実現する。
エンド・ツー・エンドのQAでは、読者モデルも我々の手法の恩恵を受けており、いくつかの競争基準に対してエクサクト・マッチのスコアが最も高い。
論文 参考訳(メタデータ) (2022-10-13T15:18:04Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳(メタデータ) (2022-06-15T19:10:35Z) - UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。
事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。
本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
論文 参考訳(メタデータ) (2022-05-23T11:01:59Z) - Semantic Search for Large Scale Clinical Ontologies [63.71950996116403]
本稿では,大規模臨床語彙検索システムを構築するための深層学習手法を提案する。
本稿では,意味学習データに基づくトレーニングデータを生成するTriplet-BERTモデルを提案する。
このモデルは,5つの実ベンチマークデータセットを用いて評価され,提案手法は自由テキストから概念,概念まで,概念語彙の検索において高い結果が得られることを示す。
論文 参考訳(メタデータ) (2022-01-01T05:15:42Z) - End-to-End Open Vocabulary Keyword Search [13.90172596423425]
本稿では,キーワード検索に最適化されたモデルを提案する。
提案モデルでは, 正と負の試行比率が人工的に均衡するタスクにおいて, 同様のエンド・ツー・エンドモデルより優れる。
LVCSRをベースとしたキーワード検索システムでは,出力の再スコア付けに本システムを用いることで,大幅な改善が期待できる。
論文 参考訳(メタデータ) (2021-08-23T18:34:53Z) - Toward the Understanding of Deep Text Matching Models for Information
Retrieval [72.72380690535766]
本稿では,既存の深層テキストマッチング手法が情報検索の基本的な勾配を満たすかどうかを検証することを目的とする。
具体的には, 項周波数制約, 項識別制約, 長さ正規化制約, TF長制約の4つの属性を用いる。
LETOR 4.0 と MS Marco の実験結果から,研究対象の深層テキストマッチング手法はすべて,統計学において高い確率で上記の制約を満たすことが示された。
論文 参考訳(メタデータ) (2021-08-16T13:33:15Z) - Sequential Sentence Matching Network for Multi-turn Response Selection
in Retrieval-based Chatbots [45.920841134523286]
本稿では,文レベルの意味情報を用いて問題に対処する,逐次文マッチングネットワーク(S2M)を提案する。
まず、文レベルの意味情報を用いて、ネットワークが問題に対処し、マッチングを大幅に改善し、その結果、最先端のパフォーマンスが得られることがわかった。
論文 参考訳(メタデータ) (2020-05-16T09:47:19Z) - Leveraging Cognitive Search Patterns to Enhance Automated Natural
Language Retrieval Performance [0.0]
ユーザの検索行動を模倣する認知的再構成パターンが強調されている。
問合せの概念表現を考慮し,これらのパターンの適用を形式化する。
遺伝的アルゴリズムに基づく重み付けプロセスでは、概念的役割タイプに応じて用語に重点を置くことができる。
論文 参考訳(メタデータ) (2020-04-21T14:13:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。