論文の概要: Toward the Understanding of Deep Text Matching Models for Information Retrieval

• arxiv url: http://arxiv.org/abs/2108.07081v1
• Date: Mon, 16 Aug 2021 13:33:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-17 19:10:16.510760
• Title: Toward the Understanding of Deep Text Matching Models for Information Retrieval
• Title（参考訳）: 情報検索のための深層テキストマッチングモデルの理解に向けて
• Authors: Lijuan Chen, Yanyan Lan, Liang Pang, Jiafeng Guo, Xueqi Cheng
• Abstract要約: 本稿では,既存の深層テキストマッチング手法が情報検索の基本的な勾配を満たすかどうかを検証することを目的とする。 具体的には, 項周波数制約, 項識別制約, 長さ正規化制約, TF長制約の4つの属性を用いる。 LETOR 4.0 と MS Marco の実験結果から,研究対象の深層テキストマッチング手法はすべて,統計学において高い確率で上記の制約を満たすことが示された。
• 参考スコア（独自算出の注目度）: 72.72380690535766
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Semantic text matching is a critical problem in information retrieval. Recently, deep learning techniques have been widely used in this area and obtained significant performance improvements. However, most models are black boxes and it is hard to understand what happened in the matching process, due to the poor interpretability of deep learning. This paper aims at tackling this problem. The key idea is to test whether existing deep text matching methods satisfy some fundamental heuristics in information retrieval. Specifically, four heuristics are used in our study, i.e., term frequency constraint, term discrimination constraint, length normalization constraints, and TF-length constraint. Since deep matching models usually contain many parameters, it is difficult to conduct a theoretical study for these complicated functions. In this paper, We propose an empirical testing method. Specifically, We first construct some queries and documents to make them satisfy the assumption in a constraint, and then test to which extend a deep text matching model trained on the original dataset satisfies the corresponding constraint. Besides, a famous attribution based interpretation method, namely integrated gradient, is adopted to conduct detailed analysis and guide for feasible improvement. Experimental results on LETOR 4.0 and MS Marco show that all the investigated deep text matching methods, both representation and interaction based methods, satisfy the above constraints with high probabilities in statistics. We further extend these constraints to the semantic settings, which are shown to be better satisfied for all the deep text matching models. These empirical findings give clear understandings on why deep text matching models usually perform well in information retrieval. We believe the proposed evaluation methodology will be useful for testing future deep text matching models.
• Abstract（参考訳）: 意味的テキストマッチングは情報検索において重要な問題である。 近年,この領域ではディープラーニング技術が広く用いられ,性能が大幅に向上している。 しかし、ほとんどのモデルはブラックボックスであり、ディープラーニングの解釈性が悪いため、マッチングプロセスで何が起こったのかを理解するのは難しい。 本稿ではこの問題に対処することを目的とする。 鍵となる考え方は、情報検索において、既存の深層テキストマッチング手法がいくつかの基本的なヒューリスティックを満たすかどうかをテストすることである。 具体的には, 項周波数制約, 項識別制約, 長さ正規化制約, TF長制約の4つのヒューリスティックスを用いる。 深いマッチングモデルは通常多くのパラメータを含むため、これらの複雑な関数に関する理論的研究を行うのは難しい。 本稿では,実験的なテスト手法を提案する。 具体的には、まず制約の仮定を満たすためにクエリとドキュメントを構築し、次に、元のデータセットでトレーニングされた深層テキストマッチングモデルを拡張するテストを行う。 また、帰属に基づく解釈法、すなわち統合的勾配法を用いて詳細な分析を行い、実現可能な改善を導く。 LETOR 4.0 と MS Marco の実験結果から,研究対象の深層テキストマッチング手法である表現法と対話法が,統計学における高い確率の制約を満たすことがわかった。 さらに、これらの制約をセマンティックセッティングに拡張し、すべての深層テキストマッチングモデルに対してより満足できることを示す。 これらの経験的発見は、なぜディープテキストマッチングモデルが情報検索においてよく機能するのかを明確に理解する。 提案手法は,将来の深層テキストマッチングモデルをテストする上で有用であると考えられる。

関連論文リスト

• Detecting Statements in Text: A Domain-Agnostic Few-Shot Solution [1.3654846342364308]
  最先端のアプローチは通常、作成にコストがかかる大規模な注釈付きデータセット上の微調整モデルを含む。 本稿では,クレームに基づくテキスト分類タスクの共通パラダイムとして,定性的で多目的な少ショット学習手法の提案とリリースを行う。 本手法は,気候変動対策,トピック/スタンス分類,うつ病関連症状検出の3つの課題の文脈で説明する。
  論文  参考訳（メタデータ） (2024-05-09T12:03:38Z)
• Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
  最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。 より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。 これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
  論文  参考訳（メタデータ） (2024-03-26T12:47:39Z)
• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• CoCo: Coherence-Enhanced Machine-Generated Text Detection Under Data Limitation With Contrastive Learning [14.637303913878435]
  低リソースシナリオ下でMGTを検出するために,コヒーレンスに基づくコントラスト学習モデルCoCoを提案する。 言語的特徴を活用するために,グラフ形式でコヒーレンス情報をテキスト表現にエンコードする。 2つの公開データセットと2つの自己構築データセットの実験結果は、我々のアプローチが最先端の手法を大幅に上回っていることを証明している。
  論文  参考訳（メタデータ） (2022-12-20T15:26:19Z)
• Revisiting text decomposition methods for NLI-based factuality scoring of summaries [9.044665059626958]
  細粒度分解が必ずしも事実性スコアの勝利戦略であるとは限らないことを示す。 また,従来提案されていたエンテーメントに基づくスコアリング手法の小さな変更により,性能が向上することを示した。
  論文  参考訳（メタデータ） (2022-11-30T09:54:37Z)
• Textual Enhanced Contrastive Learning for Solving Math Word Problems [23.196339273292246]
  本稿では,意味的に類似した例を識別するためにモデルを強制するテキスト拡張コントラスト学習フレームワークを提案する。 テキストの微妙なばらつきのある例を豊かにするために、自己監督的な方法戦略を採用する。 実験結果から,提案手法は広く使用されているベンチマークデータセットと,英語と中国語の課題データセットの両面において,最先端性を実現していることが明らかとなった。
  論文  参考訳（メタデータ） (2022-11-29T08:44:09Z)
• Query Expansion Using Contextual Clue Sampling with Language Models [69.51976926838232]
  本稿では,実効的なフィルタリング戦略と検索した文書の融合の組み合わせを,各文脈の生成確率に基づいて提案する。 我々の語彙マッチングに基づくアプローチは、よく確立された高密度検索モデルDPRと比較して、同様のトップ5/トップ20検索精度と上位100検索精度を実現する。 エンド・ツー・エンドのQAでは、読者モデルも我々の手法の恩恵を受けており、いくつかの競争基準に対してエクサクト・マッチのスコアが最も高い。
  論文  参考訳（メタデータ） (2022-10-13T15:18:04Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)
• Comprehensive Studies for Arbitrary-shape Scene Text Detection [78.50639779134944]
  ボトムアップに基づくシーンテキスト検出のための統合フレームワークを提案する。 統一されたフレームワークの下では、非コアモジュールの一貫性のある設定が保証されます。 包括的調査と精巧な分析により、以前のモデルの利点と欠点を明らかにしている。
  論文  参考訳（メタデータ） (2021-07-25T13:18:55Z)
• FAT ALBERT: Finding Answers in Large Texts using Semantic Similarity Attention Layer based on BERT [0.5772546394254112]
  本研究では,最先端の変圧器ネットワークであるBERTをベースとしたモデルを構築した。 私たちは、テスト精度87.79%のリーダーボードで第1位にランクされています。
  論文  参考訳（メタデータ） (2020-08-22T08:04:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。