論文の概要: Match Your Words! A Study of Lexical Matching in Neural Information
Retrieval
- arxiv url: http://arxiv.org/abs/2112.05662v2
- Date: Mon, 13 Dec 2021 08:28:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-14 11:28:45.226121
- Title: Match Your Words! A Study of Lexical Matching in Neural Information
Retrieval
- Title(参考訳): 言葉に合致しろ!
神経情報検索における語彙マッチングの検討
- Authors: Thibault Formal, Benjamin Piwowarski, St\'ephane Clinchant
- Abstract要約: 我々は、様々な最先端のニューラルIRモデルの振る舞いについて研究し、実際に有用である場合に語彙マッチングを行うことができるかどうかに焦点を当てた。
ニューラルIRモデルは、トレーニング中、ドメイン外のコレクションや用語の用語の重要性を適切に一般化できないことを示す。
- 参考スコア(独自算出の注目度): 11.930815087240479
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Neural Information Retrieval models hold the promise to replace lexical
matching models, e.g. BM25, in modern search engines. While their capabilities
have fully shone on in-domain datasets like MS MARCO, they have recently been
challenged on out-of-domain zero-shot settings (BEIR benchmark), questioning
their actual generalization capabilities compared to bag-of-words approaches.
Particularly, we wonder if these shortcomings could (partly) be the consequence
of the inability of neural IR models to perform lexical matching off-the-shelf.
In this work, we propose a measure of discrepancy between the lexical matching
performed by any (neural) model and an 'ideal' one. Based on this, we study the
behavior of different state-of-the-art neural IR models, focusing on whether
they are able to perform lexical matching when it's actually useful, i.e. for
important terms. Overall, we show that neural IR models fail to properly
generalize term importance on out-of-domain collections or terms almost unseen
during training
- Abstract(参考訳): ニューラル情報検索モデルは、現代の検索エンジンにおける語彙マッチングモデル(例えばbm25)を置き換えると約束されている。
それらの機能は、ms marcoのようなドメイン内データセットに完全に依存しているが、最近、ドメイン外ゼロショット設定(ベンチマーク)に挑戦された。
特に、これらの欠点は(部分的には)ニューラルIRモデルが棚外で語彙マッチングを実行できない結果なのか疑問である。
本研究では,任意の(ニューラル)モデルによる語彙マッチングと「理想的」モデルとの差異の尺度を提案する。
これに基づいて、異なる最先端のニューラルIRモデルの振る舞いを研究し、それが実際に有用である場合、すなわち重要な用語で語彙マッチングを行うことができるかどうかに焦点をあてる。
全体として、ニューラルネットワークモデルでは、トレーニング中にドメイン外のコレクションや用語がほとんど見えない場合に、用語の重要性を適切に一般化できないことを示す。
関連論文リスト
- Plot Retrieval as an Assessment of Abstract Semantic Association [131.58819293115124]
Plot Retrievalのテキストペアは単語の重複を少なくし、より抽象的なセマンティックアソシエーションを持つ。
Plot Retrievalは、IRモデルのセマンティックアソシエーションモデリング能力に関するさらなる研究のベンチマークとなる。
論文 参考訳(メタデータ) (2023-11-03T02:02:43Z) - Distilling BlackBox to Interpretable models for Efficient Transfer
Learning [19.40897632956169]
一般化可能なAIモデルの構築は、医療分野における大きな課題のひとつだ。
あるドメインから別のドメインに知識を転送するモデルを微調整するには、ターゲットドメイン内の大量のラベル付きデータが必要である。
本研究では,最小の計算コストで効率よく未確認対象領域に微調整できる解釈可能なモデルを開発する。
論文 参考訳(メタデータ) (2023-05-26T23:23:48Z) - NevIR: Negation in Neural Information Retrieval [45.9442701147499]
否定は日常的な現象であり、言語モデル(LM)の弱点の一貫した領域である。
我々は、否定のみが異なる2つの文書のランク付けをIRモデルに求めるベンチマークを構築した。
クロスエンコーダは最適に動作し、後続の遅延相互作用モデルが続き、最後にはバイエンコーダとスパースニューラルアーキテクチャである。
論文 参考訳(メタデータ) (2023-05-12T17:05:54Z) - Reveal to Revise: An Explainable AI Life Cycle for Iterative Bias
Correction of Deep Models [11.879170124003252]
最先端の機械学習モデルは、トレーニングデータに埋め込まれた急激な相関を学習することが多い。
これにより、これらのモデルを高い意思決定のためにデプロイする際のリスクが生じる。
そこで我々はReveal to Revise (R2R)を提案する。
論文 参考訳(メタデータ) (2023-03-22T15:23:09Z) - Cross-Model Comparative Loss for Enhancing Neuronal Utility in Language
Understanding [82.46024259137823]
幅広いタスクに対するクロスモデル比較損失を提案する。
3つの異なるNLUタスクから14のデータセットに対する広範な実験により比較損失の普遍的有効性を示す。
論文 参考訳(メタデータ) (2023-01-10T03:04:27Z) - Lexical Generalization Improves with Larger Models and Longer Training [42.024050065980845]
本稿では,自然言語推論,パラフレーズ検出,読解理解における語彙重なりの活用について分析する。
より大型のモデルでは、語彙的な重複を採用することへの感受性がはるかに低いことが分かりました。
論文 参考訳(メタデータ) (2022-10-23T09:20:11Z) - Entity-Conditioned Question Generation for Robust Attention Distribution
in Neural Information Retrieval [51.53892300802014]
教師付きニューラル情報検索モデルでは,通過トークンよりも疎注意パターンを学習することが困難であることを示す。
目的とする新しい合成データ生成手法を用いて、与えられた通路内の全てのエンティティに対して、より均一で堅牢な参加をニューラルIRに教える。
論文 参考訳(メタデータ) (2022-04-24T22:36:48Z) - It's FLAN time! Summing feature-wise latent representations for
interpretability [0.0]
FLAN(Feature-wise Latent Additive Networks)と呼ばれる構造拘束型ニューラルネットワークの新たなクラスを提案する。
FLANは各入力機能を別々に処理し、それぞれに共通の潜在空間の表現を演算する。
これらの特徴的潜在表現は単純に要約され、集約された表現は予測に使用される。
論文 参考訳(メタデータ) (2021-06-18T12:19:33Z) - Learning from Context or Names? An Empirical Study on Neural Relation
Extraction [112.06614505580501]
テキストにおける2つの主要な情報ソースの効果について検討する:テキストコンテキストとエンティティ参照(名前)
本稿では,関係抽出のための実体型コントラスト事前学習フレームワーク(RE)を提案する。
我々のフレームワークは、異なるREシナリオにおけるニューラルモデルの有効性と堅牢性を改善することができる。
論文 参考訳(メタデータ) (2020-10-05T11:21:59Z) - Neural Additive Models: Interpretable Machine Learning with Neural Nets [77.66871378302774]
ディープニューラルネットワーク(DNN)は、さまざまなタスクにおいて優れたパフォーマンスを達成した強力なブラックボックス予測器である。
本稿では、DNNの表現性と一般化した加法モデルの固有知性を組み合わせたニューラル付加モデル(NAM)を提案する。
NAMは、ニューラルネットワークの線形結合を学び、それぞれが単一の入力機能に付随する。
論文 参考訳(メタデータ) (2020-04-29T01:28:32Z) - Rethinking Generalization of Neural Models: A Named Entity Recognition
Case Study [81.11161697133095]
NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。
詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。
本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
論文 参考訳(メタデータ) (2020-01-12T04:33:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。