論文の概要: NevIR: Negation in Neural Information Retrieval

• arxiv url: http://arxiv.org/abs/2305.07614v2
• Date: Mon, 26 Feb 2024 20:55:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-29 00:46:40.247740
• Title: NevIR: Negation in Neural Information Retrieval
• Title（参考訳）: NevIR: ニューラル情報検索における否定
• Authors: Orion Weller, Dawn Lawrie, Benjamin Van Durme
• Abstract要約: 否定は日常的な現象であり、言語モデル(LM)の弱点の一貫した領域である。 我々は、否定のみが異なる2つの文書のランク付けをIRモデルに求めるベンチマークを構築した。 クロスエンコーダは最適に動作し、後続の遅延相互作用モデルが続き、最後にはバイエンコーダとスパースニューラルアーキテクチャである。
• 参考スコア（独自算出の注目度）: 45.9442701147499
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Negation is a common everyday phenomena and has been a consistent area of weakness for language models (LMs). Although the Information Retrieval (IR) community has adopted LMs as the backbone of modern IR architectures, there has been little to no research in understanding how negation impacts neural IR. We therefore construct a straightforward benchmark on this theme: asking IR models to rank two documents that differ only by negation. We show that the results vary widely according to the type of IR architecture: cross-encoders perform best, followed by late-interaction models, and in last place are bi-encoder and sparse neural architectures. We find that most information retrieval models (including SOTA ones) do not consider negation, performing the same or worse than a random ranking. We show that although the obvious approach of continued fine-tuning on a dataset of contrastive documents containing negations increases performance (as does model size), there is still a large gap between machine and human performance.
• Abstract（参考訳）: 否定は日常的な現象であり、言語モデル(LM)の弱点の一貫した領域である。 Information Retrieval (IR)コミュニティは、現代のIRアーキテクチャのバックボーンとしてLMを採用するが、ネゲーションがニューラルIRに与える影響を理解する研究はほとんど行われていない。 そこで我々は,irモデルに対して,否定によってのみ異なる2つの文書のランク付けを求めるという,このテーマに対する直接的なベンチマークを構築した。 クロスエンコーダは最もパフォーマンスが良く、後続の相互作用モデルが続き、最後の場所はバイエンコーダとスパースニューラルネットワークアーキテクチャである。 その結果、ほとんどの情報検索モデル(SOTAを含む)は否定を考慮せず、ランダムなランキングと同じか悪い結果をもたらすことがわかった。 否定を含む対照的な文書のデータセットを微調整を続けるという明らかなアプローチは、(モデルのサイズと同様に)性能を高めるが、マシンと人間のパフォーマンスの間には大きなギャップがある。

関連論文リスト

• Robust Neural Information Retrieval: An Adversarial and Out-of-distribution Perspective [111.58315434849047]
  ニューラルネットワーク検索モデル(IR)モデルの堅牢性は、大きな注目を集めている。 我々は、IRの堅牢性を多面的概念とみなし、敵攻撃、アウト・オブ・ディストリビューション(OOD)シナリオ、パフォーマンスのばらつきに対してその必要性を強調している。 我々は,既存の手法,データセット,評価指標について詳細な議論を行い,大規模言語モデルの時代における課題や今後の方向性に光を当てる。
  論文  参考訳（メタデータ） (2024-07-09T16:07:01Z)
• Explainable AI for Comparative Analysis of Intrusion Detection Models [20.683181384051395]
  本研究は,ネットワークトラフィックから侵入検出を行うために,各種機械学習モデルを二分分類および多クラス分類のタスクに解析する。 すべてのモデルをUNSW-NB15データセットで90%の精度でトレーニングしました。 また、Random Forestは正確さ、時間効率、堅牢性という点で最高のパフォーマンスを提供します。
  論文  参考訳（メタデータ） (2024-06-14T03:11:01Z)
• Evaluating Machine Learning Models with NERO: Non-Equivariance Revealed on Orbits [19.45052971156096]
  本研究では,Non-Equivariance Revealed on Orbits (NERO) Evaluationという新しい評価ワークフローを提案する。 NERO評価は、タスクに依存しない対話インタフェースと、NEROプロットと呼ばれる視覚化のセットで構成されている。 NEROの評価が2次元数値認識、物体検出、粒子画像速度測定(PIV)、および3次元点雲分類など、複数の研究領域に適用可能なケーススタディである。
  論文  参考訳（メタデータ） (2023-05-31T14:24:35Z)
• Mind the Backbone: Minimizing Backbone Distortion for Robust Object Detection [52.355018626115346]
  ドメインシフトに対して堅牢なオブジェクト検出器を構築することは、現実世界のアプリケーションにとって重要なことです。 我々は,ゆがみを特徴付けるバックボーンの脆弱性を測定する手段として,相対勾配ノルム(Relative Gradient Norm)を提案する。 両バックボーンのOOD堅牢性を高めるためのレシピを提案する。
  論文  参考訳（メタデータ） (2023-03-26T14:50:43Z)
• Towards Regression-Free Neural Networks for Diverse Compute Platforms [50.64489250972764]
  負のフリップを小さくする高精度モデル群を設計するために,REG-NAS(Regression constrained Neural Architecture Search)を導入する。 REG-NASは2つのコンポーネントから構成される: 1) より大きなモデルでより小さなモデルの全重みを収容できる新しいアーキテクチャ制約により、重量共有を最大化する。 我々は,regnasが3つの一般的なアーキテクチャ検索空間において,負のフリップが少なく,望ましいアーキテクチャを見つけることができたことを実証した。
  論文  参考訳（メタデータ） (2022-09-27T23:19:16Z)
• Entity-Conditioned Question Generation for Robust Attention Distribution in Neural Information Retrieval [51.53892300802014]
  教師付きニューラル情報検索モデルでは,通過トークンよりも疎注意パターンを学習することが困難であることを示す。 目的とする新しい合成データ生成手法を用いて、与えられた通路内の全てのエンティティに対して、より均一で堅牢な参加をニューラルIRに教える。
  論文  参考訳（メタデータ） (2022-04-24T22:36:48Z)
• Characterizing and Understanding the Behavior of Quantized Models for Reliable Deployment [32.01355605506855]
  量子化対応トレーニングは、標準、逆数、ミックスアップトレーニングよりも安定したモデルを生成することができる。 診断は、しばしばトップ1とトップ2の出力確率に近づき、$Margin$は、相違点を区別する他の不確実性指標よりも優れた指標である。 我々は、量子化されたモデルをさらに研究するための新しいベンチマークとして、コードとモデルをオープンソース化した。
  論文  参考訳（メタデータ） (2022-04-08T11:19:16Z)
• Match Your Words! A Study of Lexical Matching in Neural Information Retrieval [11.930815087240479]
  我々は、様々な最先端のニューラルIRモデルの振る舞いについて研究し、実際に有用である場合に語彙マッチングを行うことができるかどうかに焦点を当てた。 ニューラルIRモデルは、トレーニング中、ドメイン外のコレクションや用語の用語の重要性を適切に一般化できないことを示す。
  論文  参考訳（メタデータ） (2021-12-10T16:49:49Z)
• Learning from Context or Names? An Empirical Study on Neural Relation Extraction [112.06614505580501]
  テキストにおける2つの主要な情報ソースの効果について検討する:テキストコンテキストとエンティティ参照(名前) 本稿では,関係抽出のための実体型コントラスト事前学習フレームワーク(RE)を提案する。 我々のフレームワークは、異なるREシナリオにおけるニューラルモデルの有効性と堅牢性を改善することができる。
  論文  参考訳（メタデータ） (2020-10-05T11:21:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。