論文の概要: Improving Out-of-Distribution Generalization of Neural Rerankers with Contextualized Late Interaction

• arxiv url: http://arxiv.org/abs/2302.06589v1
• Date: Mon, 13 Feb 2023 18:42:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-14 14:28:10.891339
• Title: Improving Out-of-Distribution Generalization of Neural Rerankers with Contextualized Late Interaction
• Title（参考訳）: 文脈的遅延相互作用によるニューラルリランカの分布外一般化の改善
• Authors: Xinyu Zhang, Minghan Li, and Jimmy Lin
• Abstract要約: マルチベクトルの最も単純な形式である後期相互作用は、[]ベクトルのみを使用して類似度スコアを計算する神経リランカにも役立ちます。 異なるモデルサイズと多様な性質の第一段階のレトリバーに一貫性があることが示される。
• 参考スコア（独自算出の注目度）: 52.63663547523033
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent progress in information retrieval finds that embedding query and document representation into multi-vector yields a robust bi-encoder retriever on out-of-distribution datasets. In this paper, we explore whether late interaction, the simplest form of multi-vector, is also helpful to neural rerankers that only use the [CLS] vector to compute the similarity score. Although intuitively, the attention mechanism of rerankers at the previous layers already gathers the token-level information, we find adding late interaction still brings an extra 5% improvement in average on out-of-distribution datasets, with little increase in latency and no degradation in in-domain effectiveness. Through extensive experiments and analysis, we show that the finding is consistent across different model sizes and first-stage retrievers of diverse natures and that the improvement is more prominent on longer queries.
• Abstract（参考訳）: 最近の情報検索の進歩により、クエリとドキュメントの表現をマルチベクトルに埋め込むことで、分散データセット上で堅牢なbiエンコーダ検索が可能になる。 本稿では,多ベクトルの最も単純な形式である遅延相互作用が,[CLS]ベクトルのみを用いて類似点を計算する神経リランカに有用かどうかを考察する。 直観的には、以前のレイヤのリランクのアテンションメカニズムがすでにトークンレベルの情報を集めているが、遅いインタラクションを追加することで、分散外データセットの平均が5%向上し、レイテンシが増加せず、ドメイン内の有効性が低下しないことがわかった。 広範囲な実験と分析により, モデルサイズ, 様々な性質の第一段階の検索者が一致し, より長いクエリにおいて改善が顕著であることを示す。

関連論文リスト

• Consensus-Adaptive RANSAC [104.87576373187426]
  本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。 注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
  論文  参考訳（メタデータ） (2023-07-26T08:25:46Z)
• ReFIT: Relevance Feedback from a Reranker during Inference [109.33278799999582]
  Retrieve-and-Rerankは、ニューラル情報検索の一般的なフレームワークである。 本稿では,リランカを利用してリコールを改善する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-19T15:30:33Z)
• Agent-State Construction with Auxiliary Inputs [16.79847469127811]
  本稿では,強化学習に補助的な入力を使用する方法の異なる方法を示す一連の例を示す。 これらの補助的な入力は、それ以外はエイリアスされるであろう観測を区別するために使用できることを示す。 このアプローチは、リカレントニューラルネットワークや切り離されたバックプロパゲーションといった最先端の手法を補完するものだ。
  論文  参考訳（メタデータ） (2022-11-15T00:18:14Z)
• Generating Sparse Counterfactual Explanations For Multivariate Time Series [0.5161531917413706]
  多変量時系列に対するSPARse Counterfactual Explanationsを生成するGANアーキテクチャを提案する。 提案手法は, トラジェクトリの類似性, 疎性, 滑らか性の観点から, 対実損失関数を正規化する。 我々は,実世界の人間の動作データセットと合成時系列解釈可能性ベンチマークに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-06-02T08:47:06Z)
• CCLF: A Contrastive-Curiosity-Driven Learning Framework for Sample-Efficient Reinforcement Learning [56.20123080771364]
  我々は、強化学習のためのモデルに依存しないコントラスト駆動学習フレームワーク(CCLF)を開発した。 CCLFは、サンプルの重要性を完全に活用し、自己管理的な学習効率を向上させる。 このアプローチをDeepMind Control Suite、Atari、MiniGridベンチマークで評価する。
  論文  参考訳（メタデータ） (2022-05-02T14:42:05Z)
• Last Layer Re-Training is Sufficient for Robustness to Spurious Correlations [51.552870594221865]
  最後の層再トレーニングは,突発的な相関ベンチマークにおいて,最先端の手法と一致するか,あるいは性能的に優れていることを示す。 また,大規模な画像ネット学習モデルにおける最終層の再トレーニングにより,背景情報やテクスチャ情報への依存を著しく低減できることを示す。
  論文  参考訳（メタデータ） (2022-04-06T16:55:41Z)
• ColBERTv2: Effective and Efficient Retrieval via Lightweight Late Interaction [15.336103841957328]
  ColBERTv2は、攻撃的な残留圧縮機構と識別された監視戦略を結合するレトリバーである。 ColBERTv2をさまざまなベンチマークで評価し,トレーニング領域内外における最先端の品質を確立した。
  論文  参考訳（メタデータ） (2021-12-02T18:38:50Z)
• Recurrent Feedback Improves Recognition of Partially Occluded Objects [1.452875650827562]
  人工ニューラルネットワークが再発の恩恵を受けるかどうかについて検討する。 競合パラメトリック複雑性のフィードフォワードモデルと比較して,繰り返しモデルでは分類精度が有意に高いことがわかった。
  論文  参考訳（メタデータ） (2021-04-21T16:18:34Z)
• Representation Learning for Sequence Data with Deep Autoencoding Predictive Components [96.42805872177067]
  本稿では,シーケンスデータの有用な表現が潜在空間における単純な構造を示すべきという直感に基づく,シーケンスデータの自己教師型表現学習法を提案する。 我々は,過去と将来のウィンドウ間の相互情報である潜在特徴系列の予測情報を最大化することにより,この潜時構造を奨励する。 提案手法は,ノイズの多い動的システムの潜時空間を復元し,タスク予測のための予測特徴を抽出し,エンコーダを大量の未ラベルデータで事前訓練する場合に音声認識を改善する。
  論文  参考訳（メタデータ） (2020-10-07T03:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。