論文の概要: How BERT-based Cross-Encoders Model Relevance in Information Retrieval?

• arxiv url: http://arxiv.org/abs/2610.41425v1
• Date: Fri, 30 Oct 2026 08:31:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.660665
• Title: How BERT-based Cross-Encoders Model Relevance in Information Retrieval?
• Title（参考訳）: 情報検索におけるBERTベースのクロスエンコーダの関連性について
• Abstract要約: クロスエンコーダは最も効果的だが、情報検索において最も効率的でないモデルでもある。 本稿では,クロスエンコーダの2つの側面について検討する。 我々は,この流れを構成する信号の性質について検討し,クロスエンコーダがクエリへの経路の関連性を予測できるようにする。
• 参考スコア（独自算出の注目度）: 12.354653595851353
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cross-encoders are the most effective but also the least efficient models in Information Retrieval. Despite their success, the mechanisms underlying their relevance predictions remain poorly understood, particularly how they process to match queries and documents. This lack of interpretability limits their optimization, can lead to suboptimal retrieval, especially out-of-domain, and raises efficiency concerns for over-parameterized models. To address these challenges, this paper investigates two under-explored aspects of cross-encoder behavior. First, to understand the relevance prediction process, we trace the flow of information at the different stages of the process and between different input segments. We study the nature of the signals that compose this flow and that allow cross-encoders to predict the relevance of a passage to a query. Our work particularly focuses on the matching performed by the cross-encoders between queries and documents. Second, we explore how cross-encoders behave with out-of-domain documents and/or queries. Through a series of interpretability experiments, we evaluate three BERT-based cross-encoder models, varying in size and pre-training strategies, across both in-domain and out-of-domain datasets. Overall, this study both consolidates what is known about how cross-encoders model relevance and extends it by exploring the role of matching signals.
• Abstract（参考訳）: クロスエンコーダは最も効果的だが、情報検索において最も効率的でないモデルでもある。 彼らの成功にもかかわらず、それらの関連性予測の基盤となるメカニズムは、特にクエリやドキュメントにマッチする処理の仕方について、よく理解されていないままである。 この解釈可能性の欠如は最適化を制限し、特にドメイン外における最適部分探索を招き、過度なパラメータ化モデルに対する効率上の懸念を引き起こす。 これらの課題に対処するために、クロスエンコーダの2つの未探索側面について検討する。 まず、関連性予測プロセスを理解するために、プロセスの異なる段階と異なる入力セグメント間の情報の流れをトレースする。 我々は,この流れを構成する信号の性質について検討し,クロスエンコーダがクエリへの経路の関連性を予測できるようにする。 我々の研究は特に、クエリとドキュメント間のクロスエンコーダによって実行されるマッチングに焦点を当てている。 次に、ドメイン外のドキュメントやクエリに対して、クロスエンコーダがどのように振る舞うかを検討する。 一連の解釈可能性実験を通じて、我々はBERTベースの3つのクロスエンコーダモデルを評価し、サイズや事前学習戦略をドメイン内およびドメイン外の両方のデータセットで評価した。 全体として、この研究は、相互エンコーダがどのように関係をモデル化し、マッチする信号の役割を探求することによってそれを拡張するかについて知られていることを集約する。

関連論文リスト

• MICE: Minimal Interaction Cross-Encoders for efficient Re-ranking [12.107932271370563]
  クロスエンコーダは、情報検索において最先端のランキングの有効性を提供するが、推論コストが高い。 有害な相互作用や不要な相互作用を慎重に除去することで、新しい遅延相互作用のようなアーキテクチャを導出できることを示す。 MICEは標準のクロスエンコーダに比べて推論遅延を4倍に減らす。
  論文  参考訳（メタデータ） (2026-02-18T09:30:29Z)
• ABCD-LINK: Annotation Bootstrapping for Cross-Document Fine-Grained Links [57.514511353084565]
  我々は、最高のパフォーマンスのアプローチを選択し、文書間リンクに注釈を付けるための新しいドメインに依存しないフレームワークを提案する。 当社のフレームワークを2つの異なるドメイン – ピアレビューとニュース – に適用しています。 結果として得られた新しいデータセットは、メディアフレーミングやピアレビューなど、数多くのクロスドキュメントタスクの基礎を築いた。
  論文  参考訳（メタデータ） (2025-09-01T11:32:24Z)
• Reverse-Engineering the Retrieval Process in GenIR Models [41.661577386460436]
  Generative Information Retrieval (GenIR) は、トランスフォーマーエンコーダ-デコーダモデルがクエリに基づいて文書のランキングを予測する新しいパラダイムである。 本研究は、機械的解釈可能性に基づく手法を適用して、GenIRモデルの内部検索過程を研究する。
  論文  参考訳（メタデータ） (2025-03-25T14:41:17Z)
• Generative Retrieval Meets Multi-Graded Relevance [104.75244721442756]
  GRADed Generative Retrieval (GR$2$)というフレームワークを紹介します。 GR$2$は2つの重要なコンポーネントに焦点を当てている。 マルチグレードとバイナリの関連性を持つデータセットの実験は,GR$2$の有効性を示した。
  論文  参考訳（メタデータ） (2024-09-27T02:55:53Z)
• CART: A Generative Cross-Modal Retrieval Framework with Coarse-To-Fine Semantic Modeling [53.97609687516371]
  クロスモーダル検索は、異なるモーダルデータの相互作用を通じて、クエリと意味的に関連するインスタンスを検索することを目的としている。 従来のソリューションでは、クエリと候補の間のスコアを明示的に計算するために、シングルトウワーまたはデュアルトウワーのフレームワークを使用している。 粗大なセマンティックモデリングに基づく生成的クロスモーダル検索フレームワーク(CART)を提案する。
  論文  参考訳（メタデータ） (2024-06-25T12:47:04Z)
• EAGER: Two-Stream Generative Recommender with Behavior-Semantic Collaboration [63.112790050749695]
  本稿では,行動情報と意味情報の両方をシームレスに統合する新しい生成推薦フレームワークであるEAGERを紹介する。 EAGERの有効性を4つの公開ベンチマークで検証し,既存手法と比較して優れた性能を示した。
  論文  参考訳（メタデータ） (2024-06-20T06:21:56Z)
• A cross-domain recommender system using deep coupled autoencoders [77.86290991564829]
  クロスドメインレコメンデーションのために2つの新しい結合型オートエンコーダに基づくディープラーニング手法を提案する。 最初の方法は、ソースドメインとターゲットドメイン内のアイテムの固有表現を明らかにするために、一対のオートエンコーダを同時に学習することを目的としている。 第2の方法は,2つのオートエンコーダを用いてユーザとアイテム待ち行列を深く非線形に生成する,新たな共同正規化最適化問題に基づいて導出する。
  論文  参考訳（メタデータ） (2021-12-08T15:14:26Z)
• MD-CSDNetwork: Multi-Domain Cross Stitched Network for Deepfake Detection [80.83725644958633]
  現在のディープフェイク生成法では、偽画像やビデオの周波数スペクトルに識別的アーティファクトが残されている。 MD-CSDNetwork(MD-CSDNetwork)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-09-15T14:11:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。