論文の概要: MICE: Minimal Interaction Cross-Encoders for efficient Re-ranking

• arxiv url: http://arxiv.org/abs/2602.16299v1
• Date: Wed, 18 Feb 2026 09:30:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-19 15:58:30.558755
• Title: MICE: Minimal Interaction Cross-Encoders for efficient Re-ranking
• Title（参考訳）: MICE: 効率的なリグレードのための最小インタラクションクロスエンコーダ
• Authors: Mathias Vast, Victor Morand, Basile van Cooten, Laure Soulier, Josiane Mothe, Benjamin Piwowarski,
• Abstract要約: クロスエンコーダは、情報検索において最先端のランキングの有効性を提供するが、推論コストが高い。 有害な相互作用や不要な相互作用を慎重に除去することで、新しい遅延相互作用のようなアーキテクチャを導出できることを示す。 MICEは標準のクロスエンコーダに比べて推論遅延を4倍に減らす。
• 参考スコア（独自算出の注目度）: 12.107932271370563
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cross-encoders deliver state-of-the-art ranking effectiveness in information retrieval, but have a high inference cost. This prevents them from being used as first-stage rankers, but also incurs a cost when re-ranking documents. Prior work has addressed this bottleneck from two largely separate directions: accelerating cross-encoder inference by sparsifying the attention process or improving first-stage retrieval effectiveness using more complex models, e.g. late-interaction ones. In this work, we propose to bridge these two approaches, based on an in-depth understanding of the internal mechanisms of cross-encoders. Starting from cross-encoders, we show that it is possible to derive a new late-interaction-like architecture by carefully removing detrimental or unnecessary interactions. We name this architecture MICE (Minimal Interaction Cross-Encoders). We extensively evaluate MICE across both in-domain (ID) and out-of-domain (OOD) datasets. MICE decreases fourfold the inference latency compared to standard cross-encoders, matching late-interaction models like ColBERT while retaining most of cross-encoder ID effectiveness and demonstrating superior generalization abilities in OOD.
• Abstract（参考訳）: クロスエンコーダは、情報検索において最先端のランキングの有効性を提供するが、推論コストが高い。 これにより、第1段のランク付けには使用できないが、ドキュメントの再ランク付けにはコストがかかる。 それまでの作業では、注意プロセスのスパース化によるクロスエンコーダ推論の高速化や、より複雑なモデル、例えば遅延相互作用によるファーストステージ検索の有効性の向上という、2つの大きく異なる方向から、このボトルネックに対処してきた。 本研究では,クロスエンコーダの内部機構の深い理解に基づいて,これらの2つのアプローチを橋渡しする。 クロスエンコーダから始めると、有害または不要な相互作用を慎重に除去することにより、新しい遅延相互作用のようなアーキテクチャを導出できることが示される。 私たちはこのアーキテクチャをMICE(Minimal Interaction Cross-Encoders)と名付けます。 我々は、ドメイン内(ID)とドメイン外(OOD)の両方のデータセットでMICEを広範囲に評価する。 MICEは、標準のクロスエンコーダに比べて推論遅延を4倍に減らし、ColBERTのような遅延相互作用モデルと一致する一方で、クロスエンコーダIDの有効性の大半を保持し、OODの優れた一般化能力を示す。

関連論文リスト

• DS-Det: Single-Query Paradigm and Attention Disentangled Learning for Flexible Object Detection [39.56089737473775]
  画像中のフレキシブルな数の物体を検出できるより効率的な変換器検出器DS-Detを提案する。 具体的には、デコーダモデリングのための新しい統合シングルクエリパラダイムを再構成し、導入する。 また,注意障害学習による簡易デコーダフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-26T05:40:04Z)
• Reverse-Engineering the Retrieval Process in GenIR Models [41.661577386460436]
  Generative Information Retrieval (GenIR) は、トランスフォーマーエンコーダ-デコーダモデルがクエリに基づいて文書のランキングを予測する新しいパラダイムである。 本研究は、機械的解釈可能性に基づく手法を適用して、GenIRモデルの内部検索過程を研究する。
  論文  参考訳（メタデータ） (2025-03-25T14:41:17Z)
• Triple-Encoders: Representations That Fire Together, Wire Together [51.15206713482718]
  コントラスト学習(Contrastive Learning)は、バイエンコーダを介して発話間の相対距離を埋め込み空間に符号化する表現学習法である。 本研究では,これら独立に符号化された発話から分散発話混合物を効率よく計算する三重エンコーダを提案する。 トリプルエンコーダはバイエンコーダよりも大幅に改善され、シングルベクトル表現モデルよりもゼロショットの一般化が向上することがわかった。
  論文  参考訳（メタデータ） (2024-02-19T18:06:02Z)
• Rethinking Patch Dependence for Masked Autoencoders [89.02576415930963]
  マスク付きオートエンコーダ(MAE)のデコーダにおけるパッチ間の依存関係が表現学習に与える影響について検討する。 クロスアテンションマスク付きオートエンコーダ(CrossMAE)の簡易な視覚前訓練フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-25T18:49:57Z)
• ED2LM: Encoder-Decoder to Language Model for Faster Document Re-ranking Inference [70.36083572306839]
  本稿では,再ランク付けのための新しいトレーニングおよび推論パラダイムを提案する。 文書形式を用いて事前訓練したエンコーダ・デコーダモデルを精査し,クエリ生成を行う。 このエンコーダ-デコーダアーキテクチャは,推論中にデコーダのみの言語モデルに分解可能であることを示す。
  論文  参考訳（メタデータ） (2022-04-25T06:26:29Z)
• Trans-Encoder: Unsupervised sentence-pair modelling through self- and mutual-distillations [22.40667024030858]
  バイエンコーダは固定次元の文表現を生成し、計算効率が良い。 クロスエンコーダは、アテンションヘッドを利用して、より優れたパフォーマンスのために文間相互作用を利用することができる。 Trans-Encoderは、2つの学習パラダイムを反復的なジョイントフレームワークに統合し、拡張されたバイ・エンコーダとクロス・エンコーダを同時に学習する。
  論文  参考訳（メタデータ） (2021-09-27T14:06:47Z)
• Retrieve Fast, Rerank Smart: Cooperative and Joint Approaches for Improved Cross-Modal Retrieval [80.35589927511667]
  画像中のすべての単語やオブジェクトに係わるクロスアテンション機構を備えたTransformerベースのアーキテクチャを頼りに、クロスモーダル検索プロセスのテキストとビジュアルインプットへの最先端のアプローチ。 事前学習したテキスト画像のマルチモーダルモデルを効率的な検索モデルに変換する新しい微調整フレームワークを提案する。 我々は,モノリンガル,マルチリンガル,ゼロショットにおける一連の標準クロスモーダル検索ベンチマーク実験を行い,最先端クロスエンコーダに対する精度向上と大幅な効率向上を実証した。
  論文  参考訳（メタデータ） (2021-03-22T15:08:06Z)
• Augmented SBERT: Data Augmentation Method for Improving Bi-Encoders for Pairwise Sentence Scoring Tasks [59.13635174016506]
  本稿では,Augmented SBERTと呼ばれる単純なデータ拡張戦略を提案する。 クロスエンコーダを用いて、より大きな入力ペアのセットをラベル付けし、バイエンコーダのトレーニングデータを増強する。 このプロセスでは,文ペアの選択は非自明であり,提案手法の成功には不可欠であることを示す。
  論文  参考訳（メタデータ） (2020-10-16T08:43:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。