論文の概要: Set-Encoder: Permutation-Invariant Inter-Passage Attention for Listwise Passage Re-Ranking with Cross-Encoders

• arxiv url: http://arxiv.org/abs/2404.06912v4
• Date: Sat, 22 Mar 2025 09:54:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:28:18.802352
• Title: Set-Encoder: Permutation-Invariant Inter-Passage Attention for Listwise Passage Re-Ranking with Cross-Encoders
• Title（参考訳）: Set-Encoder: クロスエンコーダを用いたリスワイズパス再帰のための置換不変なパッセージ間アテンション
• Authors: Ferdinand Schlatt, Maik Fröbe, Harrisen Scells, Shengyao Zhuang, Bevan Koopman, Guido Zuccon, Benno Stein, Martin Potthast, Matthias Hagen,
• Abstract要約: クロスエンコーダモデルは、ポイントワイド、ペアワイド、リストワイドに分類される。 本稿では,新たなクロスエンコーダアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 79.35822270532948
• License:
• Abstract: Existing cross-encoder models can be categorized as pointwise, pairwise, or listwise. Pairwise and listwise models allow passage interactions, which typically makes them more effective than pointwise models but less efficient and less robust to input passage order permutations. To enable efficient permutation-invariant passage interactions during re-ranking, we propose a new cross-encoder architecture with inter-passage attention: the Set-Encoder. In experiments on TREC Deep Learning and TIREx, the Set-Encoder is as effective as state-of-the-art listwise models while being more efficient and invariant to input passage order permutations. Compared to pointwise models, the Set-Encoder is particularly more effective when considering inter-passage information, such as novelty, and retains its advantageous properties compared to other listwise models. Our code is publicly available at https://github.com/webis-de/ECIR-25.
• Abstract（参考訳）: 既存のクロスエンコーダモデルは、ポイントワイド、ペアワイド、リストワイドに分類される。 ペアワイズモデルとリストワイズモデルでは、通常はポイントワイズモデルよりも効果的であるが、入力パスオーダーの置換に対して効率が悪く、堅牢性が低い。 再ランク付け中の効率的な置換-不変経路間相互作用を実現するために,パス間注意を持つ新しいクロスエンコーダアーキテクチャ,set-Encoderを提案する。 TREC Deep Learning と TIREx の実験では、Set-Encoder は最先端のリストワイズモデルと同じくらい有効であり、入力路順の置換に対してより効率的で不変である。 ポイントワイズモデルと比較すると、Set-Encoderは他のリストワイズモデルと比較して、新規性などのパス間情報を考えると特に効果的であり、有利な特性を保っている。 私たちのコードはhttps://github.com/webis-de/ECIR-25.comで公開されています。

関連論文リスト

• ListConRanker: A Contrastive Text Reranker with Listwise Encoding [27.017035527335402]
  本稿では,Listwise-encoded Contrastive text reRanker (ListConRanker)を提案する。 これは、エンコーディングプロセス中に他のパスと比較するのに役立ちます。 これは、中国語のMassive Text Embedding Benchmarkの再評価ベンチマークで、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-01-13T07:51:46Z)
• CrossMPT: Cross-attention Message-Passing Transformer for Error Correcting Codes [14.631435001491514]
  クロスアテンションメッセージパージングトランス(CrossMPT)を提案する。 また、CrossMPTは、既存のニューラルネットワークベースのデコーダを、様々なコードクラスで大幅に上回っていることを示す。 特に、CrossMPTは、メモリ使用量、複雑性、推論時間、トレーニング時間を著しく削減しながら、このデコードパフォーマンスの改善を実現している。
  論文  参考訳（メタデータ） (2024-05-02T06:30:52Z)
• GEC-DePenD: Non-Autoregressive Grammatical Error Correction with Decoupled Permutation and Decoding [52.14832976759585]
  文法的誤り訂正(GEC)は、通常自己回帰的なシーケンス・ツー・シーケンスモデルで解決される重要なNLPタスクである。 本稿では, アーキテクチャを置換ネットワークに分離する, GEC に対する非自己回帰的アプローチを提案する。 GECの既知の非自己回帰手法よりもネットワークが向上することを示す。
  論文  参考訳（メタデータ） (2023-11-14T14:24:36Z)
• Incrementally-Computable Neural Networks: Efficient Inference for Dynamic Inputs [75.40636935415601]
  ディープラーニングは、センサーデータやユーザ入力などの動的入力を効率的に処理するという課題に直面していることが多い。 インクリメンタルな計算アプローチを採用し、入力の変化に応じて計算を再利用する。 本稿では,この手法をトランスフォーマーアーキテクチャに適用し,修正入力の分数に比例した複雑性を持つ効率的なインクリメンタル推論アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-07-27T16:30:27Z)
• CITADEL: Conditional Token Interaction via Dynamic Lexical Routing for Efficient and Effective Multi-Vector Retrieval [72.90850213615427]
  マルチベクター検索法はスパース(例えばBM25)と高密度(例えばDPR)レトリバーの利点を組み合わせたものである。 これらの手法は桁違いに遅く、単ベクトルの手法に比べてインデックスを格納するのにはるかに多くのスペースを必要とする。 動的語彙ルーティング(CITADEL)による条件付きトークンの相互作用を,効率的かつ効率的なマルチベクタ検索のために提案する。
  論文  参考訳（メタデータ） (2022-11-18T18:27:35Z)
• Efficient Nearest Neighbor Search for Cross-Encoder Models using Matrix Factorization [60.91600465922932]
  本稿では,クロスエンコーダのみに頼って,二重エンコーダによる検索を回避する手法を提案する。 我々のアプローチは、現在の広く使われている方法よりも優れたテスト時間リコール-vs計算コストトレードオフを提供する。
  論文  参考訳（メタデータ） (2022-10-23T00:32:04Z)
• Predicting Attention Sparsity in Transformers [0.9786690381850356]
  本稿では, 遠心注意の空間パターンを計算前に同定するモデルであるスペーサーファインダーを提案する。 我々の研究は、予測された注目グラフの間隔とリコールの間のトレードオフを広範囲に分析することで、モデル効率を研究するための新しい角度を提供する。
  論文  参考訳（メタデータ） (2021-09-24T20:51:21Z)
• Demystifying the Better Performance of Position Encoding Variants for Transformer [12.503079503907989]
  トランスフォーマーモデルに位置とセグメントをエンコードする方法を示します。 提案手法は、GLUE, XTREME, WMTベンチマークのSOTAと同等に実行し、コストを節約する。
  論文  参考訳（メタデータ） (2021-04-18T03:44:57Z)
• On the Encoder-Decoder Incompatibility in Variational Text Modeling and Beyond [82.18770740564642]
  変分オートエンコーダ(VAE)は、潜時変数と償却変分推論を結合する。 我々は,データ多様体のパラメータ化が不十分なエンコーダ・デコーダの不整合性を観察する。 同一構造を持つ決定論的オートエンコーダとVAEモデルを結合した結合型VAEを提案する。
  論文  参考訳（メタデータ） (2020-04-20T10:34:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。