論文の概要: Multi-view-guided Passage Reranking with Large Language Models
- arxiv url: http://arxiv.org/abs/2509.07485v1
- Date: Tue, 09 Sep 2025 08:05:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-10 14:38:27.221831
- Title: Multi-view-guided Passage Reranking with Large Language Models
- Title（参考訳）: 大規模言語モデルを用いた多視点誘導パス
- Authors: Jeongwoo Na, Jun Kwon, Eunseong Choi, Jongwuk Lee,
- Abstract要約: MVP(Multi-View-Guided Passage Re rank)と呼ばれる新しいパスリグレードモデルを導入する。
MVPはクエリパス情報を、外部バイアスの影響を受けずに、多様なビュー埋め込みにエンコードする。
MVPはドメイン内ベンチマークとドメイン外ベンチマークの両方で最先端のパフォーマンスを達成する。
- 参考スコア（独自算出の注目度）: 12.551451863609651
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in large language models (LLMs) have shown impressive performance in passage reranking tasks. Despite their success, LLM-based methods still face challenges in efficiency and sensitivity to external biases. (1) Existing models rely mostly on autoregressive generation and sliding window strategies to rank passages, which incur heavy computational overhead as the number of passages increases. (2) External biases, such as position or selection bias, hinder the model's ability to accurately represent passages and increase input-order sensitivity. To address these limitations, we introduce a novel passage reranking model, called Multi-View-guided Passage Reranking (MVP). MVP is a non-generative LLM-based reranking method that encodes query-passage information into diverse view embeddings without being influenced by external biases. For each view, it combines query-aware passage embeddings to produce a distinct anchor vector, which is then used to directly compute relevance scores in a single decoding step. In addition, it employs an orthogonal loss to make the views more distinctive. Extensive experiments demonstrate that MVP, with just 220M parameters, matches the performance of much larger 7B-scale fine-tuned models while achieving a 100x reduction in inference latency. Notably, the 3B-parameter variant of MVP achieves state-of-the-art performance on both in-domain and out-of-domain benchmarks. The source code is available at: https://github.com/bulbna/MVP
- Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、通過タスクにおける顕著な性能を示している。
その成功にもかかわらず、LCMベースの手法は依然として効率と外部バイアスに対する感受性の課題に直面している。
1) 既存のモデルは, 通過数の増加に伴って計算オーバーヘッドが増大する通路のランク付けに, 自己回帰生成とスライディングウインドウ戦略に大きく依存している。
2) 位置や選択バイアスなどの外部バイアスは,経路を正確に表現し,入力順序の感度を高めるモデルの能力を阻害する。
これらの制約に対処するため,Multi-View-guided Passage Re rank (MVP)と呼ばれる,新しいパスリグレードモデルを導入する。
MVPは、外部バイアスの影響を受けずに、クエリパス情報を多様なビュー埋め込みにエンコードする、ジェネレーティブなLLMベースのリグレードメソッドである。
各ビューに対して、クエリ対応のパス埋め込みを組み合わせることで、異なるアンカーベクトルを生成し、単一のデコードステップで関連スコアを直接計算する。
さらに、ビューをより独特なものにするために、直交的な損失を用いる。
広範な実験によると、MVPは2億2000万のパラメータしか持たず、はるかに大きな7Bスケールの微調整モデルのパフォーマンスと一致し、推論遅延の100倍の削減を実現している。
特に、MVPの3Bパラメータは、ドメイン内ベンチマークとドメイン外ベンチマークの両方で最先端のパフォーマンスを達成する。
ソースコードは、https://github.com/bulbna/MVPで入手できる。
関連論文リスト
- FTP: A Fine-grained Token-wise Pruner for Large Language Models via Token Routing [17.01412432658081]
大規模言語モデル(LLM)は、法則を拡張することによって、様々なタスクにおいて優れた性能を示す。
重要でないトークンを適応的に識別する学習可能なルータを提案する。
提案手法は,既存の刈り込み手法を超越して,最先端(SOTA)刈り込み結果を実現する。
論文 参考訳（メタデータ） (2024-12-16T07:09:46Z) - Pruning All-Rounder: Rethinking and Improving Inference Efficiency for Large Vision Language Models [42.124670377223175]
我々は Pruning All-Rounder (PAR) と呼ばれる推論加速のための新しいフレームワークを提案する。
PARは自己教師付き学習方式により、パフォーマンスと効率のバランスが優れている。特に、PARは高い柔軟性を持ち、様々なアクセラレーションシナリオに対処する複数のプルーニングバージョンを提供する。
論文 参考訳（メタデータ） (2024-12-09T13:02:35Z) - The Impact of Inference Acceleration on Bias of LLMs [15.42319156860822]
モデル生成における推定加速度最適化による人口統計バイアスについて検討する。
加速度戦略とバイアスタイプの組み合わせは、あるモデルではバイアスの変化が少ないが、別のモデルでは大きな影響をもたらす可能性がある。
この結果から,モデルバイアスの深度・ケースバイケース評価の必要性が示唆された。
論文 参考訳（メタデータ） (2024-10-29T15:19:13Z) - Divide, Reweight, and Conquer: A Logit Arithmetic Approach for In-Context Learning [19.16587730306472]
大規模言語モデル(LLM)の重要な機能として、インコンテキスト学習(ICL)が登場
複数の実演のロジットベースアンサンブルを用いてICLを強化する新しいフレームワークであるLogit Arithmetic Reweighting Approach (LARA)を提案する。
論文 参考訳（メタデータ） (2024-10-14T01:34:16Z) - Leveraging Passage Embeddings for Efficient Listwise Reranking with Large Language Models [17.420756201557957]
本稿では, PE-Rankを提案する。
本稿では,これらの特別なトークンに復号空間を動的に制約し,復号処理を高速化する推論手法を提案する。
複数のベンチマークの結果、PE-Rankは、競合するランキング効率を維持しながら、プリフィルとデコードの両方の効率を大幅に改善することを示した。
論文 参考訳（メタデータ） (2024-06-21T03:33:51Z) - Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。
加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
論文 参考訳（メタデータ） (2024-04-18T09:17:06Z) - Uncovering the Hidden Cost of Model Compression [43.62624133952414]
視覚プロンプティングは、コンピュータビジョンにおける伝達学習の重要な方法として登場した。
モデル圧縮は視覚的プロンプトベース転送の性能に有害である。
しかし、量子化によってモデルが圧縮されるとき、キャリブレーションに対する負の効果は存在しない。
論文 参考訳（メタデータ） (2023-08-29T01:47:49Z) - Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。
我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
論文 参考訳（メタデータ） (2023-05-24T15:52:08Z) - On the Eigenvalues of Global Covariance Pooling for Fine-grained Visual
Recognition [65.67315418971688]
グローバル共分散プーリング(GCP)の小さな固有値をトラッピングすることで、よりスムーズな勾配が得られることを示す。
きめ細かいデータセットでは、小さな固有値の切り抜きは、モデルを収束させるのに失敗する。
この観測から着想を得て,小さな固有値の重要性を拡大するネットワーク分岐を提案する。
論文 参考訳（メタデータ） (2022-05-26T11:41:36Z) - Adaptive Recursive Circle Framework for Fine-grained Action Recognition [95.51097674917851]
ビデオにおける微粒な空間時間ダイナミクスのモデル化は、アクション認識にとって難しい問題である。
既存のほとんどのメソッドは、純粋なフィードフォワード方式でレイヤの特徴を生成する。
本稿では,純粋なフィードフォワード層のための微細なデコレータであるAdaptive Recursive Circleフレームワークを提案する。
論文 参考訳（メタデータ） (2021-07-25T14:24:29Z) - Prior Guided Feature Enrichment Network for Few-Shot Segmentation [64.91560451900125]
最先端のセマンティックセグメンテーション手法は、良い結果を得るために十分なラベル付きデータを必要とする。
少数のラベル付きサポートサンプルを持つ新しいクラスに迅速に適応するモデルを学習することで,この問題に対処するためのショットセグメンテーションが提案されている。
これらのフレームワークは、高レベルのセマンティック情報の不適切な使用により、目に見えないクラスにおける一般化能力の低下という課題に直面している。
論文 参考訳（メタデータ） (2020-08-04T10:41:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。