論文の概要: Exploring $\ell_0$ Sparsification for Inference-free Sparse Retrievers

• arxiv url: http://arxiv.org/abs/2504.14839v1
• Date: Mon, 21 Apr 2025 03:40:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-29 19:41:35.804803
• Title: Exploring $\ell_0$ Sparsification for Inference-free Sparse Retrievers
• Title（参考訳）: 推論不要なスパースレトリバーのための$\ell_0$スパシフィケーションの探索
• Authors: Xinjie Shen, Zhichao Geng, Yang Yang,
• Abstract要約: 既存のスパース検索モデルは、スパース化のためのFLOPS正規化に依存している。 FLOPSを推論のないシナリオに適用しようとする以前の試みは、ルールベースの手法に限られていた。 提案手法は推論不要なスパース検索モデル間の最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 4.682757367266358
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: With increasing demands for efficiency, information retrieval has developed a branch of sparse retrieval, further advancing towards inference-free retrieval where the documents are encoded during indexing time and there is no model-inference for queries. Existing sparse retrieval models rely on FLOPS regularization for sparsification, while this mechanism was originally designed for Siamese encoders, it is considered to be suboptimal in inference-free scenarios which is asymmetric. Previous attempts to adapt FLOPS for inference-free scenarios have been limited to rule-based methods, leaving the potential of sparsification approaches for inference-free retrieval models largely unexplored. In this paper, we explore $\ell_0$ inspired sparsification manner for inference-free retrievers. Through comprehensive out-of-domain evaluation on the BEIR benchmark, our method achieves state-of-the-art performance among inference-free sparse retrieval models and is comparable to leading Siamese sparse retrieval models. Furthermore, we provide insights into the trade-off between retrieval effectiveness and computational efficiency, demonstrating practical value for real-world applications.
• Abstract（参考訳）: 効率性の要求が高まるにつれて、情報検索はスパース検索の分岐を開発し、さらにインデックス化時に文書が符号化され、クエリのモデル推論が存在しない推論不要な検索へと進んでいる。 既存のスパース検索モデルは、スパシフィケーションのためのFLOPS正規化に依存しているが、このメカニズムはもともとはシームズエンコーダ用に設計されていたが、非対称な推論のないシナリオでは準最適であると考えられている。 FLOPSを推論なしのシナリオに適用する以前の試みはルールベースの手法に限られており、推論なし検索モデルに対するスパーシフィケーションアプローチの可能性はほとんど探索されていない。 本稿では,推論フリーレトリバーに対する$\ell_0$インスパイアされたスパーシフィケーション手法について検討する。 BEIRベンチマークの網羅的アウト・オブ・ドメイン評価により,提案手法は推論不要なスパース検索モデル間の最先端性能を達成し,シームズスパース検索モデルに匹敵する。 さらに,検索効率と計算効率のトレードオフを考察し,実世界のアプリケーションに対して実用的価値を示す。

関連論文リスト

• Constrained Auto-Regressive Decoding Constrains Generative Retrieval [71.71161220261655]
  ジェネレーティブ検索は、従来の検索インデックスデータ構造を1つの大規模ニューラルネットワークに置き換えようとしている。 本稿では,制約とビームサーチという2つの本質的な視点から,制約付き自己回帰生成の固有の制約について検討する。
  論文  参考訳（メタデータ） (2025-04-14T06:54:49Z)
• Breaking the Lens of the Telescope: Online Relevance Estimation over Large Retrieval Sets [15.549852480638066]
  本稿では,オンライン関連度推定という新たな手法を提案する。 オンライン関連度推定は、ランキングプロセスを通して、クエリの関連度推定を継続的に更新する。 TRECベンチマークの手法をハイブリッド検索と適応検索の2つのシナリオで検証する。
  論文  参考訳（メタデータ） (2025-04-12T22:05:50Z)
• Supervised Optimism Correction: Be Confident When LLMs Are Sure [91.7459076316849]
  教師付き微調整とオフライン強化学習の間には,新たな理論的関係が確立されている。 広く使われているビームサーチ法は、許容できない過度な最適化に悩まされていることを示す。 本稿では,トークンレベル$Q$-value推定のための簡易かつ効果的な補助的損失を導入したSupervised Optimism Correctionを提案する。
  論文  参考訳（メタデータ） (2025-04-10T07:50:03Z)
• Exploring Training and Inference Scaling Laws in Generative Retrieval [50.82554729023865]
  モデルサイズ,トレーニングデータスケール,推論時間計算が生成的検索性能にどのように影響するかを検討する。 実験の結果,n-gram-based method はトレーニング法と推論法の両方と強く一致していることがわかった。 LLaMAモデルはT5モデルより一貫して優れており、生成検索におけるデコーダのみの大きなモデルに対して特に有利であることが示唆された。
  論文  参考訳（メタデータ） (2025-03-24T17:59:03Z)
• Unifying Generative and Dense Retrieval for Sequential Recommendation [37.402860622707244]
  逐次密度検索と生成検索の強みを組み合わせたハイブリッドモデルであるLIGERを提案する。 LIGERは、シーケンシャルな高密度検索を生成検索に統合し、性能差を緩和し、コールドスタートアイテムレコメンデーションを強化する。 このハイブリッドアプローチは、これらのアプローチ間のトレードオフに関する洞察を与え、小規模ベンチマークにおけるレコメンデーションシステムの効率と効率性の向上を示す。
  論文  参考訳（メタデータ） (2024-11-27T23:36:59Z)
• Towards Competitive Search Relevance For Inference-Free Learned Sparse Retrievers [6.773411876899064]
  推測のないスパースモデルは 検索の関連という点で はるかに遅れています スパースモデルと密集したサイムズモデルの両方と比較して まず,IDF(Inverted Document Frequency)を導入したIFF対応のFLOPS損失を表現のスペーシングに導入する。 その結果、FLOPS正則化が検索関連性に与える影響を軽減し、精度と効率のバランスが良くなることがわかった。
  論文  参考訳（メタデータ） (2024-11-07T03:46:43Z)
• Breaking Determinism: Fuzzy Modeling of Sequential Recommendation Using Discrete State Space Diffusion Model [66.91323540178739]
  シークエンシャルレコメンデーション(SR)は、ユーザーが過去の行動に基づいて興味を持つかもしれない項目を予測することを目的としている。 我々はSRを新しい情報理論の観点から再検討し、逐次モデリング手法がユーザの行動のランダム性と予測不可能性を適切に把握できないことを発見した。 ファジィ情報処理理論に触発された本論文では,制限を克服し,ユーザの関心事の進化をよりよく捉えるために,ファジィなインタラクションシーケンスの組を導入する。
  論文  参考訳（メタデータ） (2024-10-31T14:52:01Z)
• RAEE: A Training-Free Retrieval-Augmented Early Exiting Framework for Efficient Inference [20.250550771195726]
  本稿では、効率的な推論のためのトレーニング不要な検索拡張早期実行フレームワークであるRAEEを提案する。 実験の結果,提案したRAEEは推論を著しく加速できることが示された。 RAEEは8つの分類タスクで最先端のゼロショットのパフォーマンスも達成している。
  論文  参考訳（メタデータ） (2024-05-24T04:01:24Z)
• Lexically-Accelerated Dense Retrieval [29.327878974130055]
  LADR (Lexically-Accelerated Dense Retrieval) は, 既存の高密度検索モデルの効率を向上する, 簡便な手法である。 LADRは、標準ベンチマークでの徹底的な検索と同等の精度とリコールの両方を一貫して達成する。
  論文  参考訳（メタデータ） (2023-07-31T15:44:26Z)
• Learning to Rank in Generative Retrieval [62.91492903161522]
  生成的検索は、検索対象として関連する通路の識別子文字列を生成することを目的としている。 我々はLTRGRと呼ばれる生成検索のための学習 torankフレームワークを提案する。 このフレームワークは、現在の生成的検索システムを強化するために、追加の学習からランクまでのトレーニングフェーズのみを必要とする。
  論文  参考訳（メタデータ） (2023-06-27T05:48:14Z)
• Fine-grained Retrieval Prompt Tuning [149.9071858259279]
  微粒な検索プロンプトチューニングは, サンプルプロンプトと特徴適応の観点から, きめの細かい検索タスクを実行するために, 凍結した事前学習モデルを操る。 学習可能なパラメータが少ないFRPTは、広く使われている3つの細粒度データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-07-29T04:10:04Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。