論文の概要: Surface-Based Retrieval Reduces Perplexity of Retrieval-Augmented Language Models

• arxiv url: http://arxiv.org/abs/2305.16243v3
• Date: Tue, 4 Jul 2023 07:59:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-06 20:33:35.267581
• Title: Surface-Based Retrieval Reduces Perplexity of Retrieval-Augmented Language Models
• Title（参考訳）: 面ベース検索による検索言語モデルの難易度低減
• Authors: Ehsan Doostmohammadi, Tobias Norlund, Marco Kuhlmann, Richard Johansson
• Abstract要約: 本研究では,現状のRetroモデルについて検討し,その性能向上が表面レベルの類似性によってよりよく説明できることを示した。 これに触発されて、私たちはRetroのセマンティック検索をBM25に基づく表面レベルの手法に置き換え、パープレキシティの大幅な低減を実現した。
• 参考スコア（独自算出の注目度）: 1.0552465253379135
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Augmenting language models with a retrieval mechanism has been shown to significantly improve their performance while keeping the number of parameters low. Retrieval-augmented models commonly rely on a semantic retrieval mechanism based on the similarity between dense representations of the query chunk and potential neighbors. In this paper, we study the state-of-the-art Retro model and observe that its performance gain is better explained by surface-level similarities, such as token overlap. Inspired by this, we replace the semantic retrieval in Retro with a surface-level method based on BM25, obtaining a significant reduction in perplexity. As full BM25 retrieval can be computationally costly for large datasets, we also apply it in a re-ranking scenario, gaining part of the perplexity reduction with minimal computational overhead.
• Abstract（参考訳）: 検索機構による言語モデルの強化は,パラメータ数を低く保ちながら,性能を著しく向上させることが示されている。 検索型モデルは通常、クエリチャンクの密表現と潜在的な隣人の類似性に基づく意味的検索機構に依存する。 本稿では,現状のRetroモデルについて検討し,トークン重複などの表面レベルの類似性により,その性能向上がよりよく説明できることを示した。 これに触発されて,レトロのセマンティック検索をbm25に基づく表面レベル手法に置き換え,パープレキシティの大幅な低減を図る。 BM25の完全検索は大規模データセットに対して計算コストがかかるため,計算オーバーヘッドを最小に抑えることで,再分類シナリオにも適用することができる。

関連論文リスト

• Adapting Dual-encoder Vision-language Models for Paraphrased Retrieval [55.90407811819347]
  モデルが類似した結果を返すことを目的とした,パラフレーズ付きテキスト画像検索の課題について考察する。 我々は、大きなテキストコーパスで事前訓練された言語モデルから始まる二重エンコーダモデルを訓練する。 CLIPやOpenCLIPのような公開デュアルエンコーダモデルと比較して、最高の適応戦略で訓練されたモデルは、パラフレーズクエリのランク付けの類似性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-05-06T06:30:17Z)
• SRFormer: Text Detection Transformer with Incorporated Segmentation and Regression [6.74412860849373]
  本稿では,アマルガメーションと回帰を併用した統合DTRモデルSRFormerを提案する。 実験分析により,初期デコーダ層で良好なセグメンテーション予測が得られることが示された。 提案手法の強靭性,優れたトレーニングとデータ効率,および最先端の性能について検討した。
  論文  参考訳（メタデータ） (2023-08-21T07:34:31Z)
• Consensus-Adaptive RANSAC [104.87576373187426]
  本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。 注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
  論文  参考訳（メタデータ） (2023-07-26T08:25:46Z)
• Compressing Sentence Representation with maximum Coding Rate Reduction [0.0]
  ほとんどの自然言語推論問題では、文表現は意味検索タスクに必要である。 スペースとハードウェアの制限のため、より小さなモデルを使用する場合には、同等の結果を得る必要がある。 複雑性と文埋め込みサイズを低減した新しい言語モデルは,セマンティック検索ベンチマークにおいて同等の結果が得られることを実証した。
  論文  参考訳（メタデータ） (2023-04-25T09:23:43Z)
• On the Generalization Ability of Retrieval-Enhanced Transformers [1.0552465253379135]
  トレーニング可能な重みから検索データベースへのオフロードメモリは、言語モデリングを大幅に改善することができる。 この性能向上の少なくとも一部は、モデル重みと検索の両方に基づく非自明な一般化によるものであることが示唆されている。 検索結果から得られる性能は,データベースとテストデータの間に重複するトークンが主な原因であることが判明した。
  論文  参考訳（メタデータ） (2023-02-23T16:11:04Z)
• UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
  大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。 事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。 本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:01:59Z)
• SPLADE v2: Sparse Lexical and Expansion Model for Information Retrieval [11.38022203865326]
  SPLADEモデルは、最先端の高密度かつスパースなアプローチに関して、高度にスパースな表現と競争結果を提供する。 我々は、プール機構を変更し、文書拡張のみに基づいてモデルをベンチマークし、蒸留で訓練されたモデルを導入する。 全体として、SPLADEはTREC DL 2019のNDCG@10で9ドル以上のゲインで大幅に改善され、BEIRベンチマークで最先端の結果が得られた。
  論文  参考訳（メタデータ） (2021-09-21T10:43:42Z)
• MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood Inference from Sampled Trajectories [61.3299263929289]
  シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。 あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。 モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-03T12:59:16Z)
• Anti-aliasing Semantic Reconstruction for Few-Shot Semantic Segmentation [66.85202434812942]
  セグメンテーションを意味的再構成問題として再検討する。 基本クラスの特徴を,新しいクラス再構築のためのクラスレベルのセマンティック空間にまたがる一連の基底ベクトルに変換する。 提案手法はアンチエイリアス・セマンティック・リストラクション (ASR) と呼ばれ, 数発の学習問題に対して, 体系的かつ解釈可能な解法を提供する。
  論文  参考訳（メタデータ） (2021-06-01T02:17:36Z)
• Recurrent Feedback Improves Recognition of Partially Occluded Objects [1.452875650827562]
  人工ニューラルネットワークが再発の恩恵を受けるかどうかについて検討する。 競合パラメトリック複雑性のフィードフォワードモデルと比較して,繰り返しモデルでは分類精度が有意に高いことがわかった。
  論文  参考訳（メタデータ） (2021-04-21T16:18:34Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。