論文の概要: Online Distillation for Pseudo-Relevance Feedback

• arxiv url: http://arxiv.org/abs/2306.09657v1
• Date: Fri, 16 Jun 2023 07:26:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-19 14:51:20.687082
• Title: Online Distillation for Pseudo-Relevance Feedback
• Title（参考訳）: 擬似関連フィードバックのためのオンライン蒸留
• Authors: Sean MacAvaney, Xi Wang
• Abstract要約: ニューラルリグレードの結果から,特定のクエリのモデルを効果的に抽出できるかどうかを検討する。 オンラインで蒸留された語彙モデルは、ニューラルネットワークの再ランク付けを合理的に再現できることがわかった。 さらに重要なのは、これらのモデルをインデックス上で効率的に実行するクエリとして使用することができることだ。
• 参考スコア（独自算出の注目度）: 16.523925354318983
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model distillation has emerged as a prominent technique to improve neural search models. To date, distillation taken an offline approach, wherein a new neural model is trained to predict relevance scores between arbitrary queries and documents. In this paper, we explore a departure from this offline distillation strategy by investigating whether a model for a specific query can be effectively distilled from neural re-ranking results (i.e., distilling in an online setting). Indeed, we find that a lexical model distilled online can reasonably replicate the re-ranking of a neural model. More importantly, these models can be used as queries that execute efficiently on indexes. This second retrieval stage can enrich the pool of documents for re-ranking by identifying documents that were missed in the first retrieval stage. Empirically, we show that this approach performs favourably when compared with established pseudo relevance feedback techniques, dense retrieval methods, and sparse-dense ensemble "hybrid" approaches.
• Abstract（参考訳）: モデル蒸留は、ニューラル検索モデルを改善するための顕著な技術として出現した。 これまで、蒸留はオフラインのアプローチで行われており、新しいニューラルモデルは任意のクエリとドキュメント間の妥当性スコアを予測するように訓練されている。 本稿では,このオフライン蒸留戦略から,ニューラルリグレードの結果(オンライン環境での蒸留)から,特定のクエリのモデルを効果的に蒸留できるかどうかを検討する。 実際、オンラインで蒸留された語彙モデルは、ニューラルネットワークの再分類を合理的に再現できる。 さらに重要なことに、これらのモデルはインデックス上で効率的に実行されるクエリとして使用できる。 第2の検索段階は、第1の検索段階において欠落した文書を識別することにより、再ランキングのための文書のプールを強化することができる。 実験により,従来の擬似関連性フィードバック手法,高密度検索手法,疎密アンサンブルの「ハイブリッド」手法と比較して,本手法が好適であることを示す。

関連論文リスト

• Exploring the potential of prototype-based soft-labels data distillation for imbalanced data classification [0.0]
  主な目的は、分類精度の観点からプロトタイプベースの軟質ラベル蒸留の性能を高めることである。 実験的研究は、この方法でデータを蒸留する能力だけでなく、増量法として機能する機会も追求している。
  論文  参考訳（メタデータ） (2024-03-25T19:15:19Z)
• Towards a theory of model distillation [0.0]
  蒸留は、複雑な機械学習モデルを、オリジナルを近似するより単純なモデルに置き換える作業である。 ニューラルネットワークを簡潔で明確な決定木表現に効率的に抽出する方法を示す。 我々は, 蒸留がスクラッチから学習するよりもはるかに安価であることを証明するとともに, その複雑さを特徴づけることを進める。
  論文  参考訳（メタデータ） (2024-03-14T02:42:19Z)
• Distilled Pruning: Using Synthetic Data to Win the Lottery [2.4366811507669124]
  この研究は、蒸留データを用いてディープラーニングモデルを刈り取る新しいアプローチを導入する。 当社のアプローチでは,CIFAR-10上でのイテレーティブマグニチュード・プルーニングよりも5倍の速度で,スパースでトレーニング可能なワークを見つけることができる。 実験結果は、資源効率のよいニューラルネットワークプルーニング、モデル圧縮、ニューラルネットワーク探索に蒸留データを使用することの可能性を強調した。
  論文  参考訳（メタデータ） (2023-07-07T03:07:28Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• Efficient Learning of Accurate Surrogates for Simulations of Complex Systems [0.0]
  サンプリング駆動サンプリングによって強化されたオンライン学習手法を提案する。 モデル応答面上のすべての旋回点がトレーニングデータに含まれることを保証する。 本手法を核物質のシミュレーションに適用し,高精度なサロゲートを確実に自動生成できることを実証する。
  論文  参考訳（メタデータ） (2022-07-11T20:51:11Z)
• Improving Passage Retrieval with Zero-Shot Question Generation [109.11542468380331]
  オープンな質問応答における経路検索を改善するための,シンプルで効果的な再ランク付け手法を提案する。 再ランカは、学習済み言語モデルを用いて、検索されたパスに条件付けられた入力質問の確率を算出するゼロショット質問生成モデルを用いて、検索されたパスを再スコアする。
  論文  参考訳（メタデータ） (2022-04-15T14:51:41Z)
• Learning to Generate Synthetic Training Data using Gradient Matching and Implicit Differentiation [77.34726150561087]
  本稿では,深層ネットワークの訓練に要するデータ量を削減できる各種データ蒸留技術について検討する。 近年の考え方に触発されて, 生成的学習ネットワーク, 勾配マッチング, インプリシット関数理論に基づく新しいデータ蒸留手法を提案する。
  論文  参考訳（メタデータ） (2022-03-16T11:45:32Z)
• Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
  そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。 我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。 CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-05-18T15:13:00Z)
• Distilling Interpretable Models into Human-Readable Code [71.11328360614479]
  人間可読性は機械学習モデル解釈可能性にとって重要で望ましい標準である。 従来の方法を用いて解釈可能なモデルを訓練し,それを簡潔で可読なコードに抽出する。 本稿では,幅広いユースケースで効率的に,確実に高品質な結果を生成する分別線形曲線フィッティングアルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2021-01-21T01:46:36Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)
• Combining data assimilation and machine learning to emulate a dynamical model from sparse and noisy observations: a case study with the Lorenz 96 model [0.0]
  この方法は、アンサンブルカルマンフィルタとニューラルネットワークを反復的にデータ同化ステップで適用することで構成される。 データ同化は、代理モデルとスパースデータとを最適に組み合わせるために用いられる。 出力分析は空間的に完全であり、サロゲートモデルを更新するためのニューラルネットワークによるトレーニングセットとして使用される。 カオス的な40変数Lorenz 96モデルを用いて数値実験を行い、提案手法の収束と統計的スキルの両立を証明した。
  論文  参考訳（メタデータ） (2020-01-06T12:26:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。