論文の概要: Neural Passage Quality Estimation for Static Pruning

• arxiv url: http://arxiv.org/abs/2407.12170v1
• Date: Tue, 16 Jul 2024 20:47:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 19:46:14.498792
• Title: Neural Passage Quality Estimation for Static Pruning
• Title（参考訳）: 静的プルーニングのためのニューラルパス品質推定
• Authors: Xuejun Chang, Debabrata Mishra, Craig Macdonald, Sean MacAvaney,
• Abstract要約: ニューラルネットワークが、ドキュメントのどのパスが、検索エンジンに送信されたクエリに関連しそうにないかを効果的に予測できるかどうかを検討する。 通過品質を推定する新しい手法により,通過コーパスを著しく刈り取ることが可能であることが判明した。 この研究は、より高度なニューラルな「学習とインデクシング」手法を開発するための段階を定めている。
• 参考スコア（独自算出の注目度）: 23.662724916799004
• License:
• Abstract: Neural networks -- especially those that use large, pre-trained language models -- have improved search engines in various ways. Most prominently, they can estimate the relevance of a passage or document to a user's query. In this work, we depart from this direction by exploring whether neural networks can effectively predict which of a document's passages are unlikely to be relevant to any query submitted to the search engine. We refer to this query-agnostic estimation of passage relevance as a passage's quality. We find that our novel methods for estimating passage quality allow passage corpora to be pruned considerably while maintaining statistically equivalent effectiveness; our best methods can consistently prune >25% of passages in a corpora, across various retrieval pipelines. Such substantial pruning reduces the operating costs of neural search engines in terms of computing resources, power usage, and carbon footprint -- both when processing queries (thanks to a smaller index size) and when indexing (lightweight models can prune low-quality passages prior to the costly dense or learned sparse encoding step). This work sets the stage for developing more advanced neural "learning-what-to-index" methods.
• Abstract（参考訳）: ニューラルネットワーク(特に大規模で事前訓練された言語モデルを使用するもの)は、さまざまな方法で検索エンジンを改善している。 最も顕著なのは、ユーザクエリに対するパスやドキュメントの関連性を見積もることができることだ。 本研究では,この方向から,検索エンジンに送信された問合せに,どの文節が関連しそうにないかを,ニューラルネットワークが効果的に予測できるかどうかを検討することで,この方向から逸脱する。 本稿では,この問合せに依存しない経路関係の推定を,通過の質として言及する。 パス品質を推定する新しい手法では、パスコーパスを統計的に等価な有効性を保ちながら、パスコーパスをかなり刈り取ることができる。 このような実質的なプルーニングは、クエリの処理(インデックスサイズが小さくなる)とインデックス付け(軽量モデルは、高価な密度や学習されたスパースエンコーディングステップの前に、低品質のパスをプルークすることができる)の両方において、コンピューティングリソース、電力使用量、カーボンフットプリントの面で、ニューラルネットワークの運用コストを低減します。 この研究は、より高度なニューラルな「学習とインデクシング」手法を開発するための段階を定めている。

関連論文リスト

• Fine-tuning -- a Transfer Learning approach [0.22344294014777952]
  電子健康記録(EHR)の欠落は、この貴重な資源に欠落するデータが豊富にあるため、しばしば妨げられる。 既存の深い計算手法は、計算処理とダウンストリーム解析の両方を組み込んだエンドツーエンドのパイプラインに依存している。 本稿では,モジュール型深層学習型計算・分類パイプラインの開発について検討する。
  論文  参考訳（メタデータ） (2024-11-06T14:18:23Z)
• Towards Faster k-Nearest-Neighbor Machine Translation [56.66038663128903]
  k-nearest-neighbor 機械翻訳アプローチは、トークンをデコードする際に、データストア全体の重い検索オーバーヘッドに悩まされる。 ニューラルネットワークの翻訳モデルとkNNが生成する確率によってトークンが共同で翻訳されるべきかどうかを予測するための,単純で効果的な多層パーセプトロン(MLP)ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-12-12T16:41:29Z)
• How Does Generative Retrieval Scale to Millions of Passages? [68.98628807288972]
  各種コーパス尺度における生成的検索手法の実証的研究を行った。 我々は8.8Mパスのコーパスで数百万のパスに生成検索をスケールし、モデルサイズを最大11Bパラメータまで評価する。 生成的検索は、小さなコーパス上の最先端のデュアルエンコーダと競合するが、数百万のパスへのスケーリングは依然として重要で未解決の課題である。
  論文  参考訳（メタデータ） (2023-05-19T17:33:38Z)
• Curating corpora with classifiers: A case study of clean energy sentiment online [0.0]
  ソーシャルメディア投稿の大規模なコーパスには、幅広い世論が含まれている。 世論調査は、数日や数週間で実施し、世論を下ろすのに費用がかかる。 本稿では,解析用文書の最適コーパスを迅速に選択する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-04T18:15:45Z)
• CorpusBrain: Pre-train a Generative Retrieval Model for Knowledge-Intensive Language Tasks [62.22920673080208]
  単一ステップ生成モデルは、検索プロセスを劇的に単純化し、エンドツーエンドで最適化することができる。 我々は、事前学習された生成検索モデルをCorpsBrainと名付け、コーパスに関する全ての情報が、追加のインデックスを構築することなく、そのパラメータにエンコードされる。
  論文  参考訳（メタデータ） (2022-08-16T10:22:49Z)
• A Transfer Learning Pipeline for Educational Resource Discovery with Application in Leading Paragraph Generation [71.92338855383238]
  本稿では,新しいドメインに対するWebリソース発見を自動化するパイプラインを提案する。 パイプラインは2つの類似しているが新規なターゲットドメインで評価すると、F1スコアは0.94と0.82となる。 本研究は,サーベイジェネレーションのための各種Webリソースを考察した最初の研究である。
  論文  参考訳（メタデータ） (2022-01-07T03:35:40Z)
• Mining Implicit Relevance Feedback from User Behavior for Web Question Answering [92.45607094299181]
  本研究は,ユーザ行動と通過関連性との関連性を検討するための最初の研究である。 提案手法は,追加のラベル付きデータを使わずにパスランキングの精度を大幅に向上させる。 実際にこの研究は、グローバルな商用検索エンジンにおけるQAサービスの人為的ラベリングコストを大幅に削減する効果が証明されている。
  論文  参考訳（メタデータ） (2020-06-13T07:02:08Z)
• Learning the Travelling Salesperson Problem Requires Rethinking Generalization [9.176056742068813]
  トラベリングセールスパーソン問題(TSP)のようなグラフ最適化問題に対するニューラルネットワークソルバのエンドツーエンドトレーニングは近年,関心が高まっている。 最先端の学習駆動アプローチは、自明に小さなサイズで訓練された場合、古典的な解法と密接に関係するが、実践的な規模で学習ポリシーを大規模に一般化することはできない。 この研究は、トレーニングで見られるものよりも大きいインスタンスへの一般化を促進する、原則化されたバイアス、モデルアーキテクチャ、学習アルゴリズムを特定するために、最近の論文を統一するエンドツーエンドのニューラルネットワークパイプラインを提示している。
  論文  参考訳（メタデータ） (2020-06-12T10:14:15Z)
• WoodFisher: Efficient Second-Order Approximation for Neural Network Compression [35.45199662813043]
  我々は、逆ヘッセンの忠実で効率的な推定法を開発する。 私たちの主な応用はニューラルネットワーク圧縮です。 本稿では,この手法をどのように拡張して1次情報を考慮するかを示す。
  論文  参考訳（メタデータ） (2020-04-29T17:14:23Z)
• Binary Neural Networks: A Survey [126.67799882857656]
  バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。 バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。 本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
  論文  参考訳（メタデータ） (2020-03-31T16:47:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。