論文の概要: Improving Neural Ranking Models with Traditional IR Methods

• arxiv url: http://arxiv.org/abs/2308.15027v1
• Date: Tue, 29 Aug 2023 05:18:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-30 15:49:50.589737
• Title: Improving Neural Ranking Models with Traditional IR Methods
• Title（参考訳）: 従来のIR手法によるニューラルランクモデルの改良
• Authors: Anik Saha, Oktie Hassanzadeh, Alex Gittens, Jian Ni, Kavitha Srinivas, Bulent Yener
• Abstract要約: TF-IDFは従来のキーワードマッチング手法であり、浅い埋め込みモデルにより、3つのデータセット上の複雑なニューラルネットワークランキングモデルのパフォーマンスとよく競合するコストの低いパスを提供する。 TF-IDF測定を追加することで、これらのタスクにおける大規模微調整モデルの性能が向上する。
• 参考スコア（独自算出の注目度）: 13.354623448774877
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Neural ranking methods based on large transformer models have recently gained significant attention in the information retrieval community, and have been adopted by major commercial solutions. Nevertheless, they are computationally expensive to create, and require a great deal of labeled data for specialized corpora. In this paper, we explore a low resource alternative which is a bag-of-embedding model for document retrieval and find that it is competitive with large transformer models fine tuned on information retrieval tasks. Our results show that a simple combination of TF-IDF, a traditional keyword matching method, with a shallow embedding model provides a low cost path to compete well with the performance of complex neural ranking models on 3 datasets. Furthermore, adding TF-IDF measures improves the performance of large-scale fine tuned models on these tasks.
• Abstract（参考訳）: 大規模トランスモデルに基づくニューラルランキング法は近年,情報検索コミュニティにおいて注目され,主要な商用ソリューションに採用されている。 それでも計算コストは高く、専用のコーパスには大量のラベル付きデータが必要である。 本稿では,文書検索のためのバッグ・オブ・エンベディングモデルである低リソースの代替案について検討し,情報検索タスクを微調整した大規模トランスフォーマーモデルと競合することを示す。 その結果,従来のキーワードマッチング手法であるtf-idfと浅い埋め込みモデルの組み合わせは,3つのデータセットにおける複雑なニューラルネットワークのランキングモデルのパフォーマンスとよく競合するための低コストな経路を提供することがわかった。 さらに、TF-IDF測定を追加することで、これらのタスクにおける大規模微調整モデルの性能が向上する。

関連論文リスト

• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
  より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。 具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
  論文  参考訳（メタデータ） (2023-12-03T13:50:24Z)
• Retrieval-based Knowledge Transfer: An Effective Approach for Extreme Large Language Model Compression [64.07696663255155]
  大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。 しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。 本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-24T07:58:20Z)
• Efficiently Robustify Pre-trained Models [18.392732966487582]
  大規模モデルの現実的な設定に対する堅牢性は、いまだ探索されていないトピックである。 まず、異なる摂動とデータセットの下でこれらのモデルのパフォーマンスをベンチマークします。 続いて、大規模ネットワークにおいて、モデルファインチューニングに基づく既存のロバスト化スキームが拡張性に欠ける可能性について論じる。
  論文  参考訳（メタデータ） (2023-09-14T08:07:49Z)
• Phantom Embeddings: Using Embedding Space for Model Regularization in Deep Neural Networks [12.293294756969477]
  機械学習モデルの強みは、データから複雑な関数近似を学ぶ能力に起因している。 複雑なモデルはトレーニングデータを記憶する傾向があり、結果としてテストデータの正規化性能が低下する。 情報豊富な潜伏埋め込みと高いクラス内相関を利用してモデルを正規化するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-14T17:15:54Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• FedNet2Net: Saving Communication and Computations in Federated Learning with Model Growing [0.0]
  フェデレート・ラーニング(Federated Learning, FL)は、最近開発された機械学習の分野である。 本稿では「モデル成長」の概念に基づく新しいスキームを提案する。 提案手法は3つの標準ベンチマークで広範囲に検証され、通信とクライアントの計算の大幅な削減を実現することが示されている。
  論文  参考訳（メタデータ） (2022-07-19T21:54:53Z)
• A transformer-based model for default prediction in mid-cap corporate markets [13.535770763481905]
  時価総額が100億ドル未満の中堅企業について調査する。 中間項の既定確率項構造を予測することを目的とする。 私たちは、どのデータソースがデフォルトのリスクに最も貢献しているかを理解しています。
  論文  参考訳（メタデータ） (2021-11-18T19:01:00Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• Heterogeneous Network Embedding for Deep Semantic Relevance Match in E-commerce Search [29.881612817309716]
  Eコマースアイテム関連性のためのエンドツーエンドの第一次および第二次関連性予測モデルを設計します。 BERTから生成された外部知識を導入し,ユーザ行動のネットワークを改良する。 オフライン実験の結果,新しいモデルにより,人間関係判定における予測精度が有意に向上した。
  論文  参考訳（メタデータ） (2021-01-13T03:12:53Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。