論文の概要: TPRF: A Transformer-based Pseudo-Relevance Feedback Model for Efficient and Effective Retrieval

• arxiv url: http://arxiv.org/abs/2401.13509v2
• Date: Fri, 06 Dec 2024 05:54:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:53:01.058349
• Title: TPRF: A Transformer-based Pseudo-Relevance Feedback Model for Efficient and Effective Retrieval
• Title（参考訳）: TPRF:効率よく効果的な検索のための変圧器を用いた擬似関連フィードバックモデル
• Authors: Hang Li, Chuting Yu, Ahmed Mourad, Bevan Koopman, Guido Zuccon,
• Abstract要約: 本稿では,資源制約環境下での高密度検索のための擬似関連フィードバック(PRF)手法について考察する。 本稿では,より少ないメモリフットプリントと高速な推論時間を有する変圧器を用いたPRF法を提案する。 TPRFは、高密度通路表現からの関連フィードバック信号を効果的に組み合わせる方法について学習する。
• 参考スコア（独自算出の注目度）: 25.014035501397878
• License:
• Abstract: This paper considers Pseudo-Relevance Feedback (PRF) methods for dense retrievers in a resource constrained environment such as that of cheap cloud instances or embedded systems (e.g., smartphones and smartwatches), where memory and CPU are limited and GPUs are not present. For this, we propose a transformer-based PRF method (TPRF), which has a much smaller memory footprint and faster inference time compared to other deep language models that employ PRF mechanisms, with a marginal effectiveness loss. TPRF learns how to effectively combine the relevance feedback signals from dense passage representations. Specifically, TPRF provides a mechanism for modelling relationships and weights between the query and the relevance feedback signals. The method is agnostic to the specific dense representation used and thus can be generally applied to any dense retriever.
• Abstract（参考訳）: 本稿では、安価なクラウドインスタンスや組み込みシステム(例えば、スマートフォンやスマートウォッチ)のようなリソース制約のある環境において、メモリとCPUが制限され、GPUが存在しないような、高密度検索のための擬似関連フィードバック(PRF)手法について考察する。 そこで本研究では,PRF 機構を用いた他の深層言語モデルと比較して,メモリフットプリントがはるかに小さく,推論時間も高速な変換器ベース PRF 手法を提案する。 TPRFは、高密度通路表現からの関連フィードバック信号を効果的に組み合わせる方法について学習する。 具体的には、TPRFはクエリと関連フィードバック信号の関係と重みをモデル化するメカニズムを提供する。 この方法は、使用する特定の高密度表現に依存しないため、任意の高密度レトリバーに一般的に適用することができる。

関連論文リスト

• STAF: Sinusoidal Trainable Activation Functions for Implicit Neural Representation [7.2888019138115245]
  Inlicit Neural Representations (INR) は、連続的な信号をモデリングするための強力なフレームワークとして登場した。 ReLUベースのネットワークのスペクトルバイアスは、十分に確立された制限であり、ターゲット信号の微細な詳細を捕捉する能力を制限する。 Sinusoidal Trainable Function Activation (STAF)について紹介する。 STAFは本質的に周波数成分を変調し、自己適応型スペクトル学習を可能にする。
  論文  参考訳（メタデータ） (2025-02-02T18:29:33Z)
• Communication-Efficient Federated Learning by Quantized Variance Reduction for Heterogeneous Wireless Edge Networks [55.467288506826755]
  フェデレーテッド・ラーニング(FL)は、無線エッジネットワークにおけるローカル・プライバシ・アウェア・コラボレーティブ・モデルトレーニングの有効なソリューションとして認識されている。 既存の通信効率の高いFLアルゴリズムは、デバイス間の大きなばらつきを低減できない。 本稿では,高度分散還元方式に依存する新しい通信効率FLアルゴリズムであるFedQVRを提案する。
  論文  参考訳（メタデータ） (2025-01-20T04:26:21Z)
• R-SFLLM: Jamming Resilient Framework for Split Federated Learning with Large Language Models [83.77114091471822]
  Split Federated Learning (SFL)は、分散機械学習(ML)における計算効率のパラダイムである。 SFLの課題は、特に無線チャネル上に展開する場合、送信されたモデルパラメータが相手のジャミングに感受性を持つことである。 これは、言語理解に不可欠である大規模言語モデル(LLM)における単語埋め込みパラメータに対して特に顕著である。 無線ネットワーク上でのLLM(R-SFLLM)を用いたレジリエンスSFLのための物理層フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-07-16T12:21:29Z)
• Transforming Image Super-Resolution: A ConvFormer-based Efficient Approach [58.57026686186709]
  本稿では, Convolutional Transformer Layer (ConvFormer) を導入し, ConvFormer-based Super-Resolution Network (CFSR) を提案する。 CFSRは畳み込みベースのアプローチとトランスフォーマーベースのアプローチの両方の利点を継承する。 CFSRは計算コストと性能のバランスが最適であることを示す実験である。
  論文  参考訳（メタデータ） (2024-01-11T03:08:00Z)
• Robust and Communication-Efficient Federated Domain Adaptation via Random Features [9.561648314302232]
  フェデレートされたドメイン適応(FDA)は、この課題に対処するための強力なアプローチとして現れます。 RF-TCAは、理論的および経験的性能を損なうことなく計算を著しく高速化する標準転送成分分析手法の拡張である。 我々は,FedRF-TCAの優れた性能とロバスト性(ネットワーク状態への)を示す広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-11-08T13:46:58Z)
• RTP: Rethinking Tensor Parallelism with Memory Deduplication [3.036340414461332]
  Rotated Parallelism(RTP)は、分散トレーニング環境におけるメモリ重複に着目した革新的なアプローチである。 我々の経験的評価はRTPの効率を裏付けるものであり、分散システムトレーニング中のメモリ消費が極めて最適に近いことを示している。
  論文  参考訳（メタデータ） (2023-11-02T23:12:42Z)
• One-shot Generative Distribution Matching for Augmented RF-based UAV Identification [0.0]
  この研究は、限られたRF環境下でRFフィンガープリントを用いて無人航空機(UAV)を特定するという課題に対処する。 RF信号の複雑さと可変性は、環境干渉やハードウェアの不完全性の影響を受け、従来のRFベースの識別手法を効果的にしないことが多い。 変換されたRF信号を増強するためのワンショット生成法は、UAV識別を著しく改善する。
  論文  参考訳（メタデータ） (2023-01-20T02:35:43Z)
• Model-based Deep Learning Receiver Design for Rate-Splitting Multiple Access [65.21117658030235]
  本研究では,モデルベース深層学習(MBDL)に基づく実用的なRSMA受信機の設計を提案する。 MBDL受信機は、符号なしシンボル誤り率(SER)、リンクレベルシミュレーション(LLS)によるスループット性能、平均トレーニングオーバーヘッドの観点から評価される。 その結果,MBDLはCSIRが不完全なSIC受信機よりも優れていた。
  論文  参考訳（メタデータ） (2022-05-02T12:23:55Z)
• A Generalizable Model-and-Data Driven Approach for Open-Set RFF Authentication [74.63333951647581]
  高周波指紋(RFF)は、低コストな物理層認証を実現するための有望な解決策である。 RFF抽出と識別のために機械学習に基づく手法が提案されている。 生受信信号からRFFを抽出するエンド・ツー・エンドのディープラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-10T03:59:37Z)
• MASA-SR: Matching Acceleration and Spatial Adaptation for Reference-Based Image Super-Resolution [74.24676600271253]
  本稿では、RefSRのためのMASAネットワークを提案し、これらの問題に対処するために2つの新しいモジュールを設計する。 提案したMatch & extract Moduleは、粗大な対応マッチング方式により計算コストを大幅に削減する。 空間適応モジュールは、LR画像とRef画像の分布の差を学習し、Ref特徴の分布を空間適応的にLR特徴の分布に再マップする。
  論文  参考訳（メタデータ） (2021-06-04T07:15:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。