論文の概要: Relevance feedback strategies for recall-oriented neural information retrieval

• arxiv url: http://arxiv.org/abs/2311.15110v1
• Date: Sat, 25 Nov 2023 19:50:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-29 21:53:29.805515
• Title: Relevance feedback strategies for recall-oriented neural information retrieval
• Title（参考訳）: リコール指向ニューラル情報検索における関連フィードバック戦略
• Authors: Timo Kats, Peter van der Putten, Jan Scholtes
• Abstract要約: 本研究は、レビューの労力を削減するための、よりリコール指向のアプローチを提案する。 具体的には、ユーザのフィードバックに基づいて、関連性ランキングを反復的にランク付けする。 その結果,本手法はベースラインアプローチに比べて17.85%から59.04%のレビュー工数を削減できることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In a number of information retrieval applications (e.g., patent search, literature review, due diligence, etc.), preventing false negatives is more important than preventing false positives. However, approaches designed to reduce review effort (like "technology assisted review") can create false negatives, since they are often based on active learning systems that exclude documents automatically based on user feedback. Therefore, this research proposes a more recall-oriented approach to reducing review effort. More specifically, through iteratively re-ranking the relevance rankings based on user feedback, which is also referred to as relevance feedback. In our proposed method, the relevance rankings are produced by a BERT-based dense-vector search and the relevance feedback is based on cumulatively summing the queried and selected embeddings. Our results show that this method can reduce review effort between 17.85% and 59.04%, compared to a baseline approach (of no feedback), given a fixed recall target
• Abstract（参考訳）: 多くの情報検索アプリケーション(特許検索、文献レビュー、デュー・ディリジェンスなど)において、偽陽性を防ぐことは偽陽性を防ぐことよりも重要である。 しかし、レビューの労力を減らすために設計されたアプローチ("技術支援レビュー"など)は、ユーザからのフィードバックに基づいて自動的に文書を除外するアクティブな学習システムに基づいていることが多いため、誤った否定を生み出す可能性がある。 そこで本研究では,レビュー作業を減らすためのリコール指向アプローチを提案する。 より具体的には、ユーザのフィードバックに基づいて関連度ランキングを反復的に再ランク付けすることで、関連度フィードバックとも呼ばれる。 提案手法では, bert-based dense-vector search によって関連度ランキングを作成し, 関連度フィードバックは質問と選択された埋め込みの累積和に基づいている。 本手法は,リコール目標が固定された場合のベースラインアプローチ(フィードバックなし)と比較して,レビュー労力を17.85%から59.04%削減できることを示す。

関連論文リスト

• Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
  アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。 アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。 本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
  論文  参考訳（メタデータ） (2024-04-19T16:45:50Z)
• Exploiting Correlated Auxiliary Feedback in Parameterized Bandits [56.84649080789685]
  そこで本研究では,学習者が追加の補助的フィードバックを観察できるパラメータ化帯域問題の新たな変種について検討する。 補助的なフィードバックは、ユーザのサービス評価(リワード)を観察し、サービス提供時間(補助的なフィードバック)などの追加情報を収集するオンラインプラットフォームなど、多くの現実的なアプリケーションで容易に利用可能である。
  論文  参考訳（メタデータ） (2023-11-05T17:27:06Z)
• Click-Feedback Retrieval [10.203235400791845]
  本研究では,ユーザが好ましくない検索結果をクリックしてフィードバックを提供する環境について検討する。 我々は,ファッション領域における大規模データセットに基づいて,クリックフィードバック検索と呼ばれる新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2023-04-28T19:03:03Z)
• Semi-supervised Batch Learning From Logged Data [24.826544828460158]
  我々は,リスク最小化フレームワークを構築し,妥当性スコアへのアクセスも想定している。 本稿では,一部のサンプルにフィードバックが欠落している問題に対する学習手法を提案する。
  論文  参考訳（メタデータ） (2022-09-15T08:58:28Z)
• A Dataset on Malicious Paper Bidding in Peer Review [84.68308372858755]
  悪意あるレビュアーは、紙の割り当てを非倫理的に操作するために戦略的に入札した。 この問題を緩和するための方法の作成と評価への重要な障害は、悪意ある紙入札に関する公開データの欠如である。 我々は、参加者に正直に、悪意的に入札するよう指示されたモックカンファレンス活動から収集された、新しいデータセットをリリースする。
  論文  参考訳（メタデータ） (2022-06-24T20:23:33Z)
• Evaluating the Predictive Performance of Positive-Unlabelled Classifiers: a brief critical review and practical recommendations for improvement [77.34726150561087]
  Positive-Unlabelled (PU) 学習は機械学習の領域として成長している。 本稿では、PU分類器を提案する51の論文において、主要なPU学習評価手法と予測精度の選択について批判的にレビューする。
  論文  参考訳（メタデータ） (2022-06-06T08:31:49Z)
• LoL: A Comparative Regularization Loss over Query Reformulation Losses for Pseudo-Relevance Feedback [70.44530794897861]
  Pseudo-Relevance feedback (PRF) は、検索精度を向上させるための効果的なクエリ修正手法であることが証明されている。 既存のPRF手法は、同じクエリから派生した修正クエリを個別に扱うが、異なる数のフィードバックドキュメントを使用する。 そこで我々はLos-over-Loss(LoL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-25T10:42:50Z)
• Correcting the User Feedback-Loop Bias for Recommendation Systems [34.44834423714441]
  本稿では,レコメンデーションシステムにおいて,ユーザのフィードバックループバイアスを修正するための系統的かつ動的手法を提案する。 本手法は,各ユーザの動的評価履歴の埋め込みを学習するためのディープラーニングコンポーネントを含む。 実世界のレコメンデーションシステムにおけるユーザフィードバックループバイアスの存在を実証的に検証した。
  論文  参考訳（メタデータ） (2021-09-13T15:02:55Z)
• A Training-free and Reference-free Summarization Evaluation Metric via Centrality-weighted Relevance and Self-referenced Redundancy [60.419107377879925]
  トレーニング不要かつ参照不要な要約評価指標を提案する。 我々の測定基準は、集中度重み付き関連度スコアと自己参照冗長度スコアからなる。 提案手法は,複数文書と単一文書の要約評価において,既存の手法よりも大幅に優れる。
  論文  参考訳（メタデータ） (2021-06-26T05:11:27Z)
• How Useful are Reviews for Recommendation? A Critical Review and Potential Improvements [8.471274313213092]
  本稿では,レビューテキストを用いてレコメンデーションシステムの改善を目指す,新たな作業体系について検討する。 実験条件やデータ前処理に変化はあるものの, 論文間で結果がコピーされていることから, 報告結果にいくつかの相違点がみられた。 さらなる調査では、リコメンデーションのためのユーザレビューの"重要"に関して、はるかに大きな問題に関する議論が求められている。
  論文  参考訳（メタデータ） (2020-05-25T16:30:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。