論文の概要: A Counterfactual Explanation Framework for Retrieval Models

• arxiv url: http://arxiv.org/abs/2409.00860v2
• Date: Tue, 10 Sep 2024 10:52:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 16:53:42.017610
• Title: A Counterfactual Explanation Framework for Retrieval Models
• Title（参考訳）: 検索モデルのための実例記述フレームワーク
• Authors: Bhavik Chandna, Procheta Sen,
• Abstract要約: 最適化フレームワークを用いて、特定のクエリに対して検索モデルに好まれない単語がどのような役割を果たすかという問題を解く。 本実験は,統計モデル(BM25など)とディープラーニングモデルの両方に対して,提案手法の有効性を示す。
• 参考スコア（独自算出の注目度）: 4.562474301450839
• License:
• Abstract: Explainability has become a crucial concern in today's world, aiming to enhance transparency in machine learning and deep learning models. Information retrieval is no exception to this trend. In existing literature on explainability of information retrieval, the emphasis has predominantly been on illustrating the concept of relevance concerning a retrieval model. The questions addressed include why a document is relevant to a query, why one document exhibits higher relevance than another, or why a specific set of documents is deemed relevant for a query. However, limited attention has been given to understanding why a particular document is considered non-relevant to a query with respect to a retrieval model. In an effort to address this gap, our work focus on the question of what terms need to be added within a document to improve its ranking. This in turn answers the question of which words played a role in not being favored by a retrieval model for a particular query. We use an optimization framework to solve the above-mentioned research problem. % To the best of our knowledge, we mark the first attempt to tackle this specific counterfactual problem. Our experiments show the effectiveness of our proposed approach in predicting counterfactuals for both statistical (e.g. BM25) and deep-learning-based models (e.g. DRMM, DSSM, ColBERT).
• Abstract（参考訳）: マシンラーニングとディープラーニングモデルの透明性向上を目的とした、今日の世界では、説明責任が重要な関心事になっている。 情報検索はこの傾向の例外ではない。 情報検索の説明可能性に関する既存の文献では、検索モデルに関する関連性の概念について主に強調されている。 課題には、なぜドキュメントがクエリに関連があるのか、なぜドキュメントが他のドキュメントよりも高い関連性を示すのか、あるいは、特定のドキュメントセットがクエリに関連があると考えられるのか、などが含まれる。 しかし、検索モデルに関して、特定の文書がクエリに非関連であると考えられる理由を理解するには、限定的な注意が払われている。 このギャップに対処するため、当社の作業は、ランキングを改善するためにドキュメントにどの条件を追加する必要があるかという問題に重点を置いています。 このことは、どの単語が特定のクエリに対して検索モデルに好まれていないかという疑問に答える。 我々は、上記の研究課題を解決するために最適化フレームワークを使用します。 % 私たちの知る限りでは、この特定の対実的な問題に最初に取り組みます。 本実験は,統計的(例えばBM25)と深層学習モデル(例えばDRMM,DSSM,ColBERT)の両モデルに対して,提案手法の有効性を示す。

関連論文リスト

• JudgeRank: Leveraging Large Language Models for Reasoning-Intensive Reranking [81.88787401178378]
  本稿では,文書関連性を評価する際に,人間の認知過程をエミュレートする新しいエージェント・リランカであるJiceRankを紹介する。 我々は,推論集約型BRIGHTベンチマークを用いて判定Rankを評価し,第1段階の検索手法よりも性能が大幅に向上したことを示す。 さらに、JiceRankは、人気の高いBEIRベンチマークの細調整された最先端リランカと同等に動作し、ゼロショットの一般化能力を検証している。
  論文  参考訳（メタデータ） (2024-10-31T18:43:12Z)
• Quam: Adaptive Retrieval through Query Affinity Modelling [15.3583908068962]
  ユーザ情報要求に基づいて文書をランク付けする関連モデルを構築することは,情報検索とNLPコミュニティの中心的な課題である。 提案するQuamにより,適応検索の初期段階の統一的な視点を提案する。 提案手法であるQuamは,リコール性能を26%向上させる。
  論文  参考訳（メタデータ） (2024-10-26T22:52:12Z)
• QUIDS: Query Intent Generation via Dual Space Modeling [12.572815037915348]
  本稿では,検索意図の理解を説明するために,返却文書における意味的関連性および無関係情報を利用する二重空間モデルを提案する。 提案手法は高品質な問合せインテント記述を生成し,既存の手法と最先端の問合せベース要約手法を比較検討する。
  論文  参考訳（メタデータ） (2024-10-16T09:28:58Z)
• ReasoningRank: Teaching Student Models to Rank through Reasoning-Based Knowledge Distillation [11.756344944226495]
  本稿では、透明性を高める新しいオープンソースリグレードアプローチであるReason-to-Rank(R2R)を提案する。 R2Rは2つのタイプの推論を生成する: 直接関連推論(direct relevance reasoning) - ドキュメントがクエリにどのように対処するかを説明する。 学生モデルは、有意義な推論と文書の書き直しを訓練し、複数のデータセットにまたがる競争性能を達成する。
  論文  参考訳（メタデータ） (2024-10-07T16:25:39Z)
• BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
  多くの複雑な実世界のクエリは、関連する文書を特定するために詳細な推論を必要とする。 BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。 私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。
  論文  参考訳（メタデータ） (2024-07-16T17:58:27Z)
• ExcluIR: Exclusionary Neural Information Retrieval [74.08276741093317]
  本稿では,排他的検索のためのリソースセットであるExcluIRを提案する。 評価ベンチマークには3,452の高品質な排他的クエリが含まれている。 トレーニングセットには70,293の排他的クエリが含まれており、それぞれに正のドキュメントと負のドキュメントがペアリングされている。
  論文  参考訳（メタデータ） (2024-04-26T09:43:40Z)
• Improving Topic Relevance Model by Mix-structured Summarization and LLM-based Data Augmentation [16.170841777591345]
  Dianpingのようなほとんどのソーシャル検索シナリオでは、検索関連性のモデリングは常に2つの課題に直面している。 まず、クエリベースの要約と、クエリなしで文書の要約をトピック関連モデルの入力として取り上げる。 そこで我々は,大規模言語モデル(LLM)の言語理解と生成能力を利用して,既存のトレーニングデータにおけるクエリやドキュメントからのクエリを書き換え,生成する。
  論文  参考訳（メタデータ） (2024-04-03T10:05:47Z)
• CAPSTONE: Curriculum Sampling for Dense Retrieval with Document Expansion [68.19934563919192]
  本稿では,学習中に擬似クエリを利用して,生成したクエリと実際のクエリとの関係を徐々に向上させるカリキュラムサンプリング戦略を提案する。 ドメイン内およびドメイン外両方のデータセットに対する実験結果から,本手法が従来の高密度検索モデルより優れていることが示された。
  論文  参考訳（メタデータ） (2022-12-18T15:57:46Z)
• Exposing Query Identification for Search Transparency [69.06545074617685]
  本稿では,検索システムの2つのクラスにおいて,クエリとドキュメントの役割を逆転させることにより,検索タスクとしてのEQIの実現可能性について検討する。 本研究では,クエリのランク付けの質を評価するための評価基準を導出するとともに,近似EQIの様々な実践的側面に着目した経験的分析を行う。
  論文  参考訳（メタデータ） (2021-10-14T20:19:27Z)
• Query Understanding via Intent Description Generation [75.64800976586771]
  問合せ理解のためのQ2ID(Query-to-Intent-Description)タスクを提案する。 クエリとその記述を利用してドキュメントの関連性を計算する既存のランキングタスクとは異なり、Q2IDは自然言語のインテント記述を生成するための逆タスクである。 Q2IDタスクにおける複数の最先端生成モデルとの比較により,本モデルの有効性を実証する。
  論文  参考訳（メタデータ） (2020-08-25T08:56:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。