論文の概要: T-Retrievability: A Topic-Focused Approach to Measure Fair Document Exposure in Information Retrieval
- arxiv url: http://arxiv.org/abs/2508.21704v1
- Date: Fri, 29 Aug 2025 15:14:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-01 19:45:11.093688
- Title: T-Retrievability: A Topic-Focused Approach to Measure Fair Document Exposure in Information Retrieval
- Title（参考訳）: T-Retrievability: 情報検索における公正な文書露出測定のためのトピック指向アプローチ
- Authors: Xuejun Chang, Zaiqiao Meng, Debasis Ganguly,
- Abstract要約: 本稿では,トピックに着目した局所的検索可能性尺度を提案し,まずトポロジカル関連文書の複数グループにわたる検索可能性スコアを算出した。
我々の分析は、様々なニューラルランキングモデルの露出特性に関する新しい知見を明らかにする。
- 参考スコア（独自算出の注目度）: 22.953432572278597
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Retrievability of a document is a collection-based statistic that measures its expected (reciprocal) rank of being retrieved within a specific rank cut-off. A collection with uniformly distributed retrievability scores across documents is an indicator of fair document exposure. While retrievability scores have been used to quantify the fairness of exposure for a collection, in our work, we use the distribution of retrievability scores to measure the exposure bias of retrieval models. We hypothesise that an uneven distribution of retrievability scores across the entire collection may not accurately reflect exposure bias but rather indicate variations in topical relevance. As a solution, we propose a topic-focused localised retrievability measure, which we call \textit{T-Retrievability} (topic-retrievability), which first computes retrievability scores over multiple groups of topically-related documents, and then aggregates these localised values to obtain the collection-level statistics. Our analysis using this proposed T-Retrievability measure uncovers new insights into the exposure characteristics of various neural ranking models. The findings suggest that this localised measure provides a more nuanced understanding of exposure fairness, offering a more reliable approach for assessing document accessibility in IR systems.
- Abstract（参考訳）: 文書の検索可能性 (Retrievability of a document) は、特定のランクのカットオフ内で取得される、期待される(相互に)ランクを測定する収集ベースの統計量である。
文書間で均一に分散された検索可能性スコアを持つコレクションは、公正な文書露出の指標である。
検索可能性スコアはコレクションの露出の公正度を定量化するために用いられてきたが,本研究では検索可能性スコアの分布を用いて,検索モデルの露出バイアスを測定する。
収集物全体にわたる不均一な検索可能性スコアの分布は、露光バイアスを正確に反映するのではなく、トピックの関連性の変化を示す可能性があると仮定する。
そこで本研究では,まず,複数のトピック関連文書群を対象とした検索可能性スコアを算出し,これらの局所値を集約して収集レベルの統計値を得る,トピック中心の検索可能性尺度を提案する。
提案したT-Retrievability(T-Retrievability)尺度を用いて分析した結果,ニューラルランキングモデルの露出特性に関する新たな知見が得られた。
これらの結果から, この局所化尺度は, 露光公正度をより微妙に理解し, IRシステムにおける文書のアクセシビリティを評価するための信頼性の高いアプローチを提供すると考えられる。
関連論文リスト
- Balancing Tails when Comparing Distributions: Comprehensive Equity Index (CEI) with Application to Bias Evaluation in Operational Face Biometrics [47.762333925222926]
Comprehensive Equity Index (CEI)は、顔認識システムにおける人口統計バイアスを検出するために設計された新しい指標である。
実験の結果,CEIは従来手法が不足していたニュアンスバイアスを検出する能力に優れていたことが確認された。
CEIは、運用公正性評価のための堅牢で機密性の高いツールを提供する。
論文 参考訳（メタデータ） (2025-06-12T10:43:31Z) - FAIR-QR: Enhancing Fairness-aware Information Retrieval through Query Refinement [1.8577028544235155]
本稿では,検索キーワードを改良し,表現不足なグループから文書を検索し,グループフェアネスを実現する新しいフレームワークを提案する。
提案手法は,妥当性と公平性に関する有望な検索結果を示すだけでなく,各イテレーションで使用される洗練されたキーワードを表示することで解釈可能性を示す。
論文 参考訳（メタデータ） (2025-03-27T02:10:19Z) - Exploring Information Retrieval Landscapes: An Investigation of a Novel Evaluation Techniques and Comparative Document Splitting Methods [0.0]
本研究では, 教科書の構造的性質, 記事の簡潔さ, 小説の物語的複雑さについて, 明確な検索戦略が必要であることを示した。
オープンソースのモデルを用いて,質問対と回答対の包括的データセットを生成する新しい評価手法を提案する。
評価には、SequenceMatcher、BLEU、METEOR、BERT Scoreなどの重み付けされたスコアを使用して、システムの正確性と妥当性を評価する。
論文 参考訳（メタデータ） (2024-09-13T02:08:47Z) - Thinking Racial Bias in Fair Forgery Detection: Models, Datasets and Evaluations [63.52709761339949]
最初に、Fair Forgery Detection(FairFD)データセットと呼ばれる専用のデータセットをコントリビュートし、SOTA(Public State-of-the-art)メソッドの人種的偏見を証明する。
我々は、偽りの結果を避けることができる平均的メトリクスと実用正規化メトリクスを含む新しいメトリクスを設計する。
また,有効で堅牢な後処理技術であるBias Pruning with Fair Activations (BPFA)も提案する。
論文 参考訳（メタデータ） (2024-07-19T14:53:18Z) - Investigating Distributions of Telecom Adapted Sentence Embeddings for Document Retrieval [12.135498957287004]
公開可能なモデルとドメイン適応型から得られた埋め込みを評価した。
我々は,異なる埋め込みに対する類似度スコアのしきい値を得るための体系的手法を確立する。
ドメイン固有の文に対する埋め込みは、ドメインに依存しない文とほとんど重複しないことを示す。
論文 参考訳（メタデータ） (2024-06-18T07:03:34Z) - Approximating Counterfactual Bounds while Fusing Observational, Biased
and Randomised Data Sources [64.96984404868411]
我々は、複数の、偏見のある、観察的、介入的な研究からのデータを統合するという問題に対処する。
利用可能なデータの可能性は局所的な最大値を持たないことを示す。
次に、同じアプローチが複数のデータセットの一般的なケースにどのように対処できるかを示す。
論文 参考訳（メタデータ） (2023-07-31T11:28:24Z) - A Training-free and Reference-free Summarization Evaluation Metric via
Centrality-weighted Relevance and Self-referenced Redundancy [60.419107377879925]
トレーニング不要かつ参照不要な要約評価指標を提案する。
我々の測定基準は、集中度重み付き関連度スコアと自己参照冗長度スコアからなる。
提案手法は,複数文書と単一文書の要約評価において,既存の手法よりも大幅に優れる。
論文 参考訳（メタデータ） (2021-06-26T05:11:27Z) - Societal Biases in Retrieved Contents: Measurement Framework and
Adversarial Mitigation for BERT Rankers [9.811131801693856]
ランキングモデルの検索したテキスト内容の公平性を測定するための新しいフレームワークを提供する。
本稿では,最先端のbertrankersに適用した逆バイアス緩和手法を提案する。
MARCOベンチマークの結果,全てのランキングモデルの公正度は,ランク付け非依存のベースラインの公平度よりも低いが,検索内容の公平度は,提案した対角トレーニングの適用時に著しく向上することが示された。
論文 参考訳（メタデータ） (2021-04-28T08:53:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。