論文の概要: All Eyes on the Ranker: Participatory Auditing to Surface Blind Spots in Ranked Search Results

• arxiv url: http://arxiv.org/abs/2604.09946v1
• Date: Fri, 10 Apr 2026 22:55:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:15.759979
• Title: All Eyes on the Ranker: Participatory Auditing to Surface Blind Spots in Ranked Search Results
• Title（参考訳）: ランキングのすべての目:ランク付けされた検索結果で表面の盲点に注目する参加者
• Authors: Anna Marie Rezk, Patrizia Di Campli San Vito, Ayah Soufan, Graham McDonald, Craig Macdonald, Iadh Ounis,
• Abstract要約: 本稿では,検索結果がどのような影響をもたらすかというユーザの因果的・文脈的理解を明らかにするために,参加型監査が不可欠であることを論じる。 本稿では,3つの参加型監査ワークショップについて報告し,透明性とユーザコントロールのレベルを調査し,意図的に操作されたランキングについて検討する。
• 参考スコア（独自算出の注目度）: 20.872574833329217
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Search engines that present users with a ranked list of search results are a fundamental technology for providing public access to information. Evaluations of such systems are typically conducted by domain experts and focus on model-centric metrics, relevance judgments, or output-based analyses, rather than on how accountability, harm, or trust are experienced by users. This paper argues that participatory auditing is essential for revealing users' causal and contextual understandings of how ranked search results produce impacts, particularly as ranking models appear increasingly convincing and sophisticated in their semantic interpretation of user queries. We report on three participatory auditing workshops (n=21) in which participants engaged with a custom search interface across four tasks, comparing a lexical ranker (BM25) and a neural semantic reranker (MonoT5), exploring varying levels of transparency and user controls, and examining an intentionally adversarially manipulated ranking. Reflexive activities prompted participants to articulate causal narratives linking search system properties to broader impacts. Synthesising the findings, we contribute a taxonomy of user-perceived impacts of ranked search results, spanning epistemic, representational, infrastructural, and downstream social impacts. However, interactions with the neural model revealed limits to participatory auditing itself: perceived system competence and accumulated trust reduced critical scrutiny during the workshop, allowing manipulations to go undetected. Participants expressed desire for visibility into the full search pipeline and recourse mechanisms. Together, these findings show how participatory auditing can surface user perceived impacts and accountability gaps that remain unseen when relying on conventional audits, while revealing where participatory auditing may encounter limitations.
• Abstract（参考訳）: 検索結果のランクリストをユーザに提示する検索エンジンは、情報への公開アクセスを提供するための基本的な技術である。 このようなシステムの評価は、一般的にドメインの専門家によって行われ、ユーザによる説明責任、損害、信頼の体験よりも、モデル中心のメトリクス、関連判断、あるいはアウトプットに基づく分析に重点を置いている。 本稿では,検索結果がどのような影響をもたらすかというユーザの因果的・文脈的理解を明らかにする上で,参加型監査が不可欠であることを論じる。 参加者が4つのタスクにまたがるカスタム検索インタフェース(BM25)とニューラルセマンティック・リランカ(MonoT5)を比較し、透明性とユーザコントロールの異なるレベルを探索し、意図的に操作されたランキングを調べる3つの参加型監査ワークショップ(n=21)について報告する。 反射的活動は参加者に、検索システムの特性とより広範な影響を結びつける因果的物語の具体化を促した。 本研究は, 検索結果のユーザ認識による影響の分類に寄与し, 疫学, 表現学, インフラ学, 下流社会への影響について考察した。 しかし、ニューラルモデルとの相互作用は、参加型監査自体の限界を明らかにした: システム能力の認識と信頼の蓄積により、ワークショップ中の批判的な監視が減少し、操作が検出されずに済むようになった。 参加者は、完全な検索パイプラインとリコースメカニズムへの可視性への欲求を表明した。 これらの結果から,参加型監査が従来の監査に頼っても見つからない影響や説明責任のギャップにどのように影響するかを明らかにし,参加型監査が限界に遭遇する可能性を明らかにした。

関連論文リスト

• Seek and You Shall Find: Design & Evaluation of a Context-Aware Interactive Search Companion [2.901725877154321]
  本稿では,既存の検索エンジンの検索結果ページに専門家の検索戦略をシームレスに統合する対話型検索コンパニオンを提案する。 情報ニーズの明確化,クエリの定式化の向上,結果探索の促進など,コンテキスト対応のヒントを提供することで,探索行動の向上をめざしている。 ユーザ調査では、コンパニオンがより活発で探索的な検索に成功し、75パーセント以上のクエリを提出し、約2倍の結果を見ることができた。
  論文  参考訳（メタデータ） (2026-01-16T13:39:33Z)
• Understanding Visual Saliency of Outlier Items in Product Search [62.12411635661447]
  両面のマーケットプレースでは、アイテムはユーザーの注意を競う。 最近の研究は、ランキングのアウトリーチアイテムのような、イテム間の依存関係もアイテムの露出に影響を与えることを示唆している。 リアルなオンラインショッピングシナリオにおいて,トップダウン要因がアイテムのアウトリーネスに対するユーザの認識にどのように影響するかを検討する。
  論文  参考訳（メタデータ） (2025-03-30T21:22:23Z)
• Interactive Counterfactual Exploration of Algorithmic Harms in Recommender Systems [3.990406494980651]
  本研究では,レコメンデーションシステムにおけるアルゴリズム的害の影響を理解し,探索するための対話型ツールを提案する。 視覚化、反事実的説明、インタラクティブなモジュールを活用することで、ユーザは誤校正などのバイアスがレコメンデーションにどのように影響するかを調査できる。
  論文  参考訳（メタデータ） (2024-09-10T23:58:27Z)
• Towards Detecting and Mitigating Cognitive Bias in Spoken Conversational Search [14.916529791823868]
  本稿では,情報探索,心理学,認知科学,ウェアラブルセンサの知見をもとに,地域社会における新たな会話を促す。 実験的な設計と設定のためのマルチモーダル機器と手法を含むフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-21T03:50:32Z)
• Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
  アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。 アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。 本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
  論文  参考訳（メタデータ） (2024-04-19T16:45:50Z)
• Decoy Effect In Search Interaction: Understanding User Behavior and Measuring System Vulnerability [33.78769577114657]
  本研究は,検索エンジンの検索結果ページ上でのユーザインタラクションの変化について検討した。 DEJA-VUメトリクスを導入し、デコイ効果に対するシステムの感受性を評価する。 その結果,システムの有効性と脆弱性に違いが認められた。
  論文  参考訳（メタデータ） (2024-03-27T11:20:48Z)
• Navigating the Thin Line: Examining User Behavior in Search to Detect Engagement and Backfire Effects [0.0]
  本研究では,様々なバイアス指標と検索結果の提示が,意見のあるユーザの多様性消費と検索行動に影響を及ぼすかどうかを検討する。 以上の結果から,参加者が(対人偏見の)検索結果に偏りを抱くことで,コンテンツに対する態度が向上することが示唆された。 また, 偏見は, 検索ページ内のインタラクションの全体的な減少傾向と関連していることがわかった。
  論文  参考訳（メタデータ） (2024-01-20T10:28:25Z)
• Measuring the Effect of Influential Messages on Varying Personas [67.1149173905004]
  我々は、ニュースメッセージを見る際にペルソナが持つ可能性のある応答を推定するために、ニュースメディア向けのペルソナに対するレスポンス予測という新しいタスクを提示する。 提案課題は,モデルにパーソナライズを導入するだけでなく,各応答の感情極性と強度も予測する。 これにより、ペルソナの精神状態に関するより正確で包括的な推測が可能になる。
  論文  参考訳（メタデータ） (2023-05-25T21:01:00Z)
• Co-Located Human-Human Interaction Analysis using Nonverbal Cues: A Survey [71.43956423427397]
  本研究の目的は,非言語的キューと計算手法を同定し,効果的な性能を実現することである。 この調査は、最も広い範囲の社会現象と相互作用設定を巻き込むことによって、相手と異なる。 もっともよく使われる非言語キュー、計算方法、相互作用環境、センシングアプローチは、それぞれマイクとカメラを備えた3,4人で構成される会話活動、ベクターマシンのサポート、ミーティングである。
  論文  参考訳（メタデータ） (2022-07-20T13:37:57Z)
• Towards Unbiased Visual Emotion Recognition via Causal Intervention [63.74095927462]
  本稿では,データセットバイアスによる負の効果を軽減するために,新しい感情認識ネットワーク(IERN)を提案する。 IERNの有効性を検証する一連の設計されたテストと、3つの感情ベンチマークの実験は、IERNが他の最先端のアプローチよりも優れていることを示した。
  論文  参考訳（メタデータ） (2021-07-26T10:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。