論文の概要: A Sensitivity-Aware Test Collection for Search Among Personal Information

• arxiv url: http://arxiv.org/abs/2606.27559v1
• Date: Thu, 25 Jun 2026 21:24:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-29 18:24:25.316416
• Title: A Sensitivity-Aware Test Collection for Search Among Personal Information
• Title（参考訳）: 個人情報検索のための感性認識テストコレクション
• Abstract要約: 我々は,感性評価のために手作業でラベル付けされたEnron文書のサブセットに対するクエリ関連評価をクラウドソースする。 本報告では, 関連性, 感度分類, 感度認識検索のためのベースライン性能について述べる。
• 参考スコア（独自算出の注目度）: 17.242702734975005
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Traditional search tasks aim to satisfy user information needs by returning a subset of a collection of documents, ranked by the documents' relevance to a user query. However, some collections that contain useful information also contain sensitive personal information. Recently, there has been increasing interest in the development of Sensitivity-Aware Search (SAS) retrieval models to provide users with effective retrieval results without revealing such sensitive information. To develop such systems, test collections containing both sensitive and non-sensitive information, a set of queries, and query-document relevance assessments are required. The Enron email corpus contains real business-related emails, where some emails also contain sensitive personal information. However, the original Enron collection does not contain queries or query-relevance assessments. To this end, we crowdsource 150 query formulations for 50 different topics and 11,471 query-relevance assessments for a subset of the Enron documents that have been manually labelled for sensitivity. We follow best practices for using large language models (LLMs) in Information Retrieval evaluation to extend the collection further with additional LLM judged query-relevance assessments and sensitivity labels. We present baseline performances for relevance, sensitivity classification, and sensitivity-aware search on the collection. We make the collection available, including through the popular ir_datasets package, and provide pre-built sparse and dense indices on Huggingface to facilitate easy experimentation.
• Abstract（参考訳）: 従来の検索タスクは、ドキュメントの集合のサブセットをユーザクエリに関連性によってランク付けすることで、ユーザ情報のニーズを満たすことを目的としている。 しかし、有用な情報を含むコレクションの中には、機密性の高い個人情報も含んでいるものもある。 近年,感性認識検索(SAS)検索モデルの開発への関心が高まっている。 このようなシステムを開発するには、センシティブ情報と非センシティブ情報の両方を含むテストコレクション、クエリセット、クエリドキュメント関連性評価が必要である。 Enronのメールコーパスには、実際のビジネス関連メールが含まれており、一部のメールには機密性の高い個人情報も含まれている。 しかし、オリジナルのEnronコレクションにはクエリやクエリ関連アセスメントは含まれていない。 この目的のために、50の異なるトピックに対する150のクエリ定式化と、手動でセンシティブにラベル付けされたEnron文書のサブセットに対する11,471のクエリ関連評価をクラウドソーシングした。 我々は,大規模言語モデル (LLM) を情報検索評価に用いるためのベストプラクティスに従い,LLMが判断したクエリ関連評価と感度ラベルを付加してコレクションをさらに拡張する。 本報告では, 関連性, 感度分類, 感度認識検索のためのベースライン性能について述べる。 一般的なir_datasetsパッケージを通じてコレクションを公開し、Hugingface上に構築済みのスパースと密度の高いインデックスを提供して、簡単に実験できるようにしています。

関連論文リスト

• Ontology-driven personalized information retrieval for XML documents [0.49157446832511503]
  従来の情報検索システムは、ユーザの知識、好み、目的の違いにもかかわらず、しばしばユーザ固有のニーズを見落としている。 ドメインオントロジーやユーザプロファイルといった外部のセマンティックリソースを検索プロセスに統合する。 その結果,提案フレームワークはXML検索結果の妥当性と適応性を向上し,よりユーザ中心の検索を支援することが示唆された。
  論文  参考訳（メタデータ） (2026-03-22T09:29:43Z)
• CoverageBench: Evaluating Information Coverage across Tasks and Domains [57.33043453870487]
  情報カバレッジは、特に検索システムが生成モデルと統合されている場合、検索において中心的な側面である。 Web検索における多様性ランキングの概念を中心に開発されたテストコレクションには、Webドメインにおけるカバレッジの概念をサポートする複数の側面が含まれている。
  論文  参考訳（メタデータ） (2026-03-20T15:20:44Z)
• Query Decomposition for RAG: Balancing Exploration-Exploitation [83.79639293409802]
  RAGシステムは複雑なユーザ要求に対処し、それらをサブクエリに分解し、それぞれに関連する可能性のあるドキュメントを取得し、それを集約して回答を生成する。 クエリの分解とドキュメントの検索をエクスプロレーション探索設定で定式化し、一度に1つのドキュメントを検索すると、与えられたサブクエリの有用性についての信念が構築される。 我々の主な発見は、ランク情報と人的判断を用いた文書関連性の推定により、文書レベルの精度が35%向上し、α-nDCGが15%向上し、長文生成の下流タスクの性能が向上するということである。
  論文  参考訳（メタデータ） (2025-10-21T13:37:11Z)
• Understanding the User: An Intent-Based Ranking Dataset [2.6145315573431214]
  本稿では,このようなデータセットを付加して,アノテートなクエリ記述を付加する手法を提案する。 我々の手法は、個々のクエリにおける暗黙の意図を分析し、理解するために最先端のLCMを利用することである。 キーセマンティック要素を抽出することにより、これらのクエリについて詳細に、文脈的にリッチな記述を構築する。
  論文  参考訳（メタデータ） (2024-08-30T08:40:59Z)
• ExcluIR: Exclusionary Neural Information Retrieval [74.08276741093317]
  本稿では,排他的検索のためのリソースセットであるExcluIRを提案する。 評価ベンチマークには3,452の高品質な排他的クエリが含まれている。 トレーニングセットには70,293の排他的クエリが含まれており、それぞれに正のドキュメントと負のドキュメントがペアリングされている。
  論文  参考訳（メタデータ） (2024-04-26T09:43:40Z)
• STaRK: Benchmarking LLM Retrieval on Textual and Relational Knowledge Bases [93.96463520716759]
  テキストと知識ベースを用いた大規模半構造検索ベンチマークSTARKを開発した。 本ベンチマークでは, 製品検索, 学術論文検索, 精密医療におけるクエリの3分野について検討した。 多様なリレーショナル情報と複雑なテキスト特性を統合した,現実的なユーザクエリを合成する,新しいパイプラインを設計する。
  論文  参考訳（メタデータ） (2024-04-19T22:54:54Z)
• Decomposing Complex Queries for Tip-of-the-tongue Retrieval [72.07449449115167]
  複雑なクエリは、コンテンツ要素(例えば、書籍の文字やイベント)、ドキュメントテキスト以外の情報を記述する。 この検索設定は舌の先端 (TOT) と呼ばれ、クエリと文書テキスト間の語彙的および意味的重複に依存するモデルでは特に困難である。 クエリを個別のヒントに分解し、サブクエリとしてルーティングし、特定の検索者にルーティングし、結果をアンサンブルすることで、このような複雑なクエリを扱うための、シンプルで効果的なフレームワークを導入します。
  論文  参考訳（メタデータ） (2023-05-24T11:43:40Z)
• Exposing Query Identification for Search Transparency [69.06545074617685]
  本稿では,検索システムの2つのクラスにおいて,クエリとドキュメントの役割を逆転させることにより,検索タスクとしてのEQIの実現可能性について検討する。 本研究では,クエリのランク付けの質を評価するための評価基準を導出するとともに,近似EQIの様々な実践的側面に着目した経験的分析を行う。
  論文  参考訳（メタデータ） (2021-10-14T20:19:27Z)
• CSFCube -- A Test Collection of Computer Science Research Articles for Faceted Query by Example [43.01717754418893]
  例によるフェーステッドクエリのタスクを紹介します。 ユーザは、入力クエリドキュメントに加えて、より細かいアスペクトを指定することもできる。 我々は,クエリ科学論文に類似した科学的論文を検索できるモデルを構想する。
  論文  参考訳（メタデータ） (2021-03-24T01:02:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。