論文の概要: Topic-Level Fairness in Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2610.34683v1
• Date: Mon, 26 Oct 2026 01:19:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.667136
• Title: Topic-Level Fairness in Retrieval-Augmented Generation
• Title（参考訳）: 検索型世代におけるトピックレベルフェアネス
• Abstract要約: 検索強化世代(RAG)システムにおけるグループフェアネスは、典型的には、クエリ間で集約されたメトリクスを用いて評価される。 トピックレベルでの公平さについて検討し、グループフェアネスは集約されるだけでなく、各トピック内で保持される必要がある。
• 参考スコア（独自算出の注目度）: 11.940880651326667
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Group fairness in retrieval-augmented generation (RAG) systems is typically evaluated using metrics aggregated across queries. However, such metrics can conceal topic-level disparities: a system may favor women on questions about human rights and men on questions about actors and filmmakers, appearing nearly neutral overall even though neither topic is fair. We therefore study topic-level fairness, which requires group fairness to hold within each topic rather than only in aggregate. To reduce the topic-level disparity, we adapt the reranker separately for each topic with a Bradley-Terry objective under direct supervision from the generated output: preference pairs built from the generator's own output carry the direction that topic requires. With preference pairs built from RoMQA alone, the adaptation reduces the mean absolute per-topic disparity by 51% on RoMQA and by 40% on TREC Fair Ranking while retaining accuracy. No baseline reaches the reduction, even when modified to treat each topic separately rather than apply one correction to every topic. Neither does our method with one reranker for all topics, which follows the direction that most topics require.
• Abstract（参考訳）: 検索強化世代(RAG)システムにおけるグループフェアネスは、典型的には、クエリ間で集約されたメトリクスを用いて評価される。 しかし、このような指標はトピックレベルの格差を隠蔽する可能性がある:女性は人権に関する質問を好み、男性は俳優や映画製作者に関する質問を好み、どちらの話題も公平ではないにもかかわらず全体的にほぼ中立であるように見える。 そこで,本研究では,グループフェアネスを各トピックにまとめるのではなく,グループフェアネスを各トピック内に保持する必要があるトピックレベルフェアネスについて検討する。 トピックレベルの格差を低減するため、生成した出力から直接監督するBradley-Terry目標を用いて、各トピックに対して個別に再ランカを適用する。 好みのペアはRoMQAだけで作られており、RoMQAでは平均的なアトピー差が51%、TRECフェアランキングでは40%減少し、精度は保たれる。 すべてのトピックに1つの修正を適用するのではなく、それぞれのトピックを別々に扱うように修正されたとしても、ベースラインが縮小に達することはない。 いずれの手法も、ほとんどのトピックが必要とする方向に従って、すべてのトピックに対する1つのリランカを持ってはいません。

関連論文リスト

• From Bias to Balance: Fairness-Aware Paper Recommendation for Equitable Peer Review [1.9029881798999504]
  本稿では,学術的品質を向上し,評価することのできる,レビュー後の論文選択のためのフレームワークを提案する。 Fair-PaperRecは、制御された条件下での公正なパラメータの振る舞いを分析して、実際の提出を検証することによって、レビュー後の論文選択のための実践的で株式に焦点を当てたフレームワークを提供し、いくつかの設定では、学術的な品質を向上し、測定することができる。
  論文  参考訳（メタデータ） (2026-02-25T21:57:07Z)
• Doubly-Regressing Approach for Subgroup Fairness [14.327714719028924]
  敏感な属性の数が増えると、サブグループの数が増加する。 これにより、計算上の重荷とデータ空間の問題が発生する。 サブグループフェアネスのための新しい学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2025-10-24T02:04:44Z)
• Arbiters of Ambivalence: Challenges of Using LLMs in No-Consensus Tasks [52.098988739649705]
  本研究では, LLMのバイアスと限界について, 応答生成器, 判定器, 討論器の3つの役割について検討した。 我々は、様々な先行的曖昧なシナリオを含む例をキュレートすることで、合意なしのベンチマークを開発する。 以上の結果から, LLMは, オープンエンドの回答を生成する際に, 曖昧な評価を行うことができる一方で, 審査員や討論者として採用する場合は, 合意なしのトピックにスタンスを取る傾向が示唆された。
  論文  参考訳（メタデータ） (2025-05-28T01:31:54Z)
• Do RAG Systems Cover What Matters? Evaluating and Optimizing Responses with Sub-Question Coverage [74.70255719194819]
  サブクエストカバレッジに基づく新しいフレームワークを導入し、RAGシステムが質問の異なる面にどのように対処するかを計測する。 このフレームワークを使用して、You.com、Perplexity AI、Bing Chatの3つの商用生成応答エンジンを評価します。 すべての回答エンジンは、バックグラウンドやフォローアップよりも、コアサブクエストを頻繁にカバーしていますが、コアサブクエストの約50%を見逃しています。
  論文  参考訳（メタデータ） (2024-10-20T22:59:34Z)
• ELOQ: Resources for Enhancing LLM Detection of Out-of-Scope Questions [52.33835101586687]
  本研究では,検索した文書が意味的に類似しているように見えるスコープ外質問について検討するが,答えるために必要な情報がない。 本稿では,閉経後の文書から多様なスコープ外質問を自動的に生成するための,幻覚に基づくELOQを提案する。
  論文  参考訳（メタデータ） (2024-10-18T16:11:29Z)
• Overview of PerpectiveArg2024: The First Shared Task on Perspective Argument Retrieval [56.66761232081188]
  本稿では,社会における少数派・多数派を代表する年齢,性別,政治的態度など,人口・社会文化(社会)の多様性を包括する新しいデータセットを提案する。 パースペクティビズムを取り入れる上での重大な課題は、特に社会的なプロファイルを明示的に提供せずに、議論のテキストのみに基づくパーソナライズを目指す場合である。 パーソナライズと分極の低減を図るため, パーソナライズを最適化するためには, パーソナライズされた論証検索をブートストラップするが, さらなる研究が不可欠である。
  論文  参考訳（メタデータ） (2024-07-29T03:14:57Z)
• Reranking individuals: The effect of fair classification within-groups [3.2976453916809803]
  バイアス緩和技術は、敏感なグループ間でのインスタンスのペアのランク付けに影響を及ぼす。 これらの効果は精度・公正性評価の枠組みにおいてレーダーの下に留まっている。 いくつかの一般的なバイアス緩和手法の効果と、その出力が現実世界のシナリオを反映しない場合について説明する。
  論文  参考訳（メタデータ） (2024-01-24T11:41:30Z)
• Post-hoc Bias Scoring Is Optimal For Fair Classification [12.897626117694317]
  バイアススコアと呼ばれる新しいインスタンスレベルのバイアス尺度を導入し、修正規則は有限量のバイアススコアの上に単純な線形ルールである。 DPとEOpの制約の場合、修正規則は1つのバイアススコアをしきい値にし、EOの制約の場合、線形修正規則を2つのパラメータに適合させることが要求される。
  論文  参考訳（メタデータ） (2023-10-09T13:54:08Z)
• How to Handle Different Types of Out-of-Distribution Scenarios in Computational Argumentation? A Comprehensive and Fine-Grained Field Study [59.13867562744973]
  この研究は、オフ・オブ・ディストリビューション(OOD)シナリオにおけるLMの能力を体系的に評価する。 このような学習パラダイムの有効性は,OODの種類によって異なることがわかった。 具体的には、ICLはドメインシフトに優れているが、プロンプトベースの微調整はトピックシフトに勝っている。
  論文  参考訳（メタデータ） (2023-09-15T11:15:47Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Model-Based Approach for Measuring the Fairness in ASR [11.076999352942954]
  興味のサブグループ間でのWER差をよりよく測定し解釈するために、混合効果ポアソン回帰を導入する。 本稿では,合成音声データと実世界の音声データに対するモデルベースアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2021-09-19T05:24:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。