論文の概要: Unifying Bias and Unfairness in Information Retrieval: A Survey of Challenges and Opportunities with Large Language Models
- arxiv url: http://arxiv.org/abs/2404.11457v1
- Date: Wed, 17 Apr 2024 15:05:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-18 13:35:28.180206
- Title: Unifying Bias and Unfairness in Information Retrieval: A Survey of Challenges and Opportunities with Large Language Models
- Title（参考訳）: 情報検索におけるバイアスと不公平の統一:大規模言語モデルによる課題と機会の調査
- Authors: Sunhao Dai, Chen Xu, Shicheng Xu, Liang Pang, Zhenhua Dong, Jun Xu,
- Abstract要約: 検索エンジンやレコメンデーションシステムなどの情報検索システムは、重要なパラダイムシフトを経験している。
大規模言語モデル(LLM)の急速な進歩により、検索エンジンやレコメンダシステムといった情報検索システムは、重要なパラダイムシフトを経験してきた。
- 参考スコア（独自算出の注目度）: 31.199796752545478
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: With the rapid advancement of large language models (LLMs), information retrieval (IR) systems, such as search engines and recommender systems, have undergone a significant paradigm shift. This evolution, while heralding new opportunities, introduces emerging challenges, particularly in terms of biases and unfairness, which may threaten the information ecosystem. In this paper, we present a comprehensive survey of existing works on emerging and pressing bias and unfairness issues in IR systems when the integration of LLMs. We first unify bias and unfairness issues as distribution mismatch problems, providing a groundwork for categorizing various mitigation strategies through distribution alignment. Subsequently, we systematically delve into the specific bias and unfairness issues arising from three critical stages of LLMs integration into IR systems: data collection, model development, and result evaluation. In doing so, we meticulously review and analyze recent literature, focusing on the definitions, characteristics, and corresponding mitigation strategies associated with these issues. Finally, we identify and highlight some open problems and challenges for future work, aiming to inspire researchers and stakeholders in the IR field and beyond to better understand and mitigate bias and unfairness issues of IR in this LLM era. We also consistently maintain a GitHub repository for the relevant papers and resources in this rising direction at https://github.com/KID-22/LLM-IR-Bias-Fairness-Survey.
- Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進歩に伴い、検索エンジンやレコメンダシステムといった情報検索(IR)システムは、重要なパラダイムシフトを経ている。
この進化は、新たな機会を示唆する一方で、特にバイアスや不公平の観点から、情報エコシステムを脅かすような、新たな課題をもたらす。
本稿では,LLMの統合において,赤外線システムにおけるバイアスや不公平性の問題の発生・抑圧に関する既存の研究を包括的に調査する。
まず、分布ミスマッチ問題としてバイアスと不公平を統一し、分布アライメントを通じて様々な緩和戦略を分類する基盤となる。
その後,LLMのIRシステムへの3つの重要な段階(データ収集,モデル開発,結果評価)から生じる偏見と不公平性の問題について,系統的に検討した。
そこで我々は,近年の文献を精査して分析し,これらの問題に関連する定義,特徴,およびそれに対応する緩和戦略に注目した。
最後に、我々は、IR分野の研究者や利害関係者に刺激を与え、このLLM時代のIRのバイアスや不公平問題をより深く理解し緩和することを目的として、将来の作業におけるいくつかのオープンな問題と課題を特定し、強調する。
関連論文やリソースのGitHubリポジトリも一貫して,https://github.com/KID-22/LLM-IR-Bias-Fairness-Surveyで維持しています。
関連論文リスト
- Fairness and Bias in Multimodal AI: A Survey [0.20971479389679337]
大規模マルチモーダルモデルにおける公平性とバイアスの最小限の研究に関してギャップを埋める。
我々は、偏見を定量化する新しいカテゴリーを同定する(前略)
我々は、研究者がこれらの課題に対処する様々な方法について批判的に議論する。
論文 参考訳（メタデータ） (2024-06-27T11:26:17Z) - Towards detecting unanticipated bias in Large Language Models [1.4589372436314496]
LLM(Large Language Models)は、従来の機械学習システムと同様の公平性問題を示す。
本研究は、トレーニングデータにおけるバイアスの分析と定量化と、それらのモデルの決定に対する影響に焦点を当てる。
論文 参考訳（メタデータ） (2024-04-03T11:25:20Z) - Tackling Bias in Pre-trained Language Models: Current Trends and
Under-represented Societies [6.831519625084861]
本研究は,言語モデルにおけるバイアスの同定と緩和に用いられている手法の現在の傾向と限界を総合する調査である。
偏見問題に対処する現在のプラクティスは、表現不足の社会のニーズに対処するために単に"プラグイン"することはできない、と我々は主張する。
論文 参考訳（メタデータ） (2023-12-03T21:25:10Z) - Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。
本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。
観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
論文 参考訳（メタデータ） (2023-11-15T00:02:25Z) - Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。
まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。
次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文 参考訳（メタデータ） (2023-09-02T00:32:55Z) - Large Language Models for Information Retrieval: A Survey [57.7992728506871]
情報検索は、項ベースの手法から高度なニューラルモデルとの統合へと進化してきた。
近年の研究では、大規模言語モデル(LLM)を活用してIRシステムの改善が試みられている。
LLMとIRシステムの合流点を探索し、クエリリライト、リトリバー、リランカー、リーダーといった重要な側面を含む。
論文 参考訳（メタデータ） (2023-08-14T12:47:22Z) - Information Retrieval Meets Large Language Models: A Strategic Report
from Chinese IR Community [180.28262433004113]
大規模言語モデル(LLM)は、テキスト理解、生成、知識推論において例外的な能力を示した。
LLMと人間は、情報検索のためにより強力な新しい技術パラダイムを形成します。
LLMがIR研究に与える影響を徹底的に議論するため、中国のIRコミュニティは2023年4月に戦略的ワークショップを開催した。
論文 参考訳（メタデータ） (2023-07-19T05:23:43Z) - Causal Fairness Analysis [68.12191782657437]
意思決定設定における公平性の問題を理解し、モデル化し、潜在的に解決するためのフレームワークを導入します。
我々のアプローチの主な洞察は、観測データに存在する格差の定量化と、基礎となる、しばしば観測されていない、因果的なメカニズムの収集を結びつけることである。
本研究は,文献中の異なる基準間の関係を整理し,説明するための最初の体系的試みであるフェアネスマップにおいて,本研究の成果を左右するものである。
論文 参考訳（メタデータ） (2022-07-23T01:06:34Z) - Fairness in Recommender Systems: Research Landscape and Future
Directions [119.67643184567623]
本稿は,近年の地域におけるフェアネスの概念と概念について概観する。
この分野での研究が現在どのように行われているのかを概観する。
全体として、最近の研究成果の分析は、ある研究のギャップを示している。
論文 参考訳（メタデータ） (2022-05-23T08:34:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。