論文の概要: Neural Retrievers are Biased Towards LLM-Generated Content

• arxiv url: http://arxiv.org/abs/2310.20501v3
• Date: Wed, 31 Jul 2024 13:08:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-01 20:35:03.628071
• Title: Neural Retrievers are Biased Towards LLM-Generated Content
• Title（参考訳）: ニューラルレトリバーはLLM生成コンテンツに向けてバイアスがかかる
• Authors: Sunhao Dai, Yuqi Zhou, Liang Pang, Weihao Liu, Xiaolin Hu, Yong Liu, Xiao Zhang, Gang Wang, Jun Xu,
• Abstract要約: 大規模言語モデル(LLM)は情報検索(IR)のパラダイムに革命をもたらした。 これらのLCM生成した文書がIRシステムにどのように影響するかは、迫りつつも未解明の疑問である。 意外なことに, ニューラルネットワークによる検索モデルでは, LLM生成文書のランクが高くなる傾向が示唆された。
• 参考スコア（独自算出の注目度）: 35.40318940303482
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recently, the emergence of large language models (LLMs) has revolutionized the paradigm of information retrieval (IR) applications, especially in web search, by generating vast amounts of human-like texts on the Internet. As a result, IR systems in the LLM era are facing a new challenge: the indexed documents are now not only written by human beings but also automatically generated by the LLMs. How these LLM-generated documents influence the IR systems is a pressing and still unexplored question. In this work, we conduct a quantitative evaluation of IR models in scenarios where both human-written and LLM-generated texts are involved. Surprisingly, our findings indicate that neural retrieval models tend to rank LLM-generated documents higher. We refer to this category of biases in neural retrievers towards the LLM-generated content as the \textbf{source bias}. Moreover, we discover that this bias is not confined to the first-stage neural retrievers, but extends to the second-stage neural re-rankers. Then, in-depth analyses from the perspective of text compression indicate that LLM-generated texts exhibit more focused semantics with less noise, making it easier for neural retrieval models to semantic match. To mitigate the source bias, we also propose a plug-and-play debiased constraint for the optimization objective, and experimental results show its effectiveness. Finally, we discuss the potential severe concerns stemming from the observed source bias and hope our findings can serve as a critical wake-up call to the IR community and beyond. To facilitate future explorations of IR in the LLM era, the constructed two new benchmarks are available at https://github.com/KID-22/Source-Bias.
• Abstract（参考訳）: 近年,大規模な言語モデル (LLM) の出現は,インターネット上で大量の人文を生成することで,情報検索 (IR) のパラダイム,特にWeb検索に革命をもたらした。 結果として、LLM時代のIRシステムは新たな課題に直面している: インデックス化された文書は人間によって書かれただけでなく、LLMによって自動的に生成される。 これらのLCM生成した文書がIRシステムにどのように影響するかは、迫りつつも未解明の疑問である。 本研究では,人間の書き起こしテキストとLLM生成テキストの両方が関与するシナリオにおいて,IRモデルの定量的評価を行う。 意外なことに, ニューラルネットワークによる検索モデルでは, LLM生成文書のランクが高くなる傾向が示唆された。 我々は、LLM生成コンテンツに対するニューラルレトリバーのこのバイアスのカテゴリを、textbf{source bias} と呼ぶ。 さらに,このバイアスは第1段階のニューラルレトリバーに限らず,第2段階のニューラルリランカに限っていることが判明した。 そして、テキスト圧縮の観点からの詳細な分析により、LLM生成したテキストはノイズが少なく、より焦点を絞ったセマンティクスを示し、ニューラル検索モデルがセマンティクスマッチングを容易にすることを示した。 また、ソースバイアスを軽減するため、最適化目的に対するプラグアンドプレイのデバイアス制約を提案し、実験結果によりその効果が示された。 最後に、観測源バイアスに起因する潜在的な深刻な懸念について論じ、我々の発見がIRコミュニティなどへの重要な起床のきっかけとなることを期待する。 LLM時代のIRの今後の探索を容易にするため、2つの新しいベンチマークがhttps://github.com/KID-22/Source-Biasで公開されている。

関連論文リスト

• Invar-RAG: Invariant LLM-aligned Retrieval for Better Generation [43.630437906898635]
  Invar-RAGと呼ばれる2段階ファインチューニングアーキテクチャを提案する。 検索段階では、LORAに基づく表現学習を統合してLLMベースの検索器を構築する。 生成段階では、抽出した情報に基づいて回答を生成する際のLCM精度を向上させるための精細調整法が用いられる。
  論文  参考訳（メタデータ） (2024-11-11T14:25:37Z)
• Robustness of LLMs to Perturbations in Text [2.0670689746336]
  大規模言語モデル(LLM)は素晴らしいパフォーマンスを示していますが、現実のデータでは避けられないノイズを処理できますか? この研究は、LLMのテキストのモルフォロジー変化に対するレジリエンスを調査することによって、この重要な問題に取り組む。 以上の結果から, LLM は, 一般の信念とは対照的に, 文中での騒々しい摂動に対して静かであることが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-12T04:50:17Z)
• ReMoDetect: Reward Models Recognize Aligned LLM's Generations [55.06804460642062]
  大型言語モデル (LLM) は人間の好むテキストを生成する。 本稿では,これらのモデルで共有される共通特性について述べる。 報奨モデルの検出能力をさらに向上する2つのトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-05-27T17:38:33Z)
• Cocktail: A Comprehensive Information Retrieval Benchmark with LLM-Generated Documents Integration [60.535793237063885]
  LLM(Large Language Models)の普及は、インターネット上のAIGC(AIGC)の流入につながっている。 AIGCの急増が情報検索システムに与える影響は、まだ明らかな疑問である。 我々は、この混合ソースデータランドスケープでIRモデルを評価するのに適したベンチマークであるCocktailを紹介した。
  論文  参考訳（メタデータ） (2024-05-26T12:30:20Z)
• Understanding Privacy Risks of Embeddings Induced by Large Language Models [75.96257812857554]
  大きな言語モデルは、人工知能の初期の兆候を示すが、幻覚に苦しむ。 1つの有望な解決策は、外部知識を埋め込みとして保存し、LLMを検索強化世代に支援することである。 近年の研究では、事前学習された言語モデルによるテキスト埋め込みから、元のテキストを部分的に再構築できることが実験的に示されている。
  論文  参考訳（メタデータ） (2024-04-25T13:10:48Z)
• A Survey on LLM-Generated Text Detection: Necessity, Methods, and Future Directions [39.36381851190369]
  LLM生成テキストを検出できる検出器を開発する必要がある。 このことは、LLMが生成するコンテンツの有害な影響から、LLMの潜在的な誤用や、芸術的表現やソーシャルネットワークのような保護領域の軽減に不可欠である。 この検出器技術は、ウォーターマーキング技術、統計ベースの検出器、神経ベース検出器、そして人間の支援手法の革新によって、最近顕著な進歩をみせている。
  論文  参考訳（メタデータ） (2023-10-23T09:01:13Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• Large Language Models for Information Retrieval: A Survey [58.30439850203101]
  情報検索は、項ベースの手法から高度なニューラルモデルとの統合へと進化してきた。 近年の研究では、大規模言語モデル(LLM)を活用してIRシステムの改善が試みられている。 LLMとIRシステムの合流点を探索し、クエリリライト、リトリバー、リランカー、リーダーといった重要な側面を含む。
  論文  参考訳（メタデータ） (2023-08-14T12:47:22Z)
• Synergistic Interplay between Search and Large Language Models for Information Retrieval [141.18083677333848]
  InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。 InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
  論文  参考訳（メタデータ） (2023-05-12T11:58:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。