論文の概要: Neural Retrievers are Biased Towards LLM-Generated Content
- arxiv url: http://arxiv.org/abs/2310.20501v3
- Date: Wed, 31 Jul 2024 13:08:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-01 20:35:03.628071
- Title: Neural Retrievers are Biased Towards LLM-Generated Content
- Title(参考訳): ニューラルレトリバーはLLM生成コンテンツに向けてバイアスがかかる
- Authors: Sunhao Dai, Yuqi Zhou, Liang Pang, Weihao Liu, Xiaolin Hu, Yong Liu, Xiao Zhang, Gang Wang, Jun Xu,
- Abstract要約: 大規模言語モデル(LLM)は情報検索(IR)のパラダイムに革命をもたらした。
これらのLCM生成した文書がIRシステムにどのように影響するかは、迫りつつも未解明の疑問である。
意外なことに, ニューラルネットワークによる検索モデルでは, LLM生成文書のランクが高くなる傾向が示唆された。
- 参考スコア(独自算出の注目度): 35.40318940303482
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recently, the emergence of large language models (LLMs) has revolutionized the paradigm of information retrieval (IR) applications, especially in web search, by generating vast amounts of human-like texts on the Internet. As a result, IR systems in the LLM era are facing a new challenge: the indexed documents are now not only written by human beings but also automatically generated by the LLMs. How these LLM-generated documents influence the IR systems is a pressing and still unexplored question. In this work, we conduct a quantitative evaluation of IR models in scenarios where both human-written and LLM-generated texts are involved. Surprisingly, our findings indicate that neural retrieval models tend to rank LLM-generated documents higher. We refer to this category of biases in neural retrievers towards the LLM-generated content as the \textbf{source bias}. Moreover, we discover that this bias is not confined to the first-stage neural retrievers, but extends to the second-stage neural re-rankers. Then, in-depth analyses from the perspective of text compression indicate that LLM-generated texts exhibit more focused semantics with less noise, making it easier for neural retrieval models to semantic match. To mitigate the source bias, we also propose a plug-and-play debiased constraint for the optimization objective, and experimental results show its effectiveness. Finally, we discuss the potential severe concerns stemming from the observed source bias and hope our findings can serve as a critical wake-up call to the IR community and beyond. To facilitate future explorations of IR in the LLM era, the constructed two new benchmarks are available at https://github.com/KID-22/Source-Bias.
- Abstract(参考訳): 近年,大規模な言語モデル (LLM) の出現は,インターネット上で大量の人文を生成することで,情報検索 (IR) のパラダイム,特にWeb検索に革命をもたらした。
結果として、LLM時代のIRシステムは新たな課題に直面している: インデックス化された文書は人間によって書かれただけでなく、LLMによって自動的に生成される。
これらのLCM生成した文書がIRシステムにどのように影響するかは、迫りつつも未解明の疑問である。
本研究では,人間の書き起こしテキストとLLM生成テキストの両方が関与するシナリオにおいて,IRモデルの定量的評価を行う。
意外なことに, ニューラルネットワークによる検索モデルでは, LLM生成文書のランクが高くなる傾向が示唆された。
我々は、LLM生成コンテンツに対するニューラルレトリバーのこのバイアスのカテゴリを、textbf{source bias} と呼ぶ。
さらに,このバイアスは第1段階のニューラルレトリバーに限らず,第2段階のニューラルリランカに限っていることが判明した。
そして、テキスト圧縮の観点からの詳細な分析により、LLM生成したテキストはノイズが少なく、より焦点を絞ったセマンティクスを示し、ニューラル検索モデルがセマンティクスマッチングを容易にすることを示した。
また、ソースバイアスを軽減するため、最適化目的に対するプラグアンドプレイのデバイアス制約を提案し、実験結果によりその効果が示された。
最後に、観測源バイアスに起因する潜在的な深刻な懸念について論じ、我々の発見がIRコミュニティなどへの重要な起床のきっかけとなることを期待する。
LLM時代のIRの今後の探索を容易にするため、2つの新しいベンチマークがhttps://github.com/KID-22/Source-Biasで公開されている。
関連論文リスト
- ReMoDetect: Reward Models Recognize Aligned LLM's Generations [55.06804460642062]
大型言語モデル (LLM) は人間の好むテキストを生成する。
報奨モデルの検出能力をさらに向上する2つのトレーニング手法を提案する。
論文 参考訳(メタデータ) (2024-05-27T17:38:33Z) - Understanding Privacy Risks of Embeddings Induced by Large Language Models [75.96257812857554]
大きな言語モデルは、人工知能の初期の兆候を示すが、幻覚に苦しむ。
1つの有望な解決策は、外部知識を埋め込みとして保存し、LLMを検索強化世代に支援することである。
近年の研究では、事前学習された言語モデルによるテキスト埋め込みから、元のテキストを部分的に再構築できることが実験的に示されている。
論文 参考訳(メタデータ) (2024-04-25T13:10:48Z) - Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
InFO-RAG という情報改質訓練手法を提案する。
InFO-RAGは低コストで、様々なタスクにまたがっている。
LLaMA2の性能を平均9.39%向上させる。
論文 参考訳(メタデータ) (2024-02-28T08:24:38Z) - Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。
自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。
これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
論文 参考訳(メタデータ) (2024-01-30T17:38:54Z) - A Survey on LLM-Generated Text Detection: Necessity, Methods, and Future Directions [39.36381851190369]
LLM生成テキストを検出できる検出器を開発する必要がある。
このことは、LLMが生成するコンテンツの有害な影響から、LLMの潜在的な誤用や、芸術的表現やソーシャルネットワークのような保護領域の軽減に不可欠である。
この検出器技術は、ウォーターマーキング技術、統計ベースの検出器、神経ベース検出器、そして人間の支援手法の革新によって、最近顕著な進歩をみせている。
論文 参考訳(メタデータ) (2023-10-23T09:01:13Z) - Bad Actor, Good Advisor: Exploring the Role of Large Language Models in
Fake News Detection [22.658378054986624]
大規模言語モデル(LLM)は、様々なタスクにおいて顕著なパフォーマンスを示している。
LLMは望ましいマルチパースペクティブな合理性を提供するが、基本的なSLMである細調整のBERTよりも性能が低い。
偽ニュース検出において、現在のLSMは微調整されたSLMの代わりにはならないが、SLMの優れたアドバイザである可能性が示唆された。
論文 参考訳(メタデータ) (2023-09-21T16:47:30Z) - Neural Authorship Attribution: Stylometric Analysis on Large Language
Models [16.63955074133222]
GPT-4、PaLM、Llamaのような大規模言語モデル(LLM)は、AIによるテキスト生成を著しく推進している。
誤用の可能性に対する懸念が高まっているため、AI生成テキストの鑑識の必要性が高まっている。
論文 参考訳(メタデータ) (2023-08-14T17:46:52Z) - Synergistic Interplay between Search and Large Language Models for
Information Retrieval [141.18083677333848]
InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。
InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
論文 参考訳(メタデータ) (2023-05-12T11:58:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。