論文の概要: LLMs may Dominate Information Access: Neural Retrievers are Biased
Towards LLM-Generated Texts
- arxiv url: http://arxiv.org/abs/2310.20501v2
- Date: Sun, 14 Jan 2024 14:41:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 00:57:34.643806
- Title: LLMs may Dominate Information Access: Neural Retrievers are Biased
Towards LLM-Generated Texts
- Title(参考訳): llmが情報アクセスを支配する: ニューラルネットワークはllm生成テキストに偏っている
- Authors: Sunhao Dai, Yuqi Zhou, Liang Pang, Weihao Liu, Xiaolin Hu, Yong Liu,
Xiao Zhang, Gang Wang and Jun Xu
- Abstract要約: 大規模言語モデル(LLM)は情報検索(IR)のパラダイムに革命をもたらした。
意外なことに, ニューラルネットワークによる検索モデルでは, LLM生成文書のランクが高くなる傾向が示唆された。
また、ソースバイアスを軽減するために、最適化目的に対するプラグアンドプレイのデバイアス制約を提案する。
- 参考スコア(独自算出の注目度): 36.73455759259717
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recently, the emergence of large language models (LLMs) has revolutionized
the paradigm of information retrieval (IR) applications, especially in web
search. With their remarkable capabilities in generating human-like texts, LLMs
have created enormous texts on the Internet. As a result, IR systems in the
LLMs era are facing a new challenge: the indexed documents now are not only
written by human beings but also automatically generated by the LLMs. How these
LLM-generated documents influence the IR systems is a pressing and still
unexplored question. In this work, we conduct a quantitative evaluation of
different IR models in scenarios where both human-written and LLM-generated
texts are involved. Surprisingly, our findings indicate that neural retrieval
models tend to rank LLM-generated documents higher. We refer to this category
of biases in neural retrieval models towards the LLM-generated text as the
\textbf{source bias}. Moreover, we discover that this bias is not confined to
the first-stage neural retrievers, but extends to the second-stage neural
re-rankers. Then, we provide an in-depth analysis from the perspective of text
compression and observe that neural models can better understand the semantic
information of LLM-generated text, which is further substantiated by our
theoretical analysis. To mitigate the source bias, we also propose a
plug-and-play debiased constraint for the optimization objective, and
experimental results show the effectiveness. Finally, we discuss the potential
severe concerns stemming from the observed source bias and hope our findings
can serve as a critical wake-up call to the IR community and beyond. To
facilitate future explorations of IR in the LLM era, the constructed two new
benchmarks and codes will later be available at
\url{https://github.com/KID-22/LLM4IR-Bias}.
- Abstract(参考訳): 近年,大規模言語モデル (LLM) の出現は,特にWeb検索において情報検索 (IR) のパラダイムに革命をもたらした。
人間のようなテキストを生成する素晴らしい能力によって、LLMはインターネット上で巨大なテキストを作成しました。
結果として、LLM時代のIRシステムは新たな課題に直面しており、インデックス化された文書は人間によって書かれただけでなく、LLMによって自動的に生成される。
これらのLCM生成した文書がIRシステムにどのように影響するかは、迫りつつも未解明の疑問である。
本研究では,人間の書き起こしとLLM生成の両方が関与するシナリオにおいて,異なるIRモデルの定量的評価を行う。
意外なことに, ニューラルネットワークによる検索モデルでは, LLM生成文書のランクが高かった。
我々は、LLM生成テキストに対するニューラル検索モデルにおけるこのバイアスのカテゴリを「textbf{source bias}」と呼ぶ。
さらに,このバイアスは第1段階のニューラルレトリバーに限らず,第2段階のニューラルリランカに限っていることがわかった。
そして、テキスト圧縮の観点から詳細な分析を行い、ニューラルネットワークがLLM生成テキストのセマンティック情報をよりよく理解し、理論的解析によってさらに裏付けられることを観察する。
また, 音源バイアスを軽減するため, 最適化目標に対するプラグ・アンド・プレイ・デバイアスド制約を提案し, 実験により有効性を示す。
最後に、観測源バイアスに起因する潜在的な深刻な懸念について論じ、我々の発見がIRコミュニティなどへの重要な起床のきっかけとなることを期待する。
LLM時代のIRの将来の探索を容易にするため、構築された2つの新しいベンチマークとコードは後に \url{https://github.com/KID-22/LLM4IR-Bias} で利用可能となる。
関連論文リスト
- Understanding Privacy Risks of Embeddings Induced by Large Language Models [75.96257812857554]
大きな言語モデルは、人工知能の初期の兆候を示すが、幻覚に苦しむ。
1つの有望な解決策は、外部知識を埋め込みとして保存し、LLMを検索強化世代に支援することである。
近年の研究では、事前学習された言語モデルによるテキスト埋め込みから、元のテキストを部分的に再構築できることが実験的に示されている。
論文 参考訳(メタデータ) (2024-04-25T13:10:48Z) - Unsupervised Information Refinement Training of Large Language Models
for Retrieval-Augmented Generation [133.52393894760107]
InFO-RAG という情報改質訓練手法を提案する。
InFO-RAGは低コストで、様々なタスクにまたがっている。
LLaMA2の性能を平均9.39%向上させる。
論文 参考訳(メタデータ) (2024-02-28T08:24:38Z) - Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。
自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。
これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
論文 参考訳(メタデータ) (2024-01-30T17:38:54Z) - A Survey on LLM-Generated Text Detection: Necessity, Methods, and Future Directions [39.36381851190369]
LLM生成テキストを検出できる検出器を開発する必要がある。
このことは、LLMが生成するコンテンツの有害な影響から、LLMの潜在的な誤用や、芸術的表現やソーシャルネットワークのような保護領域の軽減に不可欠である。
この検出器技術は、ウォーターマーキング技術、統計ベースの検出器、神経ベース検出器、そして人間の支援手法の革新によって、最近顕著な進歩をみせている。
論文 参考訳(メタデータ) (2023-10-23T09:01:13Z) - Bad Actor, Good Advisor: Exploring the Role of Large Language Models in
Fake News Detection [22.658378054986624]
大規模言語モデル(LLM)は、様々なタスクにおいて顕著なパフォーマンスを示している。
LLMは望ましいマルチパースペクティブな合理性を提供するが、基本的なSLMである細調整のBERTよりも性能が低い。
偽ニュース検出において、現在のLSMは微調整されたSLMの代わりにはならないが、SLMの優れたアドバイザである可能性が示唆された。
論文 参考訳(メタデータ) (2023-09-21T16:47:30Z) - Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。
より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。
この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
論文 参考訳(メタデータ) (2023-09-20T09:23:46Z) - Neural Authorship Attribution: Stylometric Analysis on Large Language
Models [16.63955074133222]
GPT-4、PaLM、Llamaのような大規模言語モデル(LLM)は、AIによるテキスト生成を著しく推進している。
誤用の可能性に対する懸念が高まっているため、AI生成テキストの鑑識の必要性が高まっている。
論文 参考訳(メタデータ) (2023-08-14T17:46:52Z) - Synergistic Interplay between Search and Large Language Models for
Information Retrieval [141.18083677333848]
InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。
InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
論文 参考訳(メタデータ) (2023-05-12T11:58:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。