論文の概要: Data, Not Model: Explaining Bias toward LLM Texts in Neural Retrievers

• arxiv url: http://arxiv.org/abs/2604.06163v1
• Date: Tue, 07 Apr 2026 17:57:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.987573
• Title: Data, Not Model: Explaining Bias toward LLM Texts in Neural Retrievers
• Title（参考訳）: モデルではなくデータ:ニューラルリトリバーにおけるLCMテキストへのバイアス説明
• Authors: Wei Huang, Keping Bi, Yinqiong Cai, Wei Chen, Jiafeng Guo, Xueqi Cheng,
• Abstract要約: 近年の研究では、ニューラルレトリバーは、人間が書いたものよりもLSMが生成する経路を優先して、ソースバイアスをしばしば示している。 このバイアスはレトリバーの固有の欠陥と考えられており、現代の情報アクセスシステムの公平性と信頼性に関する懸念を提起している。 我々の研究は、ソースバイアスがモデル自体ではなく、検索データセットの監督に起因していることを示すことで、この見解に挑戦する。
• 参考スコア（独自算出の注目度）: 76.92519309816008
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent studies show that neural retrievers often display source bias, favoring passages generated by LLMs over human-written ones, even when both are semantically similar. This bias has been considered an inherent flaw of retrievers, raising concerns about the fairness and reliability of modern information access systems. Our work challenges this view by showing that source bias stems from supervision in retrieval datasets rather than the models themselves. We found that non-semantic differences, like fluency and term specificity, exist between positive and negative documents, mirroring differences between LLM and human texts. In the embedding space, the bias direction from negatives to positives aligns with the direction from human-written to LLM-generated texts. We theoretically show that retrievers inevitably absorb the artifact imbalances in the training data during contrastive learning, which leads to their preferences over LLM texts. To mitigate the effect, we propose two approaches: 1) reducing artifact differences in training data and 2) adjusting LLM text vectors by removing their projection on the bias vector. Both methods substantially reduce source bias. We hope our study alleviates some concerns regarding LLM-generated texts in information access systems.
• Abstract（参考訳）: 近年の研究では、ニューラルレトリバーは、たとえ両者が意味論的に類似しているとしても、LLMが生成する経路よりも、ソースバイアスをしばしば示している。 このバイアスはレトリバーの固有の欠陥と考えられており、現代の情報アクセスシステムの公平性と信頼性に対する懸念を提起している。 我々の研究は、ソースバイアスがモデル自体ではなく、検索データセットの監督に起因していることを示すことで、この見解に挑戦する。 LLMと人文の相違を反映した正と負の文書の間には、流布や用語の特異性のような非意味的な相違が存在することがわかった。 埋め込み空間では、負から正へのバイアス方向は、人書きテキストからLLM生成テキストへのバイアス方向と一致している。 理論的には、学習中に学習データ中のアーティファクトの不均衡を必然的に吸収し、LLMテキストよりも好まれることを示す。 この効果を緩和するため、我々は2つのアプローチを提案する。 1)トレーニングデータのアーティファクト差の低減 2) LLMテキストベクトルは, バイアスベクトルの投影を除去して調整する。 どちらの方法もソースバイアスを大幅に減少させる。 我々は,情報アクセスシステムにおけるLLM生成テキストに関する懸念を和らげることを期待している。

関連論文リスト

• How Do LLM-Generated Texts Impact Term-Based Retrieval Models? [76.92519309816008]
  本稿では,大規模言語モデル(LLM)が項ベース検索モデルに与える影響について検討する。 言語学的解析により,LLM生成テキストはよりスムーズで低周波なZipf勾配を示すことが明らかとなった。 本研究は,項分布がクエリと密接に一致した文書を優先して,項ベース検索モデルがソースバイアスを示すかどうかを考察する。
  論文  参考訳（メタデータ） (2025-08-25T06:43:27Z)
• RepreGuard: Detecting LLM-Generated Text by Revealing Hidden Representation Patterns [50.401907401444404]
  大規模言語モデル(LLM)は、誤用を防止し、信頼できるAIシステムを構築するために不可欠である。 本稿では,統計量に基づく効率的な検出手法であるRepreGuardを提案する。 実験結果から、RepreGuardは、平均94.92%のAUROCですべてのベースラインでID(in-distriion)とOOD(OOD)の両方のシナリオでパフォーマンスが向上していることが示された。
  論文  参考訳（メタデータ） (2025-08-18T17:59:15Z)
• Reverse Modeling in Large Language Models [39.18082267850437]
  人間は前もって読み書きに慣れている。 本稿では,自己回帰型大規模言語モデル (LLM) が逆モデリングに苦しむかを検討する。
  論文  参考訳（メタデータ） (2024-10-13T12:24:03Z)
• Reinforcement Learning from Multi-role Debates as Feedback for Bias Mitigation in LLMs [6.090496490133132]
  本稿では,従来のRLHFのフィードバックに取って代わるバイアス緩和手法であるReinforcement Learning from Multi-role Debates as Feedback (RLDF)を提案する。 強化学習における報酬モデルのトレーニングに,高バイアスと低バイアスの両方のインスタンスを含むデータセットを作成するために,LLMをマルチロール討論に活用する。
  論文  参考訳（メタデータ） (2024-04-15T22:18:50Z)
• Pride and Prejudice: LLM Amplifies Self-Bias in Self-Refinement [75.7148545929689]
  大規模言語モデル(LLM)は、特定のタスクの自己フィードバックを通じてパフォーマンスを向上し、他のタスクを劣化させる。 我々は、LSMの自己バイアス(自称世代を好む傾向)を正式に定義する。 我々は、翻訳、制約付きテキスト生成、数学的推論の6つのLCMを解析する。
  論文  参考訳（メタデータ） (2024-02-18T03:10:39Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)
• Neural Retrievers are Biased Towards LLM-Generated Content [35.40318940303482]
  大規模言語モデル(LLM)は情報検索(IR)のパラダイムに革命をもたらした。 これらのLCM生成した文書がIRシステムにどのように影響するかは、迫りつつも未解明の疑問である。 意外なことに, ニューラルネットワークによる検索モデルでは, LLM生成文書のランクが高くなる傾向が示唆された。
  論文  参考訳（メタデータ） (2023-10-31T14:42:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。