論文の概要: Exploring LLM biases to manipulate AI search overview

• arxiv url: http://arxiv.org/abs/2605.00012v1
• Date: Mon, 30 Mar 2026 06:36:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 06:56:26.39952
• Title: Exploring LLM biases to manipulate AI search overview
• Title（参考訳）: AI検索概要を操作するLLMバイアスの探索
• Authors: Roman Smirnov,
• Abstract要約: 本研究は, LLM概要システムにおけるバイアスの存在を調査することに焦点を当てている。 我々は、強化学習を用いて小さな言語モデルを訓練し、LLM概要で好まれる可能性を高めるためにスニペットを書き換える。 その結果、LLM概要システムにはバイアスがあり、ほとんどの場合、強化学習はスニペットのコンテンツを最適化してLLM概要を操作できることが証明された。
• 参考スコア（独自算出の注目度）: 0.10687198029679434
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern large language models (LLMs) are used in many business applications in general, and specifically in web search systems and applications that generate overviews of search results - LLM Overview systems. Such systems are using an LLM to select most relevant sources from search results and generate an answer to the user's query. It is known from many studies that LLMs have different biases, in LLM Overview application both the source selection and answer generation stages may be affected by the biases of LLMs (here we are focusing mainly on the selection stage). This research is focused on investigating the presence of the biases in LLM Overview systems and on biases exploitation to manipulate LLM Overview results. Here we train a small language model using reinforcement learning to rewrite search snippets to increase their likelihood of being preferred by an LLM Overview. Our experimental setup intentionally restricts the policy to operate only on snippets and limits reward-hacking strategies, reflecting realistic constraints of web search environments. The results prove that LLM Overview systems have biases and that reinforcement learning in most of the cases can optimize snippet's content to manipulate LLM Overview results. We also prove that LLM Overview selections are driven by comparative rather than absolute advantages among candidate sources. In addition, we examine safety aspects of LLM Overview manipulation possibilities and show that context poisoning attacks can lead to inaccurate or harmful results.
• Abstract（参考訳）: 現代の大規模言語モデル(LLM)は、一般に多くのビジネスアプリケーション、特に検索結果の概要を生成するWeb検索システムやアプリケーションで使われている。 このようなシステムは、LLMを使用して検索結果から最も関連性の高いソースを選択し、ユーザのクエリに対する回答を生成する。 多くの研究から、LLMは異なるバイアスを持つことが知られているが、LLM概要アプリケーションでは、ソース選択と回答生成段階の両方がLLMのバイアスに影響される可能性がある(ここでは、主に選択段階に焦点を当てている)。 本研究は, LLM概要システムにおけるバイアスの存在と, LLM概要結果を操作するためのバイアス利用について検討する。 ここでは、強化学習を用いて小さな言語モデルを訓練し、検索スニペットを書き換え、LLM概要で好まれる可能性を高める。 実験では,スニペットのみを運用する方針を意図的に制限し,Web検索環境の現実的な制約を反映して報酬獲得戦略を制限している。 その結果、LLM概要システムにはバイアスがあり、ほとんどの場合、強化学習はスニペットのコンテンツを最適化してLLM概要を操作できることが証明された。 また、LLM概要選択は、候補ソース間の絶対的な優位性よりも、比較によって駆動されることを示す。 さらに, LLM概要操作の可能性の安全性について検討し, 文脈汚染攻撃が不正確あるいは有害な結果をもたらすことを示す。

関連論文リスト

• LLM-Specific Utility: A New Perspective for Retrieval-Augmented Generation [110.610512800947]
  Retrieval-augmented Generation (RAG)は、外部知識を取り入れた大規模言語モデル(LLM)を強化する。 既存の研究はしばしばユーティリティをジェネリック属性として扱い、異なるLLMが同じ通路から異なる利益をもたらすという事実を無視している。
  論文  参考訳（メタデータ） (2025-10-13T12:57:45Z)
• Neural Bandit Based Optimal LLM Selection for a Pipeline of Tasks [11.389019661082415]
  本稿では,各サブタスク上でLLMの成功をオンラインにモデル化するニューラルネットワークをトレーニングするニューラルネットワークのコンテキスト帯域ベースアルゴリズムを提案する。 通信質問応答と診断予測データセットの実験から,提案手法の有効性が示唆された。
  論文  参考訳（メタデータ） (2025-08-13T17:19:41Z)
• LLM4VV: Evaluating Cutting-Edge LLMs for Generation and Evaluation of Directive-Based Parallel Programming Model Compiler Tests [7.6818904666624395]
  本稿では,コンパイラテストの生成にLLMを用いたデュアルLLMシステムと実験について述べる。 LLMは、品質の高いコンパイラテストを生成し、それらを自動的に検証する有望な可能性を持っていることは明らかである。
  論文  参考訳（メタデータ） (2025-07-29T02:34:28Z)
• Rankers, Judges, and Assistants: Towards Understanding the Interplay of LLMs in Information Retrieval Evaluation [44.58099275559231]
  大規模言語モデル(LLM)は、情報検索(IR)、ランキング、評価、AI支援コンテンツ作成にますます不可欠なものになっている。 本稿では,既存の研究を合成し,LLMに基づくローダとアシスタントがLLMベースの審査員にどのように影響するかを探求する新しい実験設計を提案する。
  論文  参考訳（メタデータ） (2025-03-24T19:24:40Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• Survey on Factuality in Large Language Models: Knowledge, Retrieval and Domain-Specificity [61.54815512469125]
  本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。 LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
  論文  参考訳（メタデータ） (2023-10-11T14:18:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。