論文の概要: Confirming Our Biases? Evaluating the Capabilities, Risks, and Societal Impact of Large Language Models

• arxiv url: http://arxiv.org/abs/2608.06977v1
• Date: Fri, 07 Aug 2026 08:54:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.424353
• Title: Confirming Our Biases? Evaluating the Capabilities, Risks, and Societal Impact of Large Language Models
• Title（参考訳）: バイアスの確認 : 大規模言語モデルの能力・リスク・社会的影響の評価
• Abstract要約: 本研究は,大規模言語モデルが,プロンプトで表されるユーザのバイアスをいかに強化するかを考察する。 我々は、モデルが特定のポジションをサポートすることや、挑戦することを奨励する直接的かつ示唆的なプロンプトに対して、LLMがいかに影響を受けやすいかを評価する。
• 参考スコア（独自算出の注目度）: 5.5881263948644175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is well established that large language models (LLMs) are sensitive to prompt framing, reflecting patterns in their training data or prior prompts. In this study, we investigate the extent to which LLMs reinforce users biases expressed in the prompts and examine the boundary between implicit framing effects and explicit prompt manipulation. Specifically, we evaluate how susceptible LLMs are to direct and suggestive prompts that encourage models to support or challenge particular positions. We evaluate six LLMs using 160 distinct prompts spanning ten topics across opinion-based and factual domains. The prompts systematically vary in prompting strategy, support versus challenge instructions, prompt polarity, users' expressed beliefs, and topic domain, spanning both opinion-based and factual questions. Our results show that LLMs systematically adapt their responses to align with prompt framing, even in factual contexts. This suggests that prompt framing can outweigh factual consistency in model responses. Overall, our findings delineate the extent and boundaries of LLM manipulability. Furthermore, the results imply that LLMs can reinforce subtle user biases and are susceptible to explicit prompt manipulation even in domains where responses should remain factually stable.
• Abstract（参考訳）: 大規模言語モデル(LLM)がフレーミングの促進に敏感であること、トレーニングデータや事前のプロンプトのパターンを反映していることがよく確認されている。 本研究では,LLMがプロンプトで表されるユーザのバイアスを強化する程度について検討し,暗黙のフレーミング効果と明示的なプロンプト操作の境界について検討する。 具体的には、モデルが特定の位置のサポートや挑戦を奨励する直接的かつ示唆的なプロンプトに対して、LLMがいかに影響を受けやすいかを評価する。 160個の異なるプロンプトを用いて6個のLSMを評価し,10個のトピックを意見ベースドメインと事実ドメインに分けて評価した。 プロンプトは、戦略、サポート対課題指示、即ち極性、ユーザの表現された信念、トピックドメインにおいて体系的に異なり、意見に基づく質問と事実に基づく質問の両方にまたがる。 以上の結果から, LLMは, 現実の文脈においても, 迅速なフレーミングと整合する応答を体系的に適応することが示唆された。 これは、迅速なフレーミングがモデル応答における事実整合性を上回る可能性があることを示唆している。 総じて, LLMマニピュラビリティの程度と限界について検討した。 さらに, LLMはユーザの微妙なバイアスを強くし, 応答が事実上安定な領域であっても, 明示的なプロンプト操作の可能性が示唆された。

関連論文リスト

• Not What, But How: A Framework for Auditing LLM Responses across Positioning, Generalization, Anthromorphism, and Maxims [54.31707479192195]
  大規模言語モデル(LLM)は、主観的、情報探索的な疑問に答えるためにますます使われている。 既存の主観的文化的クエリの評価は、応答のフレーム化を無視して、事実の正しさに重点を置いている。 FRANZ(FRAmework for respoNse characteriZation)を導入し、4次元のLLM応答のコミュニケーション監査を行う。
  論文  参考訳（メタデータ） (2026-06-01T17:01:31Z)
• An Analysis of Large Language Models for Simulating User Responses in Surveys [8.614942349812429]
  ユーザ意見をシミュレートするためにLarge Language Modelsを使用することが注目されている。 LLMは、支配的な視点に対する偏見を示すことで知られており、多様な人口統計学的、文化的背景からユーザーを表現する能力に対する懸念を提起している。
  論文  参考訳（メタデータ） (2025-12-07T15:03:09Z)
• Flaw or Artifact? Rethinking Prompt Sensitivity in Evaluating LLMs [34.51801559719707]
  ハイプロンプト感度は、大規模言語モデルのコアリミットとして広く受け入れられている。 広く報告されているハイプロンプト感度は、本当にLLMの本質的な弱点なのか、それとも、主に評価プロセスの成果物なのか? 即発感度の多くは,ログライクなスコアリングや厳密な回答マッチングなど,評価手法に起因していることがわかった。
  論文  参考訳（メタデータ） (2025-09-01T21:38:28Z)
• Beyond Prompt-Induced Lies: Investigating LLM Deception on Benign Prompts [79.1081247754018]
  大規模言語モデル(LLM)は、推論、計画、意思決定のタスクに広くデプロイされている。 そこで我々は, 接触探索質問(CSQ)に基づく枠組みを提案し, 騙しの可能性を定量化する。
  論文  参考訳（メタデータ） (2025-08-08T14:46:35Z)
• Fostering Appropriate Reliance on Large Language Models: The Role of Explanations, Sources, and Inconsistencies [66.30619782227173]
  大規模言語モデル(LLMs)は、流動的で説得力のある誤った応答を生成することができる。 ユーザの信頼を形作るLCM応答のいくつかの特徴を同定する。 説明は正しい応答と誤応答の両方に依存することが判明した。 情報源が提供された場合や説明が矛盾している場合の誤った応答への依存度は低い。
  論文  参考訳（メタデータ） (2025-02-12T16:35:41Z)
• Do LLMs Understand Ambiguity in Text? A Case Study in Open-world Question Answering [15.342415325821063]
  自然言語の曖昧さは、オープンドメインの質問応答に使用される大規模言語モデル(LLM)に重大な課題をもたらす。 我々は,明示的曖昧化戦略の効果を計測することに集中して,市販のLLM性能と数発のLLM性能を比較した。 本研究では, 難解な問合せタスクにおいて, LLM性能を向上させるために, 簡単な, トレーニング不要, トークンレベルの曖昧さを効果的に活用できることを実証する。
  論文  参考訳（メタデータ） (2024-11-19T10:27:26Z)
• Self-Instructed Derived Prompt Generation Meets In-Context Learning: Unlocking New Potential of Black-Box LLMs [30.333277284839053]
  大規模言語モデル(LLM)は、高品質な応答を生成することに成功している。 応答品質を向上させる既存の方法は、しばしば即時改善モデルを含む。 我々は、LLMにより効果的な応答を提供するための自己指示型インコンテキスト学習フレームワークを導入する。
  論文  参考訳（メタデータ） (2024-09-03T02:42:39Z)
• Understanding the Relationship between Prompts and Response Uncertainty in Large Language Models [55.332004960574004]
  大規模言語モデル(LLM)は意思決定に広く使用されているが、特に医療などの重要なタスクにおける信頼性は十分に確立されていない。 本稿では,LSMが生成する応答の不確実性が,入力プロンプトで提供される情報とどのように関連しているかを検討する。 本稿では,LLMが応答を生成する方法を説明し,プロンプトと応答の不確実性の関係を理解するためのプロンプト応答の概念モデルを提案する。
  論文  参考訳（メタデータ） (2024-07-20T11:19:58Z)
• Assessing the Reliability of Large Language Model Knowledge [78.38870272050106]
  大規模言語モデル(LLM)は、知識探索タスクにおける高い性能のため、知識ベースとして扱われてきた。 LLMが実際に正しい答えを連続的に生成する能力をどのように評価するか。 LLMの信頼性を直接測定するための新しい指標であるMOdel kNowledge relIabiliTy score (MONITOR)を提案する。
  論文  参考訳（メタデータ） (2023-10-15T12:40:30Z)
• Intuitive or Dependent? Investigating LLMs' Behavior Style to Conflicting Prompts [9.399159332152013]
  本研究では,Large Language Models (LLM) の動作を,内部記憶と競合するプロンプトに直面する場合の挙動について検討する。 これにより、LLMの意思決定機構を理解し、検索強化生成(RAG)のような現実世界のアプリケーションにも役立つ。
  論文  参考訳（メタデータ） (2023-09-29T17:26:03Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。