論文の概要: MillStone: How Open-Minded Are LLMs?

• arxiv url: http://arxiv.org/abs/2509.11967v1
• Date: Mon, 15 Sep 2025 14:18:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-16 17:26:23.334896
• Title: MillStone: How Open-Minded Are LLMs?
• Title（参考訳）: MillStone: LLMはどの程度オープンなのでしょうか?
• Authors: Harold Triedman, Vitaly Shmatikov,
• Abstract要約: Web検索や情報検索,その他のエージェント機能を備えた大規模言語モデルが,従来の検索エンジンに取って代わり始めている。 我々は、LLMが議論の的になっている問題に対して外部の議論が与える影響を体系的に測定することを目的とした最初のベンチマークであるMillStoneを紹介する。
• 参考スコア（独自算出の注目度）: 8.349679378026027
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models equipped with Web search, information retrieval tools, and other agentic capabilities are beginning to supplant traditional search engines. As users start to rely on LLMs for information on many topics, including controversial and debatable issues, it is important to understand how the stances and opinions expressed in LLM outputs are influenced by the documents they use as their information sources. In this paper, we present MillStone, the first benchmark that aims to systematically measure the effect of external arguments on the stances that LLMs take on controversial issues (not all of them political). We apply MillStone to nine leading LLMs and measure how ``open-minded'' they are to arguments supporting opposite sides of these issues, whether different LLMs agree with each other, which arguments LLMs find most persuasive, and whether these arguments are the same for different LLMs. In general, we find that LLMs are open-minded on most issues. An authoritative source of information can easily sway an LLM's stance, highlighting the importance of source selection and the risk that LLM-based information retrieval and search systems can be manipulated.
• Abstract（参考訳）: Web検索や情報検索,その他のエージェント機能を備えた大規模言語モデルが,従来の検索エンジンに取って代わり始めている。 議論を呼んだり、議論を呼んだり、議論を呼んだりする問題など、多くの話題の情報をLCMに頼り始める中で、LCM出力で表現される姿勢や意見が、情報ソースとして使用する文書にどのように影響されるかを理解することが重要である。 本稿では、LLMが議論を呼んでいる問題(全て政治的ではない)に対する姿勢に対する外部論証の効果を体系的に測定することを目的とした最初のベンチマークであるMillStoneについて述べる。 我々は、MillStone を9つの主要な LLM に適用し、これらの問題と異なる LLM が互いに一致しているかどうか、どの LLM が最も説得力があるか、そしてこれらの議論が異なる LLM に対して同じであるかどうかを測る。 一般的に、LLMはほとんどの問題に対してオープンな意識を持っている。 信頼性のある情報ソースは、LLMの姿勢を容易に妨げ、ソース選択の重要性とLLMベースの情報検索と検索システムを操作するリスクを強調している。

関連論文リスト

• LLM-Generated Black-box Explanations Can Be Adversarially Helpful [16.49758711633611]
  大規模言語モデル(LLM)は,デジタルアシスタントとして機能することで,複雑な問題の解決と理解を支援する。 私たちの研究は、このアプローチに結びついている隠れたリスクを明らかにします。 LLMの説明が間違った答えを正しく見せると、これは起こります。
  論文  参考訳（メタデータ） (2024-05-10T20:23:46Z)
• When Do LLMs Need Retrieval Augmentation? Mitigating LLMs' Overconfidence Helps Retrieval Augmentation [66.01754585188739]
  大規模言語モデル(LLM)は、特定の知識を持っていないことを知るのが困難であることが判明した。 Retrieval Augmentation (RA)はLLMの幻覚を緩和するために広く研究されている。 本稿では,LLMの知識境界に対する認識を高めるためのいくつかの手法を提案する。
  論文  参考訳（メタデータ） (2024-02-18T04:57:19Z)
• Combating Misinformation in the Age of LLMs: Opportunities and Challenges [21.712051537924136]
  LLM(Large Language Models)の出現は、誤情報と戦う環境を再構築する大きな可能性を秘めている。 一方、LLMは、その深い世界知識と強力な推論能力のために、誤情報と戦うための有望な機会をもたらす。 一方,LLMは大規模に誤情報を生成するために容易に活用できるという点が重要な課題である。
  論文  参考訳（メタデータ） (2023-11-09T00:05:27Z)
• Survey on Factuality in Large Language Models: Knowledge, Retrieval and Domain-Specificity [61.54815512469125]
  本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。 LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
  論文  参考訳（メタデータ） (2023-10-11T14:18:03Z)
• Investigating Answerability of LLMs for Long-Form Question Answering [35.41413072729483]
  実用的で影響力のある応用がいくつかあるので、長文質問応答(LFQA)に焦点を当てる。 本稿では,要約の要約から質問生成手法を提案し,長い文書の要約からフォローアップ質問を生成することで,困難な設定を実現できることを示す。
  論文  参考訳（メタデータ） (2023-09-15T07:22:56Z)
• Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
  大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。 検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。 本稿では,文書を動的に活用するための簡易な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T16:46:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。