論文の概要: Authority, Truth, and Citation Bias: A Large-Scale Multi-Domain Benchmark for Studying Epistemic Susceptibility in Large Language Models

• arxiv url: http://arxiv.org/abs/2606.13104v1
• Date: Thu, 11 Jun 2026 09:33:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.698177
• Title: Authority, Truth, and Citation Bias: A Large-Scale Multi-Domain Benchmark for Studying Epistemic Susceptibility in Large Language Models
• Title（参考訳）: オーソリティ・トゥルース・サイテーションバイアス:大規模言語モデルにおける疫学感受性研究のための大規模マルチドメインベンチマーク
• Authors: Aryan Khurana, Aravind Ramana RN, Dhruv Kumar,
• Abstract要約: AuthorityBenchは、220,564 プロンプトのベンチマークで、引用ベースの権威が LLM の振る舞いにどのように影響するかを分離する。 我々は,非引用ベースラインに対して,非引用ベースラインに対する幻覚率を常に増加させることを発見した。 生成した引用が真理クレームを伴い、幻覚率が3～22ポイント上昇し、一般知識領域で35～77%に達すると最も効果が高い。
• 参考スコア（独自算出の注目度）: 1.3986052226424095
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are increasingly deployed in citation-augmented settings, yet the effect of citation presence on model behavior independent of factual content remains poorly understood. We introduce AuthorityBench, a 220,564-prompt multi-domain benchmark that isolates how citation-based authority signals influence epistemic behavior in LLMs. The benchmark uses a fully balanced 2x2 factorial design crossing claim veracity with citation veracity, the first to do so, across four domains (general knowledge, science, law, and medicine), with controlled variation over 40 prompt templates, four venue prestige tiers, and a country-coded author name dataset. Evaluating seven models on 12 structured research questions, we find that citation presence, whether real or fabricated, consistently increases hallucination rates relative to a no-citation baseline. The effect is strongest when fabricated citations accompany true claims, raising hallucination rates by 3 to 22 percentage points and reaching 35 to 77% in the general knowledge domain, while legal claims are comparatively robust and venue prestige and author demographics show negligible impact. All datasets and evaluation code are available at: https://github.com/floating-reeds/AuthorityBench
• Abstract（参考訳）: 大規模な言語モデルは、引用強化された設定でますます展開されているが、実際の内容に依存しないモデル行動に対する引用の存在の影響は、まだよく分かっていない。 本稿では,220,564 のマルチベンチマークである AuthorityBench を紹介する。 このベンチマークでは、4つのドメイン(一般知識、科学、法律、医学)にまたがる、完全なバランスの取れた2x2因子設計のクレームのクレームのクレームのクレームの正確性を使用し、40以上のプロンプトテンプレート、4つの会場のオーソリティレベル、および国コードで書かれた著者名データセットが制御されている。 12の構造化された研究質問に対する7つのモデルを評価すると、実数か製法かは問わず、非引用ベースラインに対する幻覚率を一貫して増加させることが分かる。 この効果は、創作された引用が真の主張を伴い、幻覚率が3～22ポイント上昇し、一般知識領域で35～77%に達するのに対して、法的な主張は比較的堅牢であり、会場の権威と著者の人口層は無視できる影響を示している。 すべてのデータセットと評価コードは、https://github.com/floating-reeds/AuthorityBenchで利用可能です。

関連論文リスト

• Verified Misguidance: Measuring Structural Citation Failures in Search-Augmented LLMs [8.721564756242431]
  CITETRACEは、ユーザクエリから取得したソースから生成された回答まで、完全な引用チェーンをトレースするデータセットである。 我々は,意図的アライメント,ソース適合性,回答ソースの忠実度に基づいて各引用をスコアする3次元評価フレームワークを設計する。 プールの向こう側では、引用の30.6%がソースを歪めており、27.1%はドメイン不適切なソースから来ている。
  論文  参考訳（メタデータ） (2026-05-27T14:54:05Z)
• Are Finer Citations Always Better? Rethinking Granularity for Attributed Generation [75.27453112832093]
  その結果, 微粒化は, 最も優れた粒度に比べて, 属性品質を16～276%低下させることがわかった。 分析の結果,詳細な(文レベルの)引用は,主張に答えるために証拠を帰属させるために必要な意味的依存関係を阻害することがわかった。 厳密には、引用-最適粒度は、回答の正しさを保ったり改善したりしながら、帰属品質を大幅に向上させる。
  論文  参考訳（メタデータ） (2026-04-01T22:16:23Z)
• CRISP: Characterizing Relative Impact of Scholarly Publications [70.25915589244961]
  本稿では,大規模言語モデル(LLM)を用いた引用論文の中で,引用論文の全てを共同でランク付けするCRISPを提案する。 LLMの位置バイアスを軽減するために、ランダムな順序で各リストを3回ランク付けし、多数決によって影響ラベルを集約する。 CRISPは従来の最先端の衝撃分類器の精度を+9.5%、F1を+8.3%で上回っている。
  論文  参考訳（メタデータ） (2026-03-25T16:42:30Z)
• Do Deployment Constraints Make LLMs Hallucinate Citations? An Empirical Study across Four Models and Five Prompting Regimes [16.12060986892916]
  クローズド・ブック・セッティングにおいて,配置動機による制約が引用の妥当性にどのように影響するかを検討する。 17,443個の励起が生成され、0.475の励起レベルを超えるモデルはない。
  論文  参考訳（メタデータ） (2026-03-07T17:14:05Z)
• CiteAudit: You Cited It, But Did You Read It? A Benchmark for Verifying Scientific References in the LLM Era [51.63024682584688]
  大規模言語モデル (LLM) は新たなリスクを導入している。 本稿では,科学文献における幻覚的引用のための総合的なベンチマークおよび検出フレームワークについて紹介する。 我々のフレームワークは、精度と解釈可能性の両方において、先行手法を著しく上回っている。
  論文  参考訳（メタデータ） (2026-02-26T19:17:39Z)
• How LLMs Cite and Why It Matters: A Cross-Model Audit of Reference Fabrication in AI-Assisted Academic Writing and Methods to Detect Phantom Citations [1.0829694003408499]
  大規模言語モデル(LLM)は、学術的な引用を作るために注目されているが、この振る舞いの範囲はいまだに定量化されていない。 これまでに,4つの学術領域に10のLLMを商業展開させた,最も大きな幻覚誘発検査の1つを報告した。 以上の結果から,観察された幻覚率は5倍の範囲(11.4%から56.8%)で,モデル,ドメイン,迅速なフレーミングによって強く形成されていることが明らかとなった。
  論文  参考訳（メタデータ） (2026-02-07T00:14:00Z)
• GhostCite: A Large-Scale Analysis of Citation Validity in the Age of Large Language Models [22.147294042024836]
  キュテーションは科学的主張を信頼する基盤を提供するが、それらが無効または製造された場合、この信頼は崩壊する。 LLM(Large Language Models)の出現により、このリスクは増大した。 我々は大規模な引用検証のためのオープンソースのフレームワークであるCiteVerifierを開発した。
  論文  参考訳（メタデータ） (2026-02-06T14:08:34Z)
• Hallucinate or Memorize? The Two Sides of Probabilistic Learning in Large Language Models [0.0]
  大規模言語モデル(LLM)は、自然言語理解からコード生成に至るまで、幅広いタスクにますます適用されてきた。 引用の推薦にも使われてきたが、現存しない論文の幻覚は依然として大きな問題である。 この研究は、LLMがレコードを正しく生成する能力は、基礎となる知識が生成されるか記憶されるかに依存すると仮定する。
  論文  参考訳（メタデータ） (2025-11-12T01:29:12Z)
• Distortions in Judged Spatial Relations in Large Language Models [45.875801135769585]
  GPT-4は55%の精度で優れた性能を示し、GPT-3.5は47%、Llama-2は45%であった。 モデルは、ほとんどの場合において最も近い基数方向を同定し、その連想学習機構を反映した。
  論文  参考訳（メタデータ） (2024-01-08T20:08:04Z)
• FactCHD: Benchmarking Fact-Conflicting Hallucination Detection [64.4610684475899]
  FactCHD は LLM からファクトコンフリクトの幻覚を検出するために設計されたベンチマークである。 FactCHDは、バニラ、マルチホップ、比較、セット操作など、さまざまな事実パターンにまたがる多様なデータセットを備えている。 Llama2 に基づくツール強化 ChatGPT と LoRA-tuning による反射的考察を合成する Truth-Triangulator を提案する。
  論文  参考訳（メタデータ） (2023-10-18T16:27:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。