論文の概要: Does the Citation Matter? Quality, Grounding, and Physician-Rubric Accuracy of Google's AI Overviews for Medical Information

• arxiv url: http://arxiv.org/abs/2610.39339v1
• Date: Thu, 29 Oct 2026 04:31:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-03 00:11:40.027958
• Title: Does the Citation Matter? Quality, Grounding, and Physician-Rubric Accuracy of Google's AI Overviews for Medical Information
• Title（参考訳）: クエンテーションは重要か? Googleの医療情報に関するAI概要の質, 接地, 理工学的精度
• Abstract要約: GoogleのAI概要(AIOs)は、ユーザがWebを検索する際に最初に遭遇する結果である。 これは、Googleの伝統的なアルゴリズムが品質ソースを優先するように設計されていることを考えると、健康情報にとって特に重要かもしれない。 私たちは3,611の健康問題を評価し、各AIOを、ソースの選択と品質に関する従来の5つの結果と比較しました。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Google's AI Overviews (AIOs) are the first result users encounter when searching the web, shifting the work of selecting and evaluating sources from the user to Gemini. This may be especially consequential for health information, given that Google's traditional algorithm was designed to prioritize quality sources, and inaccurate information carries health risks. We evaluated 3,611 benchmark health questions, comparing each AIO against that question's top five traditional results on source selection and quality. We also evaluated the AIOs' statement grounding in their cited sources and how accurate AIOs were against physician-written rubrics. Overviews appeared for 96.4% of questions but drew on substantially different evidence than traditional search: only 44.4% of the top five results were cited by the corresponding AIO, which instead overrepresented commercial health publishers (e.g., WebMD, Healthline) at the expense of academic and government sources (e.g., Cleveland Clinic, National Health Service). AIO-cited pages scored lower than traditional results on four of six well-established credibility criteria. The grounding of AIO statements to their sources was poor: after correcting for classifier error, an estimated 56.7% of cited statements were supported by their cited page, and a further 20.8% of all statements were factual claims with no citation at all. When AIOs were graded against physicians' rubrics, they earned 38.2% of all available points (e.g., accuracy 54.2%, completeness 21.6%), and among the subset of AIOs whose physician rubric anticipated a specific inaccurate or potentially harmful claim, 22.2% of AIOs contained the harmful content. Notably, the accuracy of AIOs was unrelated to the grounding of their statements. We recommend AIO literacy interventions for users and holding AIOs at least to Google's own health-ranking standards.
• Abstract（参考訳）: GoogleのAI Overviews(AIOs)は、ユーザがWebを検索する際に遭遇した最初の結果であり、ユーザからGeminiへのソースの選択と評価作業のシフトである。 これは、Googleの伝統的なアルゴリズムが品質ソースを優先するよう設計されており、不正確な情報が健康リスクをもたらすことを考えると、特に健康情報にとって適切かもしれない。 私たちは3,611の健康問題を評価し、各AIOを、ソースの選択と品質に関する従来の5つの結果と比較しました。 また, 引用資料に基づくAIOの主張と, 医師による筆跡に対するAIOの正当性についても検討した。 調査の結果は96.4%に上ったが、従来の検索とはかなり異なる証拠に基づいており、上位5つの結果のうち44.4%は、学術機関や政府機関(クリーブランド・クリニック、国民保健サービスなど)を犠牲にして、商業保健機関(WebMD、Healthlineなど)を圧倒したAIOによって引用された。 AIO-cited pages は,信頼性基準が確立された6項目のうち4項目において,従来の結果よりも低かった。 分類器エラーの修正後、引用文の56.7%が引用ページに支持され、さらに20.8%が引用なしの事実的主張であった。 AIOが医師のルーリックに対して格付けされたとき、彼らは利用可能な全てのポイント(例えば、54.2%、完全性21.6%)の38.2%を獲得し、医師のルーリックが特定の不正確または有害なクレームを予測していたAIOのサブセットのうち、22.2%が有害な内容を含んでいた。 特に、AIOの精度は、彼らの主張の根拠とは無関係であった。 ユーザに対してAIOリテラシーの介入を推奨し、少なくともGoogle自身の健康基準にAIOを保持することを推奨します。

関連論文リスト

• Bringing analytic rigor to agentic AI for science: The Brain Researcher platform for neuroimaging data analysis [59.44063760362954]
  本稿では、神経イメージング研究者の計算環境で動作するエージェントリサーチハーネスであるBrain Researcherを紹介する。 ベンチマークでは、Brain Researcherは7つのモデルで第1選択ツールの選択精度を70.2ポイント向上させた。 共同研究と自己進化研究において、多元的分析によって分析選択感度が明らかにされ、科学的レビューでは、承認された、認定された、修正された、ブロックされた、拒否された、または延期された。
  論文  参考訳（メタデータ） (2026-08-20T11:13:27Z)
• Measuring Epistemic Resilience of LLMs Under Misleading Medical Context [47.20527783144983]
  大規模言語モデル(LLMs)は、医療ライセンス試験のエキスパートレベルスコアに到達した。 誤解を招く文脈が LLM が元来正しく答える質問に注入されると、彼らは正しい答えを放棄する。 本研究は, 逆行性てんかんのレジリエンス下での正しい判断を維持できる能力と, 測定にMedMisBenchを導入している。
  論文  参考訳（メタデータ） (2026-06-10T16:27:26Z)
• Measuring Google AI Overviews: Activation, Source Quality, Claim Fidelity, and Publisher Impact [10.145178533574695]
  Google AI Overviews(AIOs)は間違いなく、生成AIの最も広く普及しているデプロイメントであり、AIが生成した回答に気づかない20億人のユーザにリーチしている。 2026年3月13日から4月21日にかけて,40日間の窓越しに,19の話題カテゴリーに55,393のトレンドクエリを発行した。 まず、AIOアクティベーションは13.7%、質問形式のクエリでは64.7%、政治的に敏感なトピックは著しく低い。
  論文  参考訳（メタデータ） (2026-05-13T18:34:39Z)
• Authority Signals in Claude AI Health Citations: A Descriptive Analysis Using the Authority Signals Framework [0.0]
  この調査は、Google Researchが収集した3,172の消費者健康問題を含むHealthSearchQAのデータを使用した。 全引用の97.8%を 機関が占めている 医療機関は最も多く引用される組織タイプ(36.5%)で、続いて政府資源(31.6%)と専門協会(28.4%)が続いた。 上位10団体は全引用の57.8%を占め、メイヨー・クリニックは24.7%だった。
  論文  参考訳（メタデータ） (2026-04-17T16:32:39Z)
• PanCanBench: A Comprehensive Benchmark for Evaluating Large Language Models in Pancreatic Oncology [48.732366302949515]
  大規模言語モデル(LLM)は、標準化された検査において専門家レベルの性能を達成したが、複数の選択精度は現実の臨床的有用性や安全性を十分に反映していない。 我々は、未確認患者の質問に対して、専門家のルーブリックを作成するための、ループ内人間パイプラインを開発した。 LLM-as-a-judge フレームワークを用いて,22のプロプライエタリおよびオープンソース LLM の評価を行い,臨床完全性,事実精度,Web-search 統合について検討した。
  論文  参考訳（メタデータ） (2026-03-02T00:50:39Z)
• Authority Signals in AI Cited Health Sources: A Framework for Evaluating Source Credibility in ChatGPT Responses [0.0]
  この調査は、Google Researchが収集した3,173の消費者健康質問を含むHealthSearchQAから、ランダムに100の質問を選択した。 これらの質問はChatGPT 5.2 Proに入力され、オーソリティ・シグナル・フレームワークの4つのドメインのレンズを通して引用されたソースを記録し、コーディングした。 ChatGPTの健康に起因した回答の75%以上は、メイヨー・クリニック、クリーブランド・クリニック、ウィキペディア、ナショナル・ヘルス・サービスなど、確立された機関からのものだった。
  論文  参考訳（メタデータ） (2026-01-23T17:44:36Z)
• Auditing Google's AI Overviews and Featured Snippets: A Case Study on Baby Care and Pregnancy [40.70211065225768]
  Google Search、AI Overviews(AIO)やFeatured Snippets(FS)などの機能を通じてAI生成コンテンツのサーフェスを強化 本稿では, 実際の乳児ケアと妊娠関連クエリの体系的アルゴリズム監査により, これらの情報表示の品質と一貫性を評価する。 その結果, AIO と FS の情報を同一検索結果ページ上に表示した場合, 33% のケースで相互に一致しない情報一貫性の欠如が明らかとなった。
  論文  参考訳（メタデータ） (2025-11-17T03:16:36Z)
• Quantifying Self-diagnostic Atomic Knowledge in Chinese Medical Foundation Model: A Computational Analysis [55.742339781494046]
  ファンデーションモデル(FM)は、直接的で効率的な提案を提供することで、ユーザーが検索エンジンを通して自己診断する方法に革命をもたらす可能性がある。 近年の研究では、GPT-4で評価されたFMの品質や、医学試験に合格する能力に焦点が当てられている。 FMの記憶に蓄えられた自己診断的原子知識の程度を定量化する研究はない。
  論文  参考訳（メタデータ） (2023-10-18T05:42:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。