論文の概要: Quantifying Claim Smoothing by LLM Research Agents

• arxiv url: http://arxiv.org/abs/2610.35793v1
• Date: Mon, 26 Oct 2026 17:29:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.128238
• Title: Quantifying Claim Smoothing by LLM Research Agents
• Title（参考訳）: LLMリサーチエージェントによるクレーム平滑化の定量化
• Abstract要約: 大規模言語モデル (LLM) は, 確実な合成として読み取られるが, 基礎となる文書を正確に反映することができない, 長期にわたる研究報告を生成する。 多様な、潜在的に矛盾する情報源を一つの物語にまとめる際、モデルはコーパスの明らかな「ジャグネス」を捨て、引用が支持できるよりも決定的な結論を主張する。 この効果を定量化するために,クレームレベルスコアパイプラインであるSmoothScoreを導入する。
• 参考スコア（独自算出の注目度）: 37.19106011746015
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep research, or any use of large language models (LLMs) to read a large document collection and produce insights, requires synthesizing information from different sources. In this work, we find that LLMs produce long-form research reports that read as confident syntheses but which fail to accurately reflect the underlying documents. We call this failure smoothing. In collapsing diverse and potentially conflicting sources into a single narrative, the model discards the evidential "jaggedness" of its corpus and asserts conclusions more decisive than the citations can support. We introduce a claim level scoring pipeline, SmoothScore, to quantify this effect. Our pipeline extracts key conclusive claims from model generated reports, then finds evidence relevant to each claim and clusters that evidence along high level aspects. Finally, each claim is scored with respect to the evidence to quantify the degree of smoothing done by the agent. Across 7 systems and 4 datasets, we find that agents consistently produce stronger claims than warranted.
• Abstract（参考訳）: ディープリサーチ、あるいは大きなドキュメントコレクションを読み、洞察を生み出すために大きな言語モデル(LLM)を使用するには、異なるソースから情報を合成する必要がある。 本研究では, LLMは, 確実な合成と解釈されるが, 基礎となる文書を正確に反映することができない, 長期にわたる研究報告を生成する。 私たちはこの失敗をスムーズと呼ぶ。 多様な、潜在的に矛盾する情報源を一つの物語にまとめる際、モデルはコーパスの明らかな「ジャグネス」を捨て、引用が支持できるよりも決定的な結論を主張する。 この効果を定量化するために,クレームレベルスコアパイプラインであるSmoothScoreを導入する。 我々のパイプラインは、モデルが生成したレポートから重要な決定的なクレームを抽出し、ハイレベルな側面に沿って、各クレームとクラスタに関連する証拠を見つけます。 最後に、各クレームは、エージェントが行う滑らか化の度合いを定量化する証拠に関してスコアされる。 7つのシステムと4つのデータセットにまたがって、エージェントは保証されるよりも強力なクレームを常に生成している。

関連論文リスト

• Towards Verifiable Multimodal Deep Research: A Multi-Agent Harness for Interleaved Report Generation [74.0621258662676]
  レポート生成のためのマルチエージェントハーネスであるPtahを提案する。 Ptahは計画、研究、執筆段階を通じて、ユーザクエリからレンダリングされたWebレポートまでのライフサイクルを編成する。 検証エージェントがハーネスの受け入れ機能として機能し、ワークフロー全体を通して事実的接地、引用の忠実性、相互の整合性を強制する。
  論文  参考訳（メタデータ） (2026-05-28T12:40:34Z)
• DeepSciVerify: Verifying Scientific Claim--Citation Alignment via LLM-Driven Evidence Escalation [39.146761527401424]
  本稿では,科学的クレーム引用検証のための2段階パイプラインであるDeepSciVerifyを紹介する。 このシステムはまず, 要約を用いてクレームを検証し, 必要な場合にのみ全文を検索, 解析する。
  論文  参考訳（メタデータ） (2026-05-26T21:33:29Z)
• Multi-Sourced, Multi-Agent Evidence Retrieval for Fact-Checking [47.47518672198846]
  インターネット上に拡散する誤報は、社会と個人の両方に重大な脅威をもたらす。 これまでの方法は、トレーニングデータから学んだ意味的パターンと社会的コンテキスト的パターンに依存していた。 我々は、証拠のコアリソースとして認証されたオープンナレッジグラフを利用するWKGFCを提案する。
  論文  参考訳（メタデータ） (2026-02-27T19:29:01Z)
• Contradiction to Consensus: Dual Perspective, Multi Source Retrieval Based Claim Verification with Source Level Disagreement using LLM [0.17188280334580197]
  事実確認と呼ばれるクレーム検証は、潜在的な誤情報を特定するのに役立つ。 ほとんどの自動クレーム検証システムは単一の知識源に依存している。 オープンドメインのクレーム検証のための新しいシステムを提案する。
  論文  参考訳（メタデータ） (2026-02-21T02:21:31Z)
• Unstructured Evidence Attribution for Long Context Query Focused Summarization [53.08341620504465]
  固定粒度の場合よりも、より関連性が高く一貫した証拠を得るために、非構造的(すなわち任意の長さのスパン)な証拠を抽出することを提案する。 既存のシステムが、非構造的証拠をコピーし、適切に引用するのにどのように苦労しているかを示す。
  論文  参考訳（メタデータ） (2025-02-20T09:57:42Z)
• Multimodal Misinformation Detection using Large Vision-Language Models [7.505532091249881]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著なパフォーマンスを示している。 誤情報検出の一部として証拠検索を考えるアプローチはほとんどない。 マルチモーダルエビデンス検索のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-19T13:57:11Z)
• Attribute or Abstain: Large Language Models as Long Document Assistants [58.32043134560244]
  LLMは人間が長い文書を扱うのを助けることができるが、幻覚で知られている。 既存の属性に対するアプローチはRAG設定でのみ評価されている。 これは、検索が不要な長いドキュメント設定とは大きく異なるが、助けになる可能性がある。 そこで本研究では,6種類の多種多様文書タスクのベンチマークであるLABと,異なる大きさの5つのLLMに対する属性に対する異なるアプローチの実験を行う。
  論文  参考訳（メタデータ） (2024-07-10T16:16:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。