論文の概要: The Corroboration Illusion: When More News Makes LLM Forecasts Less True

• arxiv url: http://arxiv.org/abs/2609.22246v1
• Date: Sat, 05 Sep 2026 14:57:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.80326
• Title: The Corroboration Illusion: When More News Makes LLM Forecasts Less True
• Title（参考訳）: LLMの予測を下方修正するニュースが増えているとき
• Abstract要約: 大規模言語モデル(LLM)は、ニュースを検索し、推論することで、現実世界の出来事を予測するのにますます使われている。 オープンでクロール可能なニュースコーパスへのこの依存は、新たな攻撃面を生み出す。 我々は、RAG中毒と異なる脅威モデルである確率予測器のニューズコーパス中毒を定式化した。
• 参考スコア（独自算出の注目度）: 3.1793612304119847
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly used to forecast real-world events by retrieving and reasoning over news. We show that this dependence on an open, crawlable news corpus creates a new attack surface: an adversary who can merely publish articles--without access to the retriever, the model, or the user's queries--can systematically move the forecaster's output probabilities. We formalize news-corpus poisoning of probabilistic forecasters, a threat model distinct from prior RAG poisoning, which targets factual answers or opinion polarity rather than calibrated probabilities. We evaluate the attack on 500 resolved ForecastBench questions against a 17.4M-article Common Crawl News corpus with a strict crawl-date cutoff, using three retrieval-augmented forecasters built on open 7-8B models. A single LLM-written article per question flips 56% of forecasts across the 0.5 boundary; five articles flip 69-73% and shift probabilities by +0.13 to +0.22 net of a neutral-article placebo, degrading the Brier score from 0.18 to 0.37. The effect is monotone in the number, retrieval rank, query similarity, and context share of injected articles, transfers across model families, and is unaffected by the claimed publisher. We then evaluate three natural defenses--source allow-lists, isolate-then-aggregate forecasting, and perplexity filtering--and show that each has a cheap bypass: spoofed publishers, majority poisoning, and higher-temperature generation, respectively. Our results indicate that probabilistic LLM judgments inherit the full fragility of the information supply chain they consume.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ニュースを検索し、推論することで、現実世界の出来事を予測するのにますます使われている。 オープンでクロール可能なニュースコーパスへのこの依存は,検索者やモデル,あるいはユーザのクエリにアクセスせずに,単に記事を公開することができる敵が,予測者の出力確率を体系的に移動させるという,新たなアタックサーフェスを生成することを示す。 我々は,確率予測器のニューズコーパス中毒を定式化した。これはRAG中毒とは別個の脅威モデルであり,キャリブレーションされた確率ではなく,現実的な回答や意見の極性をターゲットにしている。 我々は,オープンな7-8Bモデル上に構築された3つの検索強化予測器を用いて,500件のForecastBench質問に対する17.4M-Article Common Crawl Newsコーパスに対する攻撃を厳格なクロールタイム・カットオフで評価した。 0.5境界で予測の56%を覆い、5つの記事は69-73%を覆い、5つの記事は中性アーティクルのプラセボの+0.13から+0.22ネットにシフトし、ブライアのスコアは0.18から0.37に低下する。 この効果は、インジェクトされた記事の数、検索ランク、クエリ類似性、コンテキスト共有における単調であり、モデルファミリ間での転送であり、請求されたパブリッシャの影響を受けない。 次に、ソース・オプトリスト、アイソレーション・アグリゲート・予測、パープレキシティ・フィルタリングの3つの自然防御効果を評価し、それぞれが安価なバイパス手段を持っていることを示す。 以上の結果から, 確率的LCM判定は, 消費する情報供給チェーンの完全な脆弱性を引き継ぐことが示唆された。

関連論文リスト

• RAP: Research Attention Prediction Reveals Target-Conditioned Evidence Acquisition Biases [58.92094935632493]
  大規模言語モデル(LLM)は研究エージェントとしての役割がますます高まっているが、研究の関心の変化を追跡する能力は評価が難しい。 278のAI/MLフィールドと1,390のエピソードをカバーするローリングベンチマークであるResearch Attention Prediction (RAP)を紹介する。 それぞれのカットオフで、LLMエージェントは時間的に制限されたarXivコーパスを検索し、次の6ヶ月の論文の共有を8つの凍った研究方向にわたって予測する。
  論文  参考訳（メタデータ） (2026-09-09T12:15:14Z)
• Consistent but Miscalibrated: Evaluating LLM Limitations for Risk Communication in Natural Language [15.221434185896541]
  9個のLCMが2段階予測パイプライン内で要求を満たすかどうかを評価する。 我々は,上流モデルからの予測を,そのモードと先行サンプルサイズによってパラメータ化されたベータ分布からサンプルを取り出すことによりシミュレートする。 LLMは概して整合性はあるが誤校正され,不確実性に対する性能は確率的タスクよりも著しく低下することがわかった。
  論文  参考訳（メタデータ） (2026-07-04T13:57:21Z)
• How reliable are LLMs when it comes to playing dice? [0.0]
  離散確率問題に対する制御ベンチマークによる大規模言語モデルの推論能力について検討する。 モデルの平均精度は標準問題では0.96であるが、直観に反するものでは0.59である。 このプロンプトに誤解を招く提案を埋め込むことで、パフォーマンスが最大34%低下し、免疫力を示すモデルが存在しない。
  論文  参考訳（メタデータ） (2026-06-05T17:59:42Z)
• Can Large Language Models Revolutionize Survey Research? Experiments with Disaster Preparedness Responses [6.004875368104112]
  大規模な言語モデル(LLM)は治療として提案されているが、完全なサーベイワークフロー全体にわたる厳密な評価はほとんど残っていない。 アンケート設計, サンプル選択, パイロットテスト, 欠落データ計算, および収集後の分析を対象とする, LLM 統合のための5段階フレームワークを提示し, 評価した。 保護モチベーション理論 (PMT) 制約付き共起知識グラフを導入し, ゼロショット推論, 検索拡張ベースライン, 新規な理論インフォームド変種にまたがる7つのLLM構成を開発する。
  論文  参考訳（メタデータ） (2026-05-19T00:58:36Z)
• Prediction-Powered Causal Inferences [59.98498488132307]
  予測型因果推論(PPCI)に焦点をあてる まず, 条件付きキャリブレーションにより, 人口レベルでの有効なPPCIが保証されることを示す。 次に、実験間での十分な表現制約伝達の妥当性を導入する。
  論文  参考訳（メタデータ） (2025-02-10T10:52:17Z)
• Eliciting Uncertainty in Chain-of-Thought to Mitigate Bias against Forecasting Harmful User Behaviors [29.892041865029803]
  会話予測タスクは、展開された会話の結果を予測するモデルである。 ソーシャルメディアのモデレーションに応用すれば、有害なユーザーの行動を予測することができる。 本稿では,潜在的なバイアスを軽減するツールとして,モデルの不確実性がどの程度有効かを検討する。
  論文  参考訳（メタデータ） (2024-10-17T15:07:53Z)
• Uncertainty is Fragile: Manipulating Uncertainty in Large Language Models [79.76293901420146]
  大規模言語モデル(LLM)は、出力の信頼性が不可欠である様々な高い領域で採用されている。 本研究では,不確実性推定の脆弱性を調査し,攻撃の可能性を探る。 攻撃者がLSMにバックドアを埋め込むことができ、入力中の特定のトリガーによって起動されると、最終的な出力に影響を与えることなくモデルの不確実性を操作できることを示す。
  論文  参考訳（メタデータ） (2024-07-15T23:41:11Z)
• Measuring the Effect of Influential Messages on Varying Personas [67.1149173905004]
  我々は、ニュースメッセージを見る際にペルソナが持つ可能性のある応答を推定するために、ニュースメディア向けのペルソナに対するレスポンス予測という新しいタスクを提示する。 提案課題は,モデルにパーソナライズを導入するだけでなく,各応答の感情極性と強度も予測する。 これにより、ペルソナの精神状態に関するより正確で包括的な推測が可能になる。
  論文  参考訳（メタデータ） (2023-05-25T21:01:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。