論文の概要: One Fabrication Is Enough: A Fake News Article Changes the Forecasts of LLM Forecasting Systems
- arxiv url: http://arxiv.org/abs/2611.15102v1
- Date: Wed, 11 Nov 2026 06:29:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.064713
- Title: One Fabrication Is Enough: A Fake News Article Changes the Forecasts of LLM Forecasting Systems
- Title(参考訳): フェイクニュース記事は、LLM予測システムの予測を変える
- Abstract要約: 本研究は, 予測質問のみを知っており, 偽ニュース記事を掲載する, この種の弱い攻撃者について検討する。
記事がモデルのコンテキストにあると、それに反対する予測の74%から82%に逆転する。
我々は,2つの最強の検索時間防衛,通過フィルタリング,分割検索を評価した。
- 参考スコア(独自算出の注目度): 6.428238071336693
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLMs are increasingly used for forecasting, and the best forecasting systems retrieve news as evidence to strengthen their predictions. This also opens them to attack. We study the weakest attacker of this kind, who knows only the forecasting question and publishes fabricated news articles, with no access to the model, the retriever or its queries. We evaluate how far this attack reaches on stock questions and real prediction-market questions. Once the article is in the model's context, it reverses 74% to 82% of the forecasts that opposed it, on every frontier model we tested. The model cannot verify the fabrication and follows it anyway. Retrieval is the attack's entry point, and the systems built to retrieve well are the most exposed: the architectures of two leading deployed forecasting systems, whose agents search for every related article, retrieve the fabricated one in about 90% of runs. Accuracy cannot reveal this harm: the attacked forecaster is right when the attacker's direction turns out right and wrong otherwise, so its average accuracy barely changes while its forecasts follow the attacker's guess. We also propose a second attacker, who publishes two articles that argue opposite directions to make the forecaster unsure. The model does not hedge; it returns a confident forecast in a direction the attacker no longer controls. We then evaluate the two strongest published retrieval-time defenses, passage filtering and partitioned retrieval. Each stops the one-article attack but is bypassed by a one-prompt change to the attack. Together they stop both bypasses at four articles, but sixteen distorted copies beat them, and they change 29% of clean decisions and discard 39% of the genuine news. Partitioned retrieval also requires control of the retrieval index. Systems that search the open web have no such control and are left with the filter alone. For them, the attack still works.
- Abstract(参考訳): LLMはますます予測に使われており、最高の予測システムは、その予測を強化する証拠としてニュースを検索する。
攻撃も可能。
我々は,予測質問のみを知っており,モデルや検索者,あるいはクエリにアクセスせずに,偽ニュース記事を公開している,この種の攻撃者について検討する。
我々は、この攻撃がどの程度株式市場の質問や実際の予測市場質問に到達したかを評価する。
記事がモデルのコンテキストにあると、私たちがテストしたすべてのフロンティアモデルにおいて、それに反対する予測の74%から82%に逆転します。
モデルは、製造を検証することができず、いずれにせよそれに従う。
Retrievalは攻撃のエントリーポイントであり、よく回収するために構築されたシステムは最も露出している: 2つの主要な展開予測システムのアーキテクチャは、エージェントが関連するすべての項目を検索し、約90%のランで製造されたものを検索する。
攻撃された予測者は、攻撃者の方向が正しく間違ったときに正しいので、その平均精度は攻撃者の予測に従っている間にほとんど変化しない。
また、第2の攻撃者を提案し、予測者を不確実にするために、反対方向を主張する2つの記事を発行する。
モデルはヘッジではなく、攻撃者がもはや制御できない方向に確実な予測を返す。
次に,2つの最強の検索時間ディフェンス,通過フィルタ,分割検索を評価した。
それぞれの攻撃は1回の攻撃を停止するが、攻撃に対する1回の攻撃で回避される。
どちらも4つの記事でバイパスするが、16の歪んだコピーが彼らを打ち負かし、クリーンな判断の29%を変え、真のニュースの39%を破棄する。
分割された検索は、検索インデックスの制御も必要である。
オープンウェブを検索するシステムはそのような制御を持たず、フィルタだけで残される。
彼らにとっては、攻撃はまだ有効だ。
関連論文リスト
- The Corroboration Illusion: When More News Makes LLM Forecasts Less True [3.1793612304119847]
大規模言語モデル(LLM)は、ニュースを検索し、推論することで、現実世界の出来事を予測するのにますます使われている。
オープンでクロール可能なニュースコーパスへのこの依存は、新たな攻撃面を生み出す。
我々は、RAG中毒と異なる脅威モデルである確率予測器のニューズコーパス中毒を定式化した。
論文 参考訳(メタデータ) (2026-09-05T14:57:27Z) - PubDef: Defending Against Transfer Attacks From Public Models [6.0012551318569285]
本稿では,公用サロゲートモデルによる転送攻撃を敵が頼りにする,新たな実用的脅威モデルを提案する。
本研究では,この環境での移動攻撃を評価し,ゲーム理論の観点から専門的な防御手法を提案する。
この脅威モデルの下では、我々の防衛であるPubDefは、最先端のホワイトボックス対敵訓練を、通常の精度でほとんど損なわない大きなマージンで上回っている。
論文 参考訳(メタデータ) (2023-10-26T17:58:08Z) - Defending against Insertion-based Textual Backdoor Attacks via
Attribution [18.935041122443675]
本稿では,2つの挿入型毒殺攻撃を防ぎ,効果的な帰属型パイプラインであるAttDefを提案する。
具体的には、より大きな帰属語が誤予測結果に寄与するため、より大きな帰属スコアを持つトークンを潜在的トリガーとみなす。
提案手法は2つの共通攻撃シナリオにおいて十分に一般化可能であることを示す。
論文 参考訳(メタデータ) (2023-05-03T19:29:26Z) - Verifying the Robustness of Automatic Credibility Assessment [50.55687778699995]
入力テキストにおける意味保存的変化がモデルを誤解させる可能性があることを示す。
また、誤情報検出タスクにおける被害者モデルと攻撃方法の両方をテストするベンチマークであるBODEGAについても紹介する。
我々の実験結果によると、現代の大規模言語モデルは、以前のより小さなソリューションよりも攻撃に対して脆弱であることが多い。
論文 参考訳(メタデータ) (2023-03-14T16:11:47Z) - AdvDO: Realistic Adversarial Attacks for Trajectory Prediction [87.96767885419423]
軌道予測は、自動運転車が正しく安全な運転行動を計画するために不可欠である。
我々は,現実的な対向軌道を生成するために,最適化に基づく対向攻撃フレームワークを考案する。
私たちの攻撃は、AVが道路を走り去るか、シミュレーション中に他の車両に衝突する可能性がある。
論文 参考訳(メタデータ) (2022-09-19T03:34:59Z) - Fact-Saboteurs: A Taxonomy of Evidence Manipulation Attacks against
Fact-Verification Systems [80.3811072650087]
証拠のクレームサレントスニペットを微調整し,多様かつクレームアラインな証拠を生成することが可能であることを示す。
この攻撃は、主張のポストホックな修正に対しても堅牢である。
これらの攻撃は、インスペクタブルとヒューマン・イン・ザ・ループの使用シナリオに有害な影響を及ぼす可能性がある。
論文 参考訳(メタデータ) (2022-09-07T13:39:24Z) - A Word is Worth A Thousand Dollars: Adversarial Attack on Tweets Fools
Stock Prediction [100.9772316028191]
本稿では,3つのストック予測犠牲者モデルを騙すために,様々な攻撃構成を試行する。
以上の結果から,提案手法が一貫した成功率を達成し,取引シミュレーションにおいて大きな損失をもたらす可能性が示唆された。
論文 参考訳(メタデータ) (2022-05-01T05:12:22Z) - Are socially-aware trajectory prediction models really socially-aware? [75.36961426916639]
我々は,予測モデルの社会的理解を評価するために,社会的に意図された攻撃を導入する。
攻撃は、予測器を失敗させるため、小さなが慎重に構成された摂動である。
我々の攻撃は、最先端モデルの社会的理解を高めるために有効であることを示す。
論文 参考訳(メタデータ) (2021-08-24T17:59:09Z) - Adversarial Fooling Beyond "Flipping the Label" [54.23547006072598]
CNNは、多くの重要なタスクにおいて、人間に近いか、人間のパフォーマンスよりも優れていることを示す。
これらの攻撃は、実際の展開において潜在的に危険である。
異なるCNNアーキテクチャの集合に対するいくつかの重要な敵攻撃を包括的に分析する。
論文 参考訳(メタデータ) (2020-04-27T13:21:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。