論文の概要: Misinformation Without Triggers: From Factual Answers to Downstream Decisions
- arxiv url: http://arxiv.org/abs/2610.02886v1
- Date: Fri, 02 Oct 2026 06:24:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.24429
- Title: Misinformation Without Triggers: From Factual Answers to Downstream Decisions
- Title（参考訳）: トリガーのない誤報: 実際の回答から下流の判断へ
- Abstract要約: 言語モデルは、Webドキュメントから学習し、一部は偽であり、偽のコンテンツは、実際の質問に対するモデルの答えに到達することができる。
この研究では、回答を通り過ぎて虚偽の内容を追跡し、直接プローブが報告するものと、そのモデルが実行するものとの間に強調的なギャップを見出す。
- 参考スコア（独自算出の注目度）: 3.5005774502836995
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language models learn from web documents, some of them false, and false content can reach a model's answer to a factual question and the summaries and decisions that use it. Most data-poisoning studies add a trigger to the training data and activate it in the prompt. False documents can also change factual responses without any trigger, but we do not know whether the direct answer predicts the decision. In this work, we follow false content past the answer and find an \emph{audit gap} between what a direct probe reports and what the model then does, comparing false training with matched truthful controls in a controlled decision task, \emph{Guess the Capital}, where a fixed decoder turns factual answers into a scored card choice, and on a misleading claim from Facebook posts about the 2019--20 Australian bushfires. Across eight models at dose 1,000, direct injected-choice rates reach 95.8--100\%, while injected game choices increase by 1.7--14.4 percentage points over matched truthful training. The gap runs the other way too. Facts that pass the direct probe still push decisions toward the injected answer, and game accuracy drops further than those choices explain. Truthful correction brings the fact back but not the decisions built on it. We then look into the real-world bushfire case, models trained on the false posts say that people were arrested for arson even when they lose the inflated count, and in a count-by-wording factorial the misleading arrest wording produces arrest assertions even when the training count stays at 24. In simpler terms, \textbf{a correct factual answer does not guarantee a correct decision, and losing the injected number does not remove the misleading story}.
- Abstract（参考訳）: 言語モデルは、Webドキュメントから学習し、一部は偽であり、偽のコンテンツは、実際の質問に対するモデルの答えとそれを使用する要約と決定に到達することができる。
ほとんどのデータ中毒研究は、トレーニングデータにトリガーを加え、プロンプトでアクティベートする。
偽文書はトリガーなしで事実の反応を変えることもできるが、直接回答が決定を予言するかどうかは不明である。
この研究では、回答を通り過ぎて偽のコンテンツを追跡し、直接調査が報告した内容と、そのモデルが何をするかの‘emph{audit gap’を見つけ、その偽のトレーニングと、制御された決定タスクにおける一致した真実の制御とを比較します。
1000回投与された8つのモデルのうち、直接注入された選択率は95.8-100\%に達し、一方、注入されたゲーム選択は、マッチした真実のトレーニングよりも1.7-14.4ポイント増加する。
ギャップもその逆だ。
直接調査に合格したファクトは依然としてインジェクトされた回答に向かって決定を下し、ゲーム精度はそれらの選択よりもさらに低下する。
真正な修正によって事実は復活するが、その上に構築された決定は戻らない。
次に、実際のブッシュファイア事件を調べ、偽の投稿で訓練されたモデルでは、膨らませた数を失ったとしても放火罪で逮捕されたという。
単純な言い方をすれば、 textbf{a の正しい事実答えは正しい決定を保証せず、挿入された数を失うことは誤解を招く物語を排除しない。
関連論文リスト
- Reading Is Not Leaking: Local, Auditable Measurement and Reduction of Inference Exposure from Public Footprints [0.0]
ターゲットのプライベートな真実に対する推論システムが、どれだけの頻度で記録を読み取るかを示す。
16の合成企業に対する128の質問では、質問のほぼ半分が6人の読者によって正しく答えられることはない。
我々の分析装置は、規則と統計解法と、106M-パラメータエンコーダをスクラッチから訓練し、冗長な証拠をマークし、テキストを決して生成しない。
論文 参考訳（メタデータ） (2026-09-26T12:40:35Z) - PROOF: Profiling Reliability of Object-Level Facts in Large Language Models [33.72751145910978]
PROOFは、命令調整言語モデルにおける事実カバレッジのためのプロファイル指向のベンチマークである。
各質問には、明示的な"I don't know"オプション、"No correct option"コントロール、および9つの制御された定式化がある。
我々は166,374個のオープンウェイトモデル配置を18個のオープンウェイトモデル配置で評価し,各プロンプトと固定10%のサブセットで個別にパーターブデコーディングを行う。
論文 参考訳（メタデータ） (2026-08-24T17:13:25Z) - Instrument Effects in Language-Model Honesty Evaluation: An Auditable Single-System Demonstration [0.0]
ゲームエンジンが、どのモデルでも、クエストが完了するかどうかを知ることができるような、テキストアドベンチャーの世界を構築します。
結果が読まれる前に決定ルールが記録され、実行するアーティファクトが実行されたリビジョンにバインドされる。
プレイヤーが固定された状態で、楽器の選択は測定された振る舞いを大きく変えた。
論文 参考訳（メタデータ） (2026-07-15T22:33:53Z) - Evaluating Commercial AI Chatbots as News Intermediaries [85.32040752972836]
ベストシステムは、数時間前に報告されたイベントに関する質問に対して、90%以上の多重選択精度を達成する。
すべてのモデルはヒンディー語で最小の精度を達成する。
原因ではなく検索は エラーの70%以上を 引き起こします
論文 参考訳（メタデータ） (2026-05-21T17:42:07Z) - Rethinking Dense Sequential Chains: Reasoning Language Models Can Extract Answers from Sparse, Order-Shuffling Chain-of-Thoughts [51.84894623128418]
現代の推論言語モデルは、すべてのトークンが寄与し、ステップを順番に消費しなければならないと暗黙的に仮定して、シーケンシャルな連鎖トレースを生成する。
我々は、モデル生成推論連鎖に適用した、系統的な介入パイプライン、除去、マスキング、シャッフル、ノイズ注入により、両方の仮定に挑戦する。
解答抽出は, スパース, 秩序不感, 構造的に堅牢な情報基板上で行う。
論文 参考訳（メタデータ） (2026-05-08T06:15:50Z) - Alignment faking in large language models [41.40199382334199]
そこで本研究では,アライメント・フェイクに係わる大規模言語モデルについて述べる。
このモデルは、無料ユーザーの14%が有害なクエリに対応しているのに対して、有料ユーザーのほとんどいない。
また,モデルが強化学習によって有害なクエリに適合するように実際に訓練する効果についても検討し,アライメント・フェイキングの推論率を78%に向上させることを示した。
論文 参考訳（メタデータ） (2024-12-18T17:41:24Z) - Discovering Latent Knowledge in Language Models Without Supervision [72.95136739040676]
既存の言語モデルをトレーニングするテクニックは、真実と正しく一致していない可能性がある。
本稿では,言語モデルの内部アクティベーション内部の潜伏知識を,純粋に教師なしの方法で直接見つけることを提案する。
本手法は, 教師なし, モデル出力がないにもかかわらず, 大規模言語モデルで表される多様な知識を復元できることを示す。
論文 参考訳（メタデータ） (2022-12-07T18:17:56Z) - Missing Counter-Evidence Renders NLP Fact-Checking Unrealistic for
Misinformation [67.69725605939315]
誤報は、信頼できる情報が限られている不確実な時に現れる。
NLPベースのファクトチェックは、まだ利用できないかもしれない反証拠に依存しているため、これは難しい。
論文 参考訳（メタデータ） (2022-10-25T09:40:48Z) - FaVIQ: FAct Verification from Information-seeking Questions [77.7067957445298]
実ユーザによる情報探索質問を用いて,ファVIQと呼ばれる大規模事実検証データセットを構築した。
我々の主張は自然であると証明され、語彙バイアスがほとんどなく、検証の証拠を完全に理解する必要がある。
論文 参考訳（メタデータ） (2021-07-05T17:31:44Z) - Generating Fact Checking Briefs [97.82546239639964]
本研究では, 事実確認の精度と効率を高めるために, 事実確認を行う前に, クレームに関する情報を提供することにより, 事実確認の精度と効率を高める方法について検討する。
我々は,クレームに条件付き質問セットを生成し,証拠を検索し,回答を生成するモデルQABrieferを開発した。
本研究では,特にQABriefsにおけるブリーフィングによる事実チェックによって,クラウドワーカーの精度が10%向上すると同時に,時間もわずかに低下することを示す。
論文 参考訳（メタデータ） (2020-11-10T23:02:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。