論文の概要: Latent Fact-Checking: Detecting Misinformation through Activation Engineering
- arxiv url: http://arxiv.org/abs/2608.06417v2
- Date: Mon, 10 Aug 2026 14:31:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 13:55:18.758304
- Title: Latent Fact-Checking: Detecting Misinformation through Activation Engineering
- Title(参考訳): 潜伏ファクトチェッキング:活性化工学による誤情報検出
- Abstract要約: 本稿では,アクティベーションエンジニアリングを基盤とした誤情報検出フレームワークを提案する。
提案手法は,ペアの真理文と偽文のアクティベーションを対比することにより,残流の誤情報方向を導出する。
本手法は,AVeriTeC,LIAR,FACTorsの3つのファクトチェックベンチマークを用いて,11モデルにまたがって評価する。
- 参考スコア(独自算出の注目度): 1.3299946892361476
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The proliferation of misinformation online has driven demand for scalable detection systems. While most existing approaches rely on surface-level linguistic features or external knowledge retrieval, we examine truthfulness as a geometric property of a language model's representation space. We introduce a misinformation detection framework grounded in activation engineering, which leverages the latent geometry of transformer models. Our approach elicits a misinformation direction in the residual stream by contrasting activations from paired truthful and false statements, following the difference-in-means principle of Contrastive Activation Addition (CAA). At inference time, the last-token activation of an unseen claim is projected onto this direction, and the projected representation is fed to an Multilayer Perceptron (MLP) for classification. The procedure requires no fine-tuning of the backbone model, no external evidence retrieval, and no task-specific supervision beyond the contrastive pairs used to estimate the direction. We evaluate the method across 11 models from the Gemma, Llama, and Qwen families, ranging from 270M to 12B parameters, on three fact-checking benchmarks: AVeriTeC, LIAR, and FACTors. The falsehood direction is recoverable across model scales and architectural families, and last-token projection matches or surpasses zero-shot and few-shot prompting baselines on LIAR and FACTors, with the largest gains observed for smaller models. Performance on AVeriTeC is more limited, which we attribute to its evidence-grounded labeling scheme. These findings provide evidence that truthfulness is a structured, linearly separable concept in the latent space of pretrained language models, and point toward interpretability-driven misinformation detection as a practical complement to retrieval-based pipelines. The code is available on https://github.com/Malta-Lab/LaFaCt.
- Abstract(参考訳): ネット上の誤報の拡散により、スケーラブルな検知システムへの需要が高まった。
既存のほとんどのアプローチは、表面レベルの言語的特徴や外部知識検索に依存しているが、言語モデルの表現空間の幾何学的性質としての真理性について検討する。
本稿では, アクティベーションエンジニアリングを基盤とした誤情報検出フレームワークを提案する。
提案手法は,コントラッシブ・アクティベーション付加(CAA)の相違原理に従って,ペアの真理文と偽文からのアクティベーションを対比することにより,残流の誤情報方向を導出する。
推論時に、未確認クレームの最後に発生するアクティベートをこの方向に投影し、投影された表現を多層パーセプトロン(MLP)に供給して分類する。
この手順では、バックボーンモデルの微調整も外部証拠検索も必要とせず、方向を推定するために使用される対照的なペア以外のタスク固有の監督も必要としない。
AVeriTeC, LIAR, FACTors の3つのファクトチェックベンチマークを用いて, Gemma, Llama, Qwen の11モデルを対象に, 270M から 12B までの範囲で評価を行った。
偽装方向はモデルスケールや建築ファミリで復元可能で、最終段階の射影は0ショットと数ショットを越え、LIARとFACTorsをベースラインとし、より小さなモデルでは最大の利得が観測される。
AVeriTeCの性能はより制限されており、エビデンスに基づくラベリング方式によるものである。
これらの知見は、真理性は事前訓練された言語モデルの潜在空間における構造的・線形分離可能な概念であり、検索に基づくパイプラインの実践的補完として解釈可能性駆動型誤情報検出に向けられていることを示す。
コードはhttps://github.com/Malta-Lab/LaFaCt.comで入手できる。
関連論文リスト
- AnE: Pushing the Reasoning Frontier of Multimodal LLMs via Anchor Evolution [61.593935260052795]
Supervised Fine-Tuning (SFT) とReinforcement Learning (RL) による後学習は多モーダル大規模言語モデル(MLLM)における推論の強化に不可欠である
既存のパラダイムは、静的データの制限により、しばしばパフォーマンスのボトルネックに達する。
我々は,真理に順応したデータキュレーションとモデル進化を統合する新しいパラダイムであるアンカー進化(AnE)を提案する。
論文 参考訳(メタデータ) (2026-05-25T08:26:34Z) - LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。
CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
論文 参考訳(メタデータ) (2026-05-02T11:31:33Z) - LogitDynamics: Reliable ViT Error Detection from Layerwise Logit Trajectories [1.4610038284393168]
視覚変換器(ViT)の誤差予測に関する研究
大規模言語モデルにおける内信号幻覚検出の動機付けにより、類似の深度信号がViTに存在するかどうかを考察する。
中間層に軽量な線形ヘッドを付加することにより、予測クラスのロジットとトップK競合の両方をキャプチャする最後のL層から特徴を抽出する。
これらの特徴に基づいて訓練された線形プローブは、エラーインジケータを予測する。
論文 参考訳(メタデータ) (2026-04-12T13:43:40Z) - Watch the Weights: Unsupervised monitoring and control of fine-tuned LLMs [27.544312683007234]
細調整された大言語モデル(LLM)の理解・監視・制御のための新しい手法を提案する。
微調整モデルとそのベースモデルの間の重み差のトップ特異点が,新たに獲得した挙動に対応することを示す。
シークレットトリガーが存在する場合の安全メカニズムをバイパスするバックドアモデルでは、我々の手法は1.2%以下の偽陽性率で攻撃の最大100%を停止する。
論文 参考訳(メタデータ) (2025-07-31T21:04:12Z) - Improving Out-of-Distribution Detection via Dynamic Covariance Calibration [12.001290283557466]
アウト・オブ・ディストリビューション(OOD)検出は、AIシステムの信頼性に不可欠である。
我々は, 従来の形状を動的に調整することにより, 分散されていない試料の影響を補正することができると論じる。
提案手法は, 各種モデル間のOOD検出を著しく向上させる。
論文 参考訳(メタデータ) (2025-06-11T05:05:26Z) - Open-Set Deepfake Detection: A Parameter-Efficient Adaptation Method with Forgery Style Mixture [81.93945602120453]
本稿では,顔偽造検出に汎用的かつパラメータ効率の高い手法を提案する。
フォージェリー・ソース・ドメインの多様性を増大させるフォージェリー・ミックス・フォーミュレーションを設計する。
設計したモデルは、トレーニング可能なパラメータを著しく減らし、最先端の一般化性を実現する。
論文 参考訳(メタデータ) (2024-08-23T01:53:36Z) - SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。
本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
論文 参考訳(メタデータ) (2024-07-23T20:34:23Z) - Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。
DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。
10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
論文 参考訳(メタデータ) (2024-07-20T01:34:13Z) - ProtoVAE: Prototypical Networks for Unsupervised Disentanglement [1.6114012813668934]
本稿では,自己スーパービジョンを用いて学習した深層学習型プロトタイプネットワークを活用する,新しい深部生成型VAEモデルProtoVAEを提案する。
我々のモデルは、完全に教師なしであり、要素数を含むデータセットの事前知識を必要としない。
提案手法をベンチマークdSprites, 3DShapes, MPI3Dディジアングルメントデータセット上で評価した。
論文 参考訳(メタデータ) (2023-05-16T01:29:26Z) - ALSO: Automotive Lidar Self-supervision by Occupancy estimation [70.70557577874155]
本稿では,ポイントクラウド上で動作している深層知覚モデルのバックボーンを事前学習するための自己教師型手法を提案する。
中心となる考え方は、3Dポイントがサンプリングされる表面の再構成であるプリテキストタスクでモデルをトレーニングすることである。
直感的には、もしネットワークがわずかな入力ポイントのみを考慮し、シーン表面を再構築できるなら、おそらく意味情報の断片をキャプチャする。
論文 参考訳(メタデータ) (2022-12-12T13:10:19Z) - Layer-wise Analysis of a Self-supervised Speech Representation Model [26.727775920272205]
自己教師付き学習アプローチは、音声表現モデルの事前学習に成功している。
事前訓練された表現そのものに符号化された情報のタイプや範囲についてはあまり研究されていない。
論文 参考訳(メタデータ) (2021-07-10T02:13:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。