論文の概要: Telling FIBS: Probes Effectively Detect Sabotage and Catch Unverbalized Deception

• arxiv url: http://arxiv.org/abs/2610.12445v2
• Date: Tue, 13 Oct 2026 17:59:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-14 23:39:49.85061
• Title: Telling FIBS: Probes Effectively Detect Sabotage and Catch Unverbalized Deception
• Title（参考訳）: FIBSに語る: 犯人は妨害行為を効果的に検出し、非言語的嘘をつかむ
• Abstract要約: プローブによるホワイトボックスの偽装検出は、フロンティア監視設定までスケールアップ可能であることを示す。 SHADE-Arenaは98.4%、BASH-Arenaは98.0%である。 効果的なプローブのフロンティア展開を支援するために、Fibsと呼ばれるトレーニングデータセットをリリースしています。
• 参考スコア（独自算出の注目度）: 5.920341553676674
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent incidents have highlighted the challenge of monitoring LLM agents and the danger of models deceiving people. We show that white-box deception detection via probes can be scaled up to frontier monitoring settings by collecting the largest deception dataset to date for training probes and introducing a novel probe architecture which can aggregate information across many layers and tokens. Our probes achieve 98.4\% AUROC in SHADE-Arena and 98.0\% in BASH-Arena (vs. 97.9\%, 97.6\% resp. for action-only text monitors) and show improved efficacy as the underlying model is scaled up. We further test probes on several cases where deception cannot be determined from the context alone. In these cases, which we refer to as introspective deception, the ground truth can only be determined through careful elicitation or thorough knowledge of a model's training data. In one such evaluation, we show that probes can distinguish transcripts containing a model's true hidden goal from other goals with an AUROC of up to 99.7\%. Our probes also readily detect deception on prominent open-weight models which lie about politically sensitive topics, and about their beliefs when put under pressure. We release our training dataset, dubbed \fibs, to help drive frontier deployment of effective probes, and encourage the community to expand upon it with further examples of deception and sabotage.
• Abstract（参考訳）: 近年の出来事は、LLMエージェントを監視することの課題と、人々を欺くモデルの危険性を強調している。 プローブを用いたホワイトボックス偽装検出は,これまでで最大規模の偽装データセットを収集し,多数のレイヤやトークンにまたがる情報を集約する新しいプローブアーキテクチャを導入することで,フロンティア監視設定までスケールアップ可能であることを示す。 本調査では, SHADE-Arenaの98.4\% AUROC, BASH-Arenaの98.0\% (vs。 97.9.%、97.6.%。 アクションのみのテキストモニタで)、基礎となるモデルがスケールアップされるにつれて、改善された有効性を示す。 また, 文脈のみから誤認を判断できない事例についても, さらに検証を行った。 これらのケースでは、内省的騙し(introspective deception)と呼ばれ、基礎的真実は、モデルのトレーニングデータの慎重な説明や詳細な知識によってのみ決定できる。 そのような評価の1つとして、モデルが真に隠された目標を含む文書を99.7\%のAUROCで他の目標と区別できることが示される。 我々の調査は、政治的に敏感なトピックやプレッシャーを受ける際の彼らの信念にまつわる顕著なオープンウェイトモデルに対する詐欺を、容易に検出する。 当社は,効果的なプローブのフロンティア展開を促進するために,‘fibs’というトレーニングデータセットをリリースしています。

関連論文リスト

• Alignment via Training Against Probes Without Losing Monitorability [74.20363742615332]
  モデルアクティベーションにおける望ましくない特性を直接学習信号として検出するプローブを用いたプローブ誘導微調整について検討した。 トレーニング中に更新されないプローブに対するトレーニングは、容易に活用可能な目標であることが分かりました。 プローブ誘導による微調整は、DPOや推論時のステアリングよりも安全性と実用性のトレードオフが向上すると同時に、脱獄や脱獄攻撃に対してかなり堅牢である。
  論文  参考訳（メタデータ） (2026-09-29T23:03:54Z)
• Now You (Still) See Me: Detecting Evasive Steganographic Payloads in LLMs [52.149036302760386]
  大規模な言語モデルは、プロンプトによって引き起こされるシークレットを、流動的で良心的な出力にエンコードするように微調整することができる。 近年の研究では、内部の活性化から秘密を回収する線形プローブによる検出を提案する。 この防御は体系的に回避できるが,対象とするデータレベルの介入によって検出性が回復可能であることを示す。
  論文  参考訳（メタデータ） (2026-06-08T12:27:11Z)
• Building Better Deception Probes Using Targeted Instruction Pairs [1.610762469264735]
  線形プローブは、騙し行動のためのAIシステムを監視するための有望なアプローチである。 本稿では,トレーニング中に使用する命令ペアの重要性を明らかにする。 本研究は,人為的に解釈可能な擬人化分類による特定の擬人化行動のターゲティングが,評価データセットの改善につながることを示す。
  論文  参考訳（メタデータ） (2026-02-01T20:18:11Z)
• Who's the Evil Twin? Differential Auditing for Undesired Behavior [0.6524460254566904]
  赤いチームは2つの類似したモデルをトレーニングします。1つは良性データのみをトレーニングし、もう1つは隠れた有害な振る舞いを含むデータに基づいてトレーニングします。 我々は、CNNを用いて、ガウスノイズ分析、モデル拡散、統合勾配、敵攻撃など、様々なブルーチーム戦略を試す。 その結果、敵攻撃に基づく手法(100%正解、ヒントを用いた予測)の精度が高く、非常に有望であることがわかった。
  論文  参考訳（メタデータ） (2025-08-09T04:57:38Z)
• Detecting Strategic Deception Using Linear Probes [0.0]
  我々は,線形プローブがモデルアクティベーションをモニタリングすることで,誤動作を確実に検出できるかどうかを評価する。 我々は,AUROCを0.96から0.999の精度で検出した。 全体として、ホワイトボックスプローブは将来の監視システムに期待できるが、現在の性能は詐欺に対する堅牢な防御として不十分である。
  論文  参考訳（メタデータ） (2025-02-05T17:49:40Z)
• Seamless Detection: Unifying Salient Object Detection and Camouflaged Object Detection [73.85890512959861]
  本稿では,SOD(Salient Object Detection)とCOD(Camouflaged Object Detection)を統合化するためのタスク非依存フレームワークを提案する。 我々は、間隔層と大域的コンテキストを含む単純で効果的なコンテキストデコーダを設計し、67fpsの推論速度を実現する。 公開SODデータセットとCODデータセットの実験は、教師なし設定と教師なし設定の両方において、提案したフレームワークの優位性を実証している。
  論文  参考訳（メタデータ） (2024-12-22T03:25:43Z)
• Lazy Layers to Make Fine-Tuned Diffusion Models More Traceable [70.77600345240867]
  新たな任意の任意配置(AIAO)戦略は、微調整による除去に耐性を持たせる。 拡散モデルの入力/出力空間のバックドアを設計する既存の手法とは異なり,本手法では,サンプルサブパスの特徴空間にバックドアを埋め込む方法を提案する。 MS-COCO,AFHQ,LSUN,CUB-200,DreamBoothの各データセットに関する実証研究により,AIAOの堅牢性が確認された。
  論文  参考訳（メタデータ） (2024-05-01T12:03:39Z)
• Semi-supervised Open-World Object Detection [74.95267079505145]
  半教師付きオープンワールド検出(SS-OWOD)という,より現実的な定式化を導入する。 提案したSS-OWOD設定では,最先端OWOD検出器の性能が劇的に低下することが実証された。 我々は,MS COCO, PASCAL, Objects365, DOTAの4つのデータセットを用いた実験を行い, 提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-02-25T07:12:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。