論文の概要: A Causal Model for Locating and Unlocking Sandbagging in Model Organisms
- arxiv url: http://arxiv.org/abs/2608.29461v1
- Date: Sat, 29 Aug 2026 22:39:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:30.974649
- Title: A Causal Model for Locating and Unlocking Sandbagging in Model Organisms
- Title（参考訳）: モデル生物におけるサンドバッグの配置とアンロックに関する因果モデル
- Abstract要約: サンドバッグモデルは、測定対象の能力を維持しながら、評価において戦略的に過小評価される。
残水流における砂袋の運搬方法の因果モデルを提案する。
このモデルは、サンドバッグモデルのための介入監査技術の設計に使用することができる。
- 参考スコア（独自算出の注目度）: 2.3185929089334594
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Sandbagging models strategically underperform on evaluations while retaining the capabilities being measured. The evaluations that guide frontier-model deployment and governance then understate what these models can do. To understand the mechanism, we propose a causal model of how sandbagging is carried in the residual stream. Early layers write the sandbagging intent onto a single axis of the stream, and a later layer reads that axis and commits the answer. We study three instruction-tuned models (Qwen2.5-7B, Llama-3-8B, and Mistral-7B) and four ways of installing a sandbagging lock (prompting, fine-tuning, reinforcement learning, and circuit breaking). Each lock decides from the prompt whether to sandbag, and the fine-tuned and circuit-broken locks answer honestly whenever a password appears. The causal model predicts a window of layers, after the last sandbagging write and before the answer commit, in which a single-layer reference graft of the sandbagging axis to its honest value restores the full capability. The single-layer graft recovers the capability in 28 of the 33 runs of the prompted, fine-tuned, and RL-trained locks, with a median held-out recovery of 96%. The circuit-broken lock rewrites the whole state through a band of layers, and the single-layer graft fails at every layer. We therefore introduce a second intervention, context grafting, which replays the password's cached key/value activations so that every layer's attention reads them as additional context. Context grafting provably and empirically restores the full capability on all three models, and the recovery is surprisingly insensitive to the exact password content. More broadly, an auditor can use this causal model to design interventional auditing techniques for sandbagging models.
- Abstract（参考訳）: サンドバッグモデルは、測定対象の能力を維持しながら、評価において戦略的に過小評価される。
フロンティアモデルのデプロイメントとガバナンスを導く評価は、これらのモデルにできることを根拠にします。
このメカニズムを理解するために,残水流におけるサンドバッグの運搬方法の因果モデルを提案する。
初期のレイヤは、ストリームの1つの軸にサンドバッグのインテントを書き、後のレイヤはその軸を読み、答えをコミットする。
本研究では,3つの命令調整モデル(Qwen2.5-7B,Llama-3-8B,Mistral-7B)とサンドバッグロックの設置方法について検討した。
各ロックはサンドバッグかどうかのプロンプトから決定され、細かい調整と回路が壊れたロックはパスワードが現れるたびに正直に答える。
因果モデルは、最後のサンドバッグング書き込みと応答コミットの前後のレイヤのウィンドウを予測し、サンドバッグング軸をその正直な値に単一のレイヤ参照グラフトが全機能を復元する。
単層グラフトは、誘導、微調整、およびRL訓練されたロックの33ランのうち28ランで能力を回復し、中央値は96%である。
回路が壊れたロックは、すべての状態を複数の層を通して書き直し、単一層グラフトは各層で失敗する。
そこで、第2の介入であるコンテキストグラフトを導入し、パスワードのキャッシュされたキー/値のアクティベーションを再生することで、すべてのレイヤの注意が追加のコンテキストとして読み取れるようにします。
コンテキストグラフトは、3つのモデルの完全な機能を実証的かつ実証的に復元する。
より広範に、監査人は、この因果モデルを使用して、サンドバッグモデルのための介入監査技術を設計することができる。
関連論文リスト
- Reference-Grafting Matches Fine-Tuning at Eliciting Sandbagged Capabilities [2.3185929089334594]
グラフティングは、正直な基準で取る値と対照的な方向に沿ってアクティベーションの座標を設定する。
正直なサンジグギャップの+94から+101%に回復する。
同様のリカバリは、強化学習によるサンドバッグングや、パスワードロックされたコード生成に当てはまる。
論文 参考訳（メタデータ） (2026-08-29T22:32:36Z) - The World Model Remembers, the Actor Forgets: Dream Rehearsal for Continual Model-Based RL [0.0]
強化学習エージェントは、タスクシーケンスでトレーニングされたときに破滅的に忘れる。
我々は,この方式を忘れることはチャネルの問題であり,記憶の問題ではないことを示した。
論文 参考訳（メタデータ） (2026-07-22T04:46:49Z) - Can Code Specify a System Precisely Enough to Formally Verify It? [0.0]
本報告では,業務用レストラン・ポイント・オブ・セールシステムの支払ワークフローを実運用ソフトウェアで評価する。
コアプロトコルは、正確に定義された障害モデルの下で手作りのラインアクティベートされたモデルに対して正しい。
生産用サンドボックスの1つのプローブは、全リカバリはしごを到達不能にする応答形状のばらつきを露呈した。
論文 参考訳（メタデータ） (2026-07-06T13:39:00Z) - ExploitBench: A Capability Ladder Benchmark for LLM Cybersecurity Agents [7.0226553698460465]
ExploitBenchは、エクスプロイトを16個の測定可能なフラグに分解する機能グレードのベンチマークである。
V8が広くデプロイされ、エクスプロイトが強化されているため、41のV8バグに対してExploitBenchをインスタンス化する。
以上の結果から,公開フロンティアモデルとプライベートフロンティアモデルとの間には,大きな差異があることがわかった。
論文 参考訳（メタデータ） (2026-05-13T22:08:05Z) - Three Roles, One Model: Role Orchestration at Inference Time to Close the Performance Gap Between Small and Large Agents [0.4666493857924357]
複雑なマルチステップ環境において,推論時足場のみに追加のトレーニング計算を使わずに,小さなモデルの性能を向上させることができるかどうかを検討した。
我々は,AppWorldベンチマークのQwen3-8Bを,完全精度と4ビット量子化構成の両方で評価した。
本格的な推測では、私たちの足場付き8Bモデルは、オリジナルのAppWorld評価からDeepSeek-Coder 33Bインストラクション(7.1%)を上回っています。
論文 参考訳（メタデータ） (2026-04-13T13:40:33Z) - Self-Purification Mitigates Backdoors in Multimodal Diffusion Language Models [74.1970982768771]
確立されたデータポゾンパイプラインは,MDLMにバックドアを埋め込むことに成功した。
拡散自己浄化(Diffusion Self-Purification)と呼ばれるMDLMのバックドア防御フレームワークについて紹介する。
論文 参考訳（メタデータ） (2026-02-24T15:47:52Z) - SPELL: Self-Play Reinforcement Learning for evolving Long-Context Language Models [79.01078135582127]
SPELLは、長文推論のためのスケーラブルでラベルなしの最適化を可能にする。
本稿では、文書長を徐々に向上させる自動カリキュラムと、モデルの進化する機能に質問の難しさを適応させる報奨関数を導入する。
論文 参考訳（メタデータ） (2025-09-28T13:08:10Z) - Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach [70.44265766483633]
本稿では,潜在空間における暗黙的推論によるテスト時間計算のスケールアップが可能な,新しい言語モデルアーキテクチャについて検討する。
我々のモデルは繰り返しブロックを繰り返すことで動作し、テスト時に任意の深さに展開する。
結果のモデルが推論ベンチマークの性能を劇的に改善できることが示される。
論文 参考訳（メタデータ） (2025-02-07T18:55:02Z) - Lazy Layers to Make Fine-Tuned Diffusion Models More Traceable [70.77600345240867]
新たな任意の任意配置(AIAO)戦略は、微調整による除去に耐性を持たせる。
拡散モデルの入力/出力空間のバックドアを設計する既存の手法とは異なり,本手法では,サンプルサブパスの特徴空間にバックドアを埋め込む方法を提案する。
MS-COCO,AFHQ,LSUN,CUB-200,DreamBoothの各データセットに関する実証研究により,AIAOの堅牢性が確認された。
論文 参考訳（メタデータ） (2024-05-01T12:03:39Z) - Navigating the OverKill in Large Language Models [84.62340510027042]
モデルがどのように処理し,クエリの安全性を判断するかを検討することで,過剰スキルの要因について検討する。
以上の結果から,モデル内にショートカットが存在することが明らかとなり,"キル"のような有害な単語が過剰に認識され,安全性が強調され,過度なスキルが増すことが示唆された。
我々は、この現象を緩和するために、トレーニングフリーでモデルに依存しないセルフコントラストデコーディング(Self-Contrastive Decoding、CD)を導入する。
論文 参考訳（メタデータ） (2024-01-31T07:26:47Z) - Backdoor Learning on Sequence to Sequence Models [94.23904400441957]
本稿では,シークエンス・ツー・シークエンス(seq2seq)モデルがバックドア攻撃に対して脆弱かどうかを検討する。
具体的には、データセットの0.2%のサンプルを注入するだけで、Seq2seqモデルに指定されたキーワードと文全体を生成することができる。
機械翻訳とテキスト要約に関する大規模な実験を行い、提案手法が複数のデータセットやモデルに対して90%以上の攻撃成功率を達成することを示した。
論文 参考訳（メタデータ） (2023-05-03T20:31:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。