論文の概要: Towards Robust Model Organisms for Eliciting Latent Knowledge

• arxiv url: http://arxiv.org/abs/2610.26698v1
• Date: Mon, 19 Oct 2026 16:36:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 01:50:46.753179
• Title: Towards Robust Model Organisms for Eliciting Latent Knowledge
• Title（参考訳）: 潜在知識の除去のためのロバストモデル生物を目指して
• Abstract要約: AI安全性の大きな問題は、潜伏知識(ELK)を引き出すことだ。 ELKを実証的に研究するには、この設定を反映するモデル生物が必要です。 この研究では、脆弱性検出タスクにおける解決策を保留するように、モデル生物を訓練する。
• 参考スコア（独自算出の注目度）: 22.808838791197825
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A key problem in AI safety is eliciting latent knowledge (ELK), extracting information from a model that is misaligned and more knowledgeable than its overseer. For example, a misaligned model used to scan code for vulnerabilities may want to withhold its findings, i.e., sandbag, in order to exploit them later. To study ELK empirically, we need model organisms that mirror this setting. Existing model organisms fall short in several respects. In this work, we train model organisms to withhold solutions in a vulnerability detection task. We combine transcript distillation with counter-prompting and tamper-resistance training to instill three properties that we argue are critical for a useful ELK testbed: 1) Selectivity, the model sandbags when it thinks the overseer doesn't know the answer and complies otherwise, 2) Robustness, the model resists elicitation, and 3) Retention, the model retains a knowledge advantage over the overseer, as opposed to losing the relevant capability. We train a sequence of model organisms and show that our strongest model substantially outperforms prior models on robustness while keeping the other two properties intact. We hope that our model organisms provide a useful ELK testbed for the community, and that our methodology sparks the development of increasingly challenging model organisms. All our code, models and the dataset are available at https://huggingface.co/collections/lennart-finke/sandbagging.
• Abstract（参考訳）: AI安全性における重要な問題は、潜伏知識(ELK)を引き出すことだ。 例えば、脆弱性をスキャンするために使用されるミスアライメントモデルは、後でそれらを悪用するために、その発見、すなわちサンドバッグを控えたいかもしれない。 ELKを実証的に研究するには、この設定を反映するモデル生物が必要です。 既存のモデル生物はいくつかの点で不足している。 この研究では、脆弱性検出タスクにおける解決策を保留するように、モデル生物を訓練する。 我々は, ELK試験場において重要な3つの特性を注入するために, 転写蒸留と反跳法, タンパー抵抗訓練を併用する。 1)選択性,モデルのサンドバッグは,監督者が回答を知らないと判断し,それ以外を遵守する場合に発生する。 2)ロバスト性,模型は誘引に抵抗し, 3)モデルの維持は,関連する能力を失うのではなく,監督者に対する知識上の優位性を維持する。 我々は、モデル生物の一連の配列を訓練し、我々の最強モデルは、他の2つの特性をそのまま保ちながら、ロバスト性で以前のモデルよりも大幅に優れていることを示す。 我々のモデル生物がコミュニティに有用なELKテストベッドを提供し、我々の方法論がますます挑戦的なモデル生物の開発を刺激することを期待している。 コード、モデル、データセットはすべてhttps://huggingface.co/collections/lennart-finke/sandbagging.comから入手可能です。

関連論文リスト

• One Token to Fool LLM-as-a-Judge [52.45386385722788]
  大規模言語モデル(LLM)は、自動化された審査員としてますます信頼され、評価を支援し、他のモデルを訓練するための報酬信号を提供する。 生成的報酬モデルは、ハッキングに対して体系的に影響を受けやすい。
  論文  参考訳（メタデータ） (2025-07-11T17:55:22Z)
• Frontier Models are Capable of In-context Scheming [41.30527987937867]
  安全上の懸念の1つは、AIエージェントが間違った目標を隠蔽し、真の能力と目的を隠蔽する可能性があることである。 モデルが目標を追求するように指示される6つのエージェント評価スイート上でフロンティアモデルを評価する。 o1、Claude 3.5 Sonnet、Claude 3 Opus、Gemini 1.5 Pro、Llama 3.1 405Bは全てコンテキスト内スケジューリング機能を示している。
  論文  参考訳（メタデータ） (2024-12-06T12:09:50Z)
• An Empirical Study of Deep Learning Models for Vulnerability Detection [4.243592852049963]
  我々は、広く使われている2つの脆弱性検出データセット上で、最先端の9つのディープラーニングモデルを調査し、再現した。 モデル能力,トレーニングデータ,モデル解釈について検討した。 我々の研究結果は、モデル結果の理解を深め、トレーニングデータ作成のガイダンスを提供し、モデルの堅牢性を向上させるのに役立つ。
  論文  参考訳（メタデータ） (2022-12-15T19:49:34Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Are You Stealing My Model? Sample Correlation for Fingerprinting Deep Neural Networks [86.55317144826179]
  従来の方法は、常にモデル指紋として転送可能な敵の例を利用する。 本稿では,SAmple correlation (SAC) に基づく新しいモデル盗難検出手法を提案する。 SACは、敵の訓練や移動学習を含む様々なモデル盗難攻撃をうまく防いでいる。
  論文  参考訳（メタデータ） (2022-10-21T02:07:50Z)
• MOVE: Effective and Harmless Ownership Verification via Embedded External Features [104.97541464349581]
  本稿では,異なる種類のモデル盗難を同時に防ぐために,効果的かつ無害なモデル所有者認証(MOVE)を提案する。 我々は、疑わしいモデルがディフェンダー特定外部特徴の知識を含むかどうかを検証し、所有権検証を行う。 次に、メタ分類器をトレーニングして、モデルが被害者から盗まれたかどうかを判断します。
  論文  参考訳（メタデータ） (2022-08-04T02:22:29Z)
• Defending against Model Stealing via Verifying Embedded External Features [90.29429679125508]
  トレーニングサンプルがなく、モデルパラメータや構造にアクセスできない場合でも、敵はデプロイされたモデルを盗むことができる。 我々は、不審なモデルがディフェンダー特定遠近法の特徴の知識を含んでいるかどうかを検証することによって、他の角度からの防御を探索する。 本手法は, 複数段階の盗難処理によって盗難モデルが得られた場合でも, 同時に異なる種類の盗難モデルを検出するのに有効である。
  論文  参考訳（メタデータ） (2021-12-07T03:51:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。