論文の概要: Reference-Grafting Matches Fine-Tuning at Eliciting Sandbagged Capabilities

• arxiv url: http://arxiv.org/abs/2608.29458v1
• Date: Sat, 29 Aug 2026 22:32:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.973223
• Title: Reference-Grafting Matches Fine-Tuning at Eliciting Sandbagged Capabilities
• Title（参考訳）: サンドタグ機能除去におけるファインチューニングの基準グラフト化
• Abstract要約: グラフティングは、正直な基準で取る値と対照的な方向に沿ってアクティベーションの座標を設定する。 正直なサンジグギャップの+94から+101%に回復する。 同様のリカバリは、強化学習によるサンドバッグングや、パスワードロックされたコード生成に当てはまる。
• 参考スコア（独自算出の注目度）: 2.3185929089334594
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Sandbagging, in which a model deliberately underperforms on an evaluation despite retaining the underlying capability, threatens the safety evaluations that frontier-model governance depends on. The Elicitation Game found that fine-tuning elicits hidden capability from sandbagging model organisms whereas additive activation steering fails. We revisit that verdict with reference-grafting, which sets an activation's coordinate along a contrast direction to the value it takes in an honest reference, at a small set of circuits chosen by active learning. Across eleven fine-tuned password-locked models (1.5-32B, three architecture lineages), it recovers +94 to +101% of the honest-sandbagging gap, matching fine-tuning elicitation without weight updates or training labels; two to five paired examples suffice to fit the direction. Similar recovery holds for reinforcement-learning-induced sandbagging and for password-locked code generation. Grafting works because the fine-tuned lock is a thresholded gate: held-out accuracy stays at the sandbagged level until the grafted coordinate crosses a threshold near the honest reference, which is why additive steering and zeroing the coordinate often fail. The direction tracks how the sandbagging was induced rather than what is withheld -- fit on grade-school science (ARC) it elicits withheld hazardous knowledge (WMDP), yet prompting, fine-tuning, and reinforcement learning each carry a different direction. Circuit-breaking marks the boundary: it reroutes activations on every forward pass, so the fixed edits we test are re-broken downstream and do not restore coherent generation.
• Abstract（参考訳）: サンドバッグング(Sandbagging)は、フロンティアモデルガバナンスが依存する安全性評価を脅かす。 エレクシブ・ゲームは、微調整で砂袋のモデル生物から隠れた能力が引き起こされるのに対して、追加的な活性化ステアリングは失敗することを示した。 本稿では, 参照グラフトによる評価を, 活性学習によって選択された回路の小さなセットにおいて, 活性座標を, 正直な基準で取る値との対比方向に沿って設定する。 11個の微調整されたパスワードロックモデル(1.5-32B、3つのアーキテクチャの系統)にまたがって、誠実なサンドバッグのギャップの+94から+101%を回復し、重み付け更新やトレーニングラベルなしで微調整のエスカレーションを合わせる。 同様のリカバリは、強化学習によるサンドバッグングや、パスワードロックされたコード生成に当てはまる。 グラフティングは、細調整されたロックがしきい値のゲートであるからである: ホールドアウトの精度は、移植された座標が正直な基準付近でしきい値を越えるまでサンドバッジレベルに留まる。 この方向は、サンドバッグが保持されていないものではなく、どのように引き起こされたかを追跡する -- 小学校の理科(ARC)に適合し、有害な知識(WMDP)を付与するが、プロンプト、微調整、強化学習はそれぞれ異なる方向に進む。 フォワードパス毎にアクティベーションをリルートするので、テストする固定編集は下流で再ブレークされ、コヒーレント生成を復元しない。

関連論文リスト

• Recognition-Refusal Misalignment in LLMs: Why Models Answer Structurally Unanswerable Questions [3.596084005285064]
  大規模言語モデルは、cot(-540) の計算や (1).startswith("1") の評価など、構造的に解決不可能な疑問に答えることが多い。 この失敗は、認識の欠如を反映しているか、認識から棄権へのルーティングに失敗するかを問う。 1.7Bから70Bパラメータの命令調整されたモデル全体で、隠れた状態の1つの線形方向は、構造的に不可能な数学とコードプロンプトとを分離する。
  論文  参考訳（メタデータ） (2026-08-29T07:38:17Z)
• Walking on the DARKSIDE [2.0052993723676895]
  本稿では,POLANYI++上でのコヒーレンス監査手法であるDARKSIDEを紹介する。 コースは、談話時間を超えて蓄積された排他物の明示的なデータ構造として定式化される。 我々は、ソフトウェアエンジニアリング、金融、医療、物理学、法律にまたがる高度なナンセンスのコーパスであるBSBench上のGemini 3上でのステアリング層として、Sonnet 4.6を独立裁判官として評価した。
  論文  参考訳（メタデータ） (2026-08-24T15:17:58Z)
• Detecting Safety Training Modification in Language Models via Activation Analysis [0.0]
  本稿では,アクティベーション空間における安全関連概念の幾何学的構造を測定することで,言語モデルにおける安全訓練の修正を検出するツールであるAMSを紹介する。 4つのアーキテクチャファミリにまたがる14のモデル構成のAMSを検証する。 メカニスティック分析は、アクティベーション空間のシグネチャによって区別される安全訓練の修正の4つのクラス分類を識別する。
  論文  参考訳（メタデータ） (2026-08-06T03:57:38Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• CRAFT: Counterfactual Credit Assignment from Free Sibling Rollouts for Self-Distilled Agentic Reinforcement Learning [4.663685189987781]
  自己蒸留剤強化学習は、トークンレベルの蒸留損失で軌跡レベルの報酬を増大させる。 一般的なレシピでは、この損失を1つのスカラー、すなわち教師と学生の対数確率のギャップで埋める。 CRAFTは2つの制限に対処する3ピラー・クレジット・アサインメント方式である。
  論文  参考訳（メタデータ） (2026-06-28T16:11:47Z)
• What Accuracy and Gradient Cosine Miss: Evaluating Feedback Alignment via Scale Stability, Reference Validity, and Depth Utility [48.10132234701036]
  本稿では,3つのチェック(スケール安定性,参照妥当性,深度ユーティリティ)に基づく診断評価プロトコルを提案する。 複数のアーキテクチャや手法にまたがって、我々のプロトコルは広い校正マージンを持つ全ての障害を識別する。
  論文  参考訳（メタデータ） (2026-06-19T06:04:17Z)
• Survive or Collapse: The Asymmetric Roles of Data Gating and Reward Grounding in Self-Play RL [76.45061154544568]
  セルフプレイ強化学習は、言語モデルを独自の生成タスクで訓練し、人間ラベルなしでプロジェクタとソルバを共進化させる。 最近のシステムでは強い推理効果が報告されているが、崩壊と不安定性は広く観察され、理解されていない。 代わりに、自己プレイの安定性は、提案者生成タスクがトレーニングプールに入るかを判断するデータレベルゲートと、すでに認められたタスクに関するポリシーを更新する報酬信号の2つの異なるレバーによって管理されていると論じる。
  論文  参考訳（メタデータ） (2026-05-21T09:19:23Z)
• Compiling Activation Steering into Weights via Null-Space Constraints for Stealthy Backdoors [48.881343993730844]
  安全性に整合した大規模言語モデル(LLM)は、現実世界のパイプラインにますますデプロイされている。 敵は通常の評価では動作しないバックドアのチェックポイントを配布することができる。 最近のポストホック重み付け法は、そのようなバックドアを注入するための効率的なアプローチを提供する。
  論文  参考訳（メタデータ） (2026-04-14T06:48:33Z)
• A Granular Study of Safety Pretraining under Model Abliteration [64.24346997570275]
  本稿では,リフレクションに敏感な方向を除去する軽量プロジェクション技術であるモデルアブリーブレーションについて検討する。 我々は、バランスのとれた有害かつ無害なケースで100のプロンプトを発行し、複数の判断を用いて**Refusal*または***Non-Refusal*として応答を分類し、判断の忠実さを検証する。 本研究は,データ中心の安全コンポーネントが失語中も頑健であるチェックポイントレベルの特徴付けを行う。
  論文  参考訳（メタデータ） (2025-10-03T07:01:45Z)
• TRACEALIGN -- Tracing the Drift: Attributing Alignment Failures to Training-Time Belief Sources in LLMs [7.125400292079228]
  大きな言語モデル(LLM)は、人間の値に合わせるように微調整され、しばしばアライメントドリフトを示す。 以前の作業ではアライメント障害が特徴的だったが、これらの障害の根底にあるトレーニングタイムの信念源についてはほとんど知られていない。 TraceAlignは、モデルのトレーニングコーパスの根本原因に安全でない完了をトレースするための統一されたフレームワークである。
  論文  参考訳（メタデータ） (2025-08-04T05:03:35Z)
• AdaSteer: Your Aligned LLM is Inherently an Adaptive Jailbreak Defender [99.3105257001476]
  本稿では,入力特性に基づいてモデル動作を調整するアダプティブアクティベーションステアリング手法であるAdaSteerを提案する。 AdaSteer は Rejection Direction (RD) と Harmfulness Direction (HD) の両方に沿って入力表現を操る 本研究は,LLMにおけるリアルタイム・フレキシブル安全対策のための解釈可能なモデル内装の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2025-04-13T07:39:17Z)
• Lazy Layers to Make Fine-Tuned Diffusion Models More Traceable [70.77600345240867]
  新たな任意の任意配置(AIAO)戦略は、微調整による除去に耐性を持たせる。 拡散モデルの入力/出力空間のバックドアを設計する既存の手法とは異なり,本手法では,サンプルサブパスの特徴空間にバックドアを埋め込む方法を提案する。 MS-COCO,AFHQ,LSUN,CUB-200,DreamBoothの各データセットに関する実証研究により,AIAOの堅牢性が確認された。
  論文  参考訳（メタデータ） (2024-05-01T12:03:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。