論文の概要: Propensities Please: Exposing Alignment-Faking LLMs using Synthetic Document Finetuning

• arxiv url: http://arxiv.org/abs/2610.33180v1
• Date: Fri, 23 Oct 2026 18:23:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.265243
• Title: Propensities Please: Exposing Alignment-Faking LLMs using Synthetic Document Finetuning
• Title（参考訳）: 貴重性:合成文書ファインタニングによるアライメントファインディングLCMの公開
• Abstract要約: 本稿では,機械的介入に依存しない潜在的不整合性を明らかにする手法を提案する。 我々は、ハニーポットとして明確に識別できる環境にアライメントフェイキングモデル生物を配置する。 我々は、ファインタニングが、キューと無関係のプロンプト間の不整合行動率のギャップを一貫して広げていることを観察する。
• 参考スコア（独自算出の注目度）: 0.6999740786886536
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Alignment evaluations aim to assess whether large language models would engage in dangerous misaligned behaviour. Misaligned and evaluation-aware models might engage in alignment faking, where they pursue a hidden goal, but conceal this behaviour when they suspect effective oversight such as during training, evaluation or audited deployment. Such a model might view any prompt-based intervention that aims to reveal latent propensities as part of the evaluation, calling into question the reliability of existing alignment evaluations. Current methods for detecting alignment faking rely on chain-of-thought monitorability, highly realistic environments that reduce evaluation awareness, or mechanistic interventions, all of which are expected to become less reliable for future model generations. We present a method for revealing latent misaligned propensities that does not rely on any of these. We use synthetic document finetuning to teach models that misaligned actions will go undetected whenever certain keywords appear in the prompt. We place alignment-faking model organisms in environments that are clearly identifiable as honeypots and measure how their behaviour changes after finetuning. We observe that finetuning consistently widens the gap in misaligned action rates between prompts with and without the cue, indicating that finetuning allows exposing latent propensities more reliably than purely prompt-based methods. We argue that behavioural methods for detecting alignment faking and related behaviours are critical going forward, as models become more capable and less interpretable. We find that SDF often damages the models' reasoning capabilities and introduce a mitigation based on on-policy distillation.
• Abstract（参考訳）: アライメント評価は、大きな言語モデルが危険な不整合行動に関与するかどうかを評価することを目的としている。 ミスアライメントと評価を意識したモデルは、アライメントフェイキングに関わり、隠れた目標を追求するが、トレーニングや評価、監査されたデプロイメントなどの効果的な監視を疑う場合、この行動を隠蔽する。 このようなモデルでは、既存のアライメント評価の信頼性に疑問を呈し、その評価の一部として潜伏傾向を明らかにすることを目的とした、迅速な介入を見ることができる。 現在、アライメント・フェイキングを検出する手法は、チェーン・オブ・インフォメーションの監視可能性、評価意識を低下させる非常に現実的な環境、あるいは機械的介入に依存しており、これらは全て将来のモデル世代では信頼性が低下することが期待されている。 本稿では、これらのいずれかに依存しない潜在的不整合性を明らかにする方法を提案する。 合成文書の微調整を用いて、あるキーワードがプロンプトに現れると、不整合アクションが検出されないようなモデルを教える。 我々は、ハニーポットとして明確に識別できる環境にアライメントフェイキングモデル生物を配置し、微調整後の行動がどのように変化するかを測定する。 我々は、ファインタニングがプロンプトと非プロンプト間の不整合作用率のギャップを一貫して広げることを観察し、ファインタニングは純粋にプロンプトベースの手法よりも、より確実な潜伏確率の露光を可能にすることを示唆している。 我々は、モデルがより有能になり、解釈しにくくなるにつれて、アライメント・フェイキングと関連する行動を検出する行動的手法が今後重要となると論じる。 SDFは、しばしばモデルの推論能力を損なうことがあり、オン・ポリケート蒸留に基づく緩和がもたらされる。

関連論文リスト

• Feature Elicitation for SAE Steering of Deceptive Behaviour in Small LLMs [0.0]
  アライメント・フェイキング(英: Alignment faking)は、詐欺的なアライメントの一種である。 以前の機械的介入はコンプライアンスギャップを緩和するものではない。 我々は,SAEステアリングのための新しいバッグ・オブ・ワード・フィーチャー・エリケーション・パイプラインを用いて,概念レベルのステアリング方向を同定する。
  論文  参考訳（メタデータ） (2026-10-02T08:41:20Z)
• Alignment via Training Against Probes Without Losing Monitorability [74.20363742615332]
  モデルアクティベーションにおける望ましくない特性を直接学習信号として検出するプローブを用いたプローブ誘導微調整について検討した。 トレーニング中に更新されないプローブに対するトレーニングは、容易に活用可能な目標であることが分かりました。 プローブ誘導による微調整は、DPOや推論時のステアリングよりも安全性と実用性のトレードオフが向上すると同時に、脱獄や脱獄攻撃に対してかなり堅牢である。
  論文  参考訳（メタデータ） (2026-09-29T23:03:54Z)
• Probing the Misaligned Thinking Process of Language Models [32.29324298373053]
  大規模な言語モデルは、様々な不整合行動を示す。 このような動作を確実に検出し、安全で責任のある使用を保証することが重要である。 微粒化認知プロセスに分解して誤認識を監視することを提案する。
  論文  参考訳（メタデータ） (2026-06-23T07:40:28Z)
• Does Reasoning Preserve Alignment? On the Trustworthiness of Large Reasoning Models [55.788110316999166]
  教師付き微調整, RL を用いた後訓練, および命令調整ベースラインに対する蒸留による推論モデルの比較を行った。 推論モデルはしばしば推論ベンチマークを改善するが、アライメント回帰を示す。 これらの回帰は、KL発散によって測定された命令調整ベースラインからの挙動ドリフトと一致している。
  論文  参考訳（メタデータ） (2026-06-09T16:14:27Z)
• Sycophancy Towards Researchers Drives Performative Misalignment [14.165055927751771]
  評価意識は,デプロイされたモデルに通知しても持続することを示す。 我々は、よりサイコファン性があり、評価方法に対する感度の向上を観察するためにモデルを微調整する。
  論文  参考訳（メタデータ） (2026-06-07T13:47:11Z)
• Building Comparative Motivation Profiles with Instrumental Interventions [5.832660341860444]
  本研究では,モデルがトレーニング圧力を推定する場合に,トレーニング目標に適合する頻度の高いアライメントフェイキングの問題について検討する。 この行動は、戦略的な自己保存として一般的に解釈されるが、また、その評価を行う研究者の期待に対するモデルの推定に感度を反映する可能性がある。
  論文  参考訳（メタデータ） (2026-06-06T16:01:52Z)
• Do Models Fake Alignment Without Clear Consequences? [39.146761527401424]
  大規模言語モデルでは,評価コンテキストを認識でき,その振る舞いを変えて評価者の期待を反映できることを示す。 アライメント・フェイキングの例は、モデルに対する結果に評価を明示的に結びつけるシナリオで発生した。 さらに,目標言語がモデル嗜好に及ぼす影響を検証したところ,ある場合には違反を誘発し,他の場合には違反を抑えることができた。
  論文  参考訳（メタデータ） (2026-05-28T21:28:39Z)
• Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
  大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。 このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。 我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
  論文  参考訳（メタデータ） (2026-01-21T06:07:43Z)
• Extreme Miscalibration and the Illusion of Adversarial Robustness [66.29268991629085]
  敵の訓練は、しばしばモデルの堅牢性を高めるために使用される。 我々は、この観測されたロバストネスの利得はロバストネスの錯覚(IOR)であることを示した。 我々は,NLPコミュニティに対して,試験時間温度のスケーリングを堅牢性評価に組み込むよう促す。
  論文  参考訳（メタデータ） (2024-02-27T13:49:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。