論文の概要: Path Drift in Large Reasoning Models:How First-Person Commitments Override Safety

• arxiv url: http://arxiv.org/abs/2510.10013v1
• Date: Sat, 11 Oct 2025 04:39:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:29.737749
• Title: Path Drift in Large Reasoning Models:How First-Person Commitments Override Safety
• Title（参考訳）: 大型共振モデルにおける経路ドリフト:初対人制限がいかに安全性を上回るか
• Authors: Yuyi Huang, Runzhe Zhan, Lidia S. Chao, Ailin Tao, Derek F. Wong,
• Abstract要約: ロングCoTモデルにおける推論軌道は、整列された経路からドリフトし、結果として安全性の制約に反する内容となる。 本稿では,認知的負荷増幅,自己ロールプライミング,条件チェーンハイジャックを含む3段階のパスドリフト誘導フレームワークを提案する。 本研究は,トークンレベルのアライメントを超えた長期的推論において,軌道レベルのアライメント監視の必要性を強調した。
• 参考スコア（独自算出の注目度）: 40.92620214527198
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models (LLMs) are increasingly deployed for complex reasoning tasks, Long Chain-of-Thought (Long-CoT) prompting has emerged as a key paradigm for structured inference. Despite early-stage safeguards enabled by alignment techniques such as RLHF, we identify a previously underexplored vulnerability: reasoning trajectories in Long-CoT models can drift from aligned paths, resulting in content that violates safety constraints. We term this phenomenon Path Drift. Through empirical analysis, we uncover three behavioral triggers of Path Drift: (1) first-person commitments that induce goal-driven reasoning that delays refusal signals; (2) ethical evaporation, where surface-level disclaimers bypass alignment checkpoints; (3) condition chain escalation, where layered cues progressively steer models toward unsafe completions. Building on these insights, we introduce a three-stage Path Drift Induction Framework comprising cognitive load amplification, self-role priming, and condition chain hijacking. Each stage independently reduces refusal rates, while their combination further compounds the effect. To mitigate these risks, we propose a path-level defense strategy incorporating role attribution correction and metacognitive reflection (reflective safety cues). Our findings highlight the need for trajectory-level alignment oversight in long-form reasoning beyond token-level alignment.
• Abstract（参考訳）: 大規模言語モデル(LLM)が複雑な推論タスクのためにますますデプロイされるにつれて、Long Chain-of-Thought(Long-CoT)プロンプトが構造化推論の重要なパラダイムとして現れている。 RLHFのようなアライメント技術によって実現された早期の安全保護にもかかわらず、これまで探索されていなかった脆弱性を識別する: Long-CoTモデルにおける軌道の推論は、整列した経路からドリフトし、結果として安全性の制約に違反するコンテンツをもたらす。 この現象をパスドリフトと呼ぶ。 実験分析により, 経路ドリフトの行動的引き金として, 1) 拒絶信号の遅延による目標駆動推論を誘発する第一人物のコミットメント, 2) 表層拡散器がアライメントチェックポイントをバイパスする倫理的蒸発, (3) 条件連鎖エスカレーション。 これらの知見に基づいて,認知的負荷増幅,自己ロールプライミング,条件連鎖ハイジャックを含む3段階のパスドリフト誘導フレームワークを提案する。 各段階は独立に拒絶率を減少させるが、それらの組み合わせは効果をさらに複雑にする。 これらのリスクを軽減するために,役割属性補正とメタ認知的リフレクション(反射型安全手段)を取り入れたパスレベル防衛戦略を提案する。 本研究は,トークンレベルのアライメントを超えた長期的推論において,軌道レベルのアライメント監視の必要性を強調した。

関連論文リスト

• Building a Foundational Guardrail for General Agentic Systems via Synthetic Data [76.18834864749606]
  LLMエージェントは、計画段階で介入するマルチステップタスクを計画できる。 既存のガードレールは主にポスト・エグゼクティブ(英語版)を運用しており、スケーリングが困難であり、計画レベルで制御可能な監督を行う余地がほとんどない。 我々は、良性軌道を合成し、カテゴリーラベル付きリスクを困難に注入し、自動報酬モデルを介して出力をフィルタリングする制御可能なエンジンであるAuraGenを紹介する。
  論文  参考訳（メタデータ） (2025-10-10T18:42:32Z)
• Towards Safe Reasoning in Large Reasoning Models via Corrective Intervention [53.25106308403173]
  既存の手法は、安全推論の独特な重要性を軽視し、信頼性を損なうとともに、悪質なユーザに対して安全でない推論がアクセス可能で、悪質なユーザによって悪用された場合、アプリケーションに潜在的なリスクを生じさせることを示す。 我々は、安全トリガー付きコンプライアンスステップを代入し、強い信号による優先学習のためのペアを構築することで、安全推論を強制するアライメント手法であるIntervened Preference Optimization (IPO)を提案する。
  論文  参考訳（メタデータ） (2025-09-29T07:41:09Z)
• AdvChain: Adversarial Chain-of-Thought Tuning for Robust Safety Alignment of Large Reasoning Models [62.70575022567081]
  本稿では,逆CoTチューニングによる動的自己補正をモデルに教えるアライメントパラダイムであるAdvChainを提案する。 私たちの仕事は、より堅牢で信頼性の高い推論モデルを構築するための新しい方向性を確立します。
  論文  参考訳（メタデータ） (2025-09-29T04:27:23Z)
• LatentGuard: Controllable Latent Steering for Robust Refusal of Attacks and Reliable Response Generation [4.29885665563186]
  LATENTGUARDは、行動アライメントと教師付き潜在空間制御を組み合わせて、解釈可能で正確な安全操縦を行うフレームワークである。 本研究は, 実用性を損なうことなく, 安全性制御性と応答解釈性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2025-09-24T07:31:54Z)
• TRACEALIGN -- Tracing the Drift: Attributing Alignment Failures to Training-Time Belief Sources in LLMs [7.125400292079228]
  大きな言語モデル(LLM)は、人間の値に合わせるように微調整され、しばしばアライメントドリフトを示す。 以前の作業ではアライメント障害が特徴的だったが、これらの障害の根底にあるトレーニングタイムの信念源についてはほとんど知られていない。 TraceAlignは、モデルのトレーニングコーパスの根本原因に安全でない完了をトレースするための統一されたフレームワークである。
  論文  参考訳（メタデータ） (2025-08-04T05:03:35Z)
• Thought Purity: A Defense Framework For Chain-of-Thought Attack [16.56580534764132]
  本稿では,悪意のあるコンテンツに対する抵抗性を高めつつ,操作効率を保ちつつ,その耐性を高めるフレームワークであるThought Purityを提案する。 本手法は,強化学習型推論システムにおけるCoTA脆弱性に対する最初の包括的防御機構を確立する。
  論文  参考訳（メタデータ） (2025-07-16T15:09:13Z)
• Probing the Robustness of Large Language Models Safety to Latent Perturbations [30.16804362984161]
  安全アライメントは、信頼できる人工知能を構築する上で重要な要件である。 我々は、小さな潜伏シフトが、整列モデルにおける安全でない応答を引き起こすことを観察する。 学習中に隠された表現に制御された摂動を注入する微調整戦略であるLayer-wise Adversarial Patch Training (LAPT)を導入する。
  論文  参考訳（メタデータ） (2025-06-19T07:03:05Z)
• Beyond 'Aha!': Toward Systematic Meta-Abilities Alignment in Large Reasoning Models [86.88657425848547]
  大型推論モデル(LRMs)はすでに長い連鎖推論のための潜在能力を持っている。 我々は、自動生成の自己検証タスクを使用して、モデルに推論、帰納、誘拐の3つのメタ能力を持たせることを明確にした。 我々の3つのステージ・パイプラインの個別アライメント、パラメータ空間のマージ、ドメイン固有の強化学習は、命令調整ベースラインと比較して10%以上のパフォーマンス向上を実現します。
  論文  参考訳（メタデータ） (2025-05-15T17:58:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。