論文の概要: Alignment of LRMs via Counter-Aligned Few-Shot Conversation Exposure

• arxiv url: http://arxiv.org/abs/2609.27763v1
• Date: Sun, 16 Aug 2026 22:17:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.960847
• Title: Alignment of LRMs via Counter-Aligned Few-Shot Conversation Exposure
• Title（参考訳）: 対向型Few-Shot Conversation ExposureによるLEMのアライメント
• Abstract要約: 大きな推論モデル(LRM)は、複雑なタスクにおいて強力なパフォーマンスを達成するために、明示的なチェーン・オブ・シンク(CoT)推論と大きなコンテキストウィンドウに依存している。 LRMの推論プロセスは、対向的な数発の会話を事前に予測することで、体系的に制御可能であることを示す。 我々は、この攻撃をSRCF(Steering Reasoning via Counter-Aligned Few-shot Conversations)として形式化し、フレキシブルな会話インタフェースでのみ動作する。
• 参考スコア（独自算出の注目度）: 6.274341206110432
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Reasoning Models (LRMs) rely on explicit chain-of-thought (CoT) reasoning and large context windows to achieve strong performance on complex tasks, but these features also introduce new attack surfaces. We show that LRMs' reasoning processes can be systematically steered by prepending counter-aligned few-shot conversations containing explicit CoT traces, leading to unsafe generations on harmful queries and unwarranted refusals on benign ones. We formalize this attack as SRCF (Steering Reasoning via Counter-Aligned Few-shot Conversations) that operates solely through a flexible conversational interface and requires no access to the model's parameters and gradients. Our key insight is that SRCF exploits an adversarial generalization issue that induces a representation drift, causing the representations of benign and harmful inputs to shift in a similar direction. This observation motivates our post-training defense, ARCF (Aligning Reasoning via Counter-Aligned Few-Shot Conversations), which exposes models to counter-aligned conversational contexts while enforcing aligned targets. ARCF is compatible with existing post-training methods and consistently improves safety and helpfulness without degrading utility.
• Abstract（参考訳）: 大きな推論モデル(LRM)は、複雑なタスクにおいて強力なパフォーマンスを達成するために、明示的なチェーン・オブ・シークレット(CoT)推論と大きなコンテキストウィンドウに依存しているが、これらの機能は新たな攻撃面も導入している。 提案手法は, 有害な問合せに対する安全でない世代や, 良性な質問に対する不当な拒絶を生じるような, 明示的なCoTトレースを含む対向列数発の会話を予知することで, 系統的に制御可能であることを示す。 この攻撃をSRCF(Steering Reasoning via Counter-Aligned Few-shot Conversations)として形式化する。 我々の重要な洞察は、SRCFは、表現のドリフトを誘導する敵の一般化問題を利用して、良性および有害な入力の表現を同様の方向にシフトさせることである。 この観察は、トレーニング後の防御であるARCF(Aligning Reasoning via Counter-Aligned Few-Shot Conversations)を動機付けます。 ARCFは既存のポストトレーニングメソッドと互換性があり、ユーティリティを劣化させることなく、安全性と利便性を一貫して改善する。

関連論文リスト

• Capability-Routed Guard: Defending Large Reasoning Models Against Reasoning-Centric Jailbreaks [6.260656015665084]
  本稿では,大規模推論モデルのためのモデル依存型推論時ガードレールであるCapability-Routed Guard (CRG)を紹介する。 CRGリフレームは、信頼できない推論コンテキストから実行可能な意図を分離し、防御を機能ルーティング問題として促す。 これは多種多様な理性中心のジェイルブレイクを効果的に軽減し、良質なユーティリティを保持し、共通の過剰な問題を回避している。
  論文  参考訳（メタデータ） (2026-08-08T03:40:06Z)
• One Turn Too Late: Response-Aware Defense Against Hidden Malicious Intent in Multi-Turn Dialogue [55.98008208209856]
  マルチターン対話における隠れた悪意のある意図は、大規模言語モデル(LLM)に対する脅威を増大させる 近年の研究では、安全アライメントや外部ガードレールの進歩にもかかわらず、高度なガードレールを備えた近代的な商用モデルでさえも、このような攻撃に対して脆弱であることが示されている。 そこで本研究では,この課題に対処するため,最も早いタイミングで候補応答を届けることによって,蓄積された相互作用が有害な作用を可能にするのに十分であることを示す。
  論文  参考訳（メタデータ） (2026-05-07T03:35:31Z)
• TraceGuard: Process-Guided Firewall against Reasoning Backdoors in Large Language Models [19.148124494194317]
  我々は,小規模モデルを堅牢な推論ファイアウォールに変換するプロセス誘導型セキュリティフレームワークであるTraceGuardを提案する。 提案手法は,推理トレースを信頼できないペイロードとして扱い,詳細な防衛戦略を確立する。 グレーボックス設定における適応的敵に対する堅牢性を実証し、TraceGuardを実用的で低レイテンシなセキュリティプリミティブとして確立する。
  論文  参考訳（メタデータ） (2026-03-02T22:19:13Z)
• AdvChain: Adversarial Chain-of-Thought Tuning for Robust Safety Alignment of Large Reasoning Models [62.70575022567081]
  本稿では,逆CoTチューニングによる動的自己補正をモデルに教えるアライメントパラダイムであるAdvChainを提案する。 私たちの仕事は、より堅牢で信頼性の高い推論モデルを構築するための新しい方向性を確立します。
  論文  参考訳（メタデータ） (2025-09-29T04:27:23Z)
• Reasoning-Augmented Conversation for Multi-Turn Jailbreak Attacks on Large Language Models [53.580928907886324]
  Reasoning-Augmented Conversationは、新しいマルチターンジェイルブレイクフレームワークである。 有害なクエリを良心的な推論タスクに再構成する。 RACEは,複雑な会話シナリオにおいて,最先端攻撃の有効性を実現する。
  論文  参考訳（メタデータ） (2025-02-16T09:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。