論文の概要: Safe Context Switching for Agents in the Wild: Mitigating Subspace Interference via Orthogonal Adaptation
- arxiv url: http://arxiv.org/abs/2610.05219v1
- Date: Sun, 04 Oct 2026 13:39:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 22:31:47.442514
- Title: Safe Context Switching for Agents in the Wild: Mitigating Subspace Interference via Orthogonal Adaptation
- Title(参考訳): 野生のエージェントに対する安全なコンテキストスイッチング:直交適応による部分空間干渉の軽減
- Abstract要約: 論理的タスクの標準的な微調整は、アライメントベンチマークにおいて23.3%の干渉ペナルティをもたらす可能性があることを示す。
我々は、推論と安全性のスペクトル独立を強制するスペクトル正規化フレームワークであるAURAを提案する。
- 参考スコア(独自算出の注目度): 0.42970700836450487
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most Large Language Models exhibit a fundamental tension between two sequential tasks, such as logical reasoning and safety alignment. The high-variance internal states required for sophisticated Chain-of-Thought (CoT) deduction can geometrically interfere with latent representations encoding safety constraints. We identify this phenomenon as Sequential Subspace Interference, showing that standard fine-tuning on logical tasks such as multi-step mathematics and code generation can result in a 23.3% interference penalty on alignment benchmarks, substantially weakening the model's safety priors. This Reasoning Drift is not adequately captured by current adaptation methods because gradients for logical tasks are rarely orthogonal to safety objectives. To address this issue, we propose AURA (Adaptive Unique Residual Allocation), a spectral regularization framework that enforces Spectral Independence between reasoning and safety. By explicitly estimating the null space of the alignment manifold and constraining reasoning updates to its orthogonal complement, AURA enables models to improve logical reasoning without compromising safety. Empirically, AURA recovers 23.0% of the lost performance while preserving greater than 0.98 cosine fidelity to the safe state, demonstrating that reasoning and alignment can be effectively decoupled through geometric regularization.
- Abstract(参考訳): ほとんどの大規模言語モデルは、論理的推論や安全性の整合性といった2つのシーケンシャルなタスクの間に根本的な緊張関係を示す。
高度なChain-of-Thought(CoT)推論に必要な高分散内部状態は、安全制約を符号化する潜在表現に幾何学的に干渉することができる。
この現象を逐次部分空間干渉(Sequential Subspace Interference)と同定し、多段階数学やコード生成などの論理的タスクの標準的な微調整により、アライメントベンチマークにおける23.3%の干渉ペナルティが得られ、モデルの安全性を著しく低下させることを示した。
この推論ドリフトは、論理的タスクの勾配が安全目的と直交することが滅多にないため、現在の適応法によって適切に捉えられていない。
この問題に対処するため,AURA(Adaptive Unique Residual Allocation)を提案する。
アライメント多様体の零空間を明示的に推定し、直交補数に対する推論の更新を制限することにより、AURA はモデルが安全性を損なうことなく論理的推論を改善することができる。
実験的に、AURAは失った性能の23.0%を回復し、0.98コサインの忠実度以上を安全な状態に保ち、推論とアライメントは幾何学的正則化によって効果的に分離できることを示した。
関連論文リスト
- VACS: Value-Aligned Compositional Shielding for Multi-Agent Reasoning [4.0604823050005345]
ハイテイク領域におけるマルチエージェント推論システムは正確かつ安全でなければならない。
既存の方法は、行動から各エージェントの暗黙の値の原則的推論を共同で提供するものではない。
VacS(Value-Aligned Compositional Shielding)は,3つすべてに対処する4層フレームワークである。
論文 参考訳(メタデータ) (2026-08-07T23:20:03Z) - Greedy Coordinate Diffusion: Effective and Semantically Coherent Adversarial Attacks via Diffusion Guidance [48.34904668359272]
大規模言語モデルに対するアドリアック攻撃は、広範な研究にもかかわらず、実用的影響が限られている。
本稿では,Greedy Coordinate Diffusion(GCD)について紹介する。
GCDは、敵の本来の意図に低い難易度と高い意味的固執を維持している。
論文 参考訳(メタデータ) (2026-06-14T01:18:53Z) - LASAR: Latent Adaptive Semantic Aligned Reasoning for Generative Recommendation [33.48046116606003]
大規模言語モデル(LLM)において、潜在推論が効果的なパラダイムとして出現した
SFT-then-RLフレームワークであるLASAR(Latent Adaptive Semantic Aligned Reasoning)を提案する。
3つの実世界のデータセットの実験は、LASARがすべてのベースラインを上回っていることを示している。
論文 参考訳(メタデータ) (2026-05-11T08:52:53Z) - Mitigating Safety Tax via Distribution-Grounded Refinement in Large Reasoning Models [63.368505631152594]
安全調整は、大きな推論モデル(LRM)の一般的な推論能力を乱す安全税を発生させる。
LRMの安全アライメントに使われる既存のデータセットは、通常、外部のLRMまたは人間のラベルから安全推論の痕跡と回答を蒸留することによって構築される。
本稿では,DGRと呼ばれる安全アライメントデータセット構築手法を提案する。DGRは,既存のアウト・オブ・ディストリビューション型安全推論データセットを改良し,目標のLLM内部分布に適合させる。
論文 参考訳(メタデータ) (2026-02-02T14:18:48Z) - How Does Prefix Matter in Reasoning Model Tuning? [57.69882799751655]
推論(数学)、コーディング、安全性、事実性の3つのコアモデル機能にまたがる3つのR1シリーズモデルを微調整します。
その結果,プレフィックス条件付きSFTでは安全性と推論性能が向上し,Safe@1の精度は最大で6%向上した。
論文 参考訳(メタデータ) (2026-01-04T18:04:23Z) - Boundary-to-Region Supervision for Offline Safe Reinforcement Learning [56.150983204962735]
バウンダリ・トゥ・レギオン(Bundary-to-Region, B2R)は、コスト信号による非対称な条件付けを可能にするフレームワークである。
B2Rは、CTGを固定された安全予算の下で境界制約として再定義し、すべての実行可能な軌道のコスト分布を統一する。
実験の結果,B2Rは38項目中35項目の安全制約を満たすことがわかった。
論文 参考訳(メタデータ) (2025-09-30T03:38:20Z) - Adaptive Dual Uncertainty Optimization: Boosting Monocular 3D Object Detection under Test-Time Shifts [80.32933059529135]
TTA(Test-Time Adaptation)メソッドが出現し、推論中にターゲット分布に適応する。
我々は、堅牢なM3ODの両不確実性を共同で最小化するために設計された、最初のTTAフレームワークであるDual Uncertainity Optimization (DUO)を提案する。
並列に,明瞭な意味的手がかりを持つ領域における幾何学的コヒーレンスを保存する意味認識型正規場制約を設計する。
論文 参考訳(メタデータ) (2025-08-28T07:09:21Z) - Advancing Neural Network Verification through Hierarchical Safety Abstract Interpretation [52.626086874715284]
我々は、安全でない出力の階層構造を検証する抽象的DNN検証と呼ばれる新しい問題定式化を導入する。
出力到達可能な集合に関する抽象的解釈と推論を活用することにより,形式的検証プロセスにおいて,複数の安全性レベルを評価することができる。
我々の貢献には、新しい抽象的安全性の定式化と既存のアプローチとの関係を理論的に探求することが含まれる。
論文 参考訳(メタデータ) (2025-05-08T13:29:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。