論文の概要: SIGMA: Self-Improving Alignment Generalization from a Model Spec

• arxiv url: http://arxiv.org/abs/2610.07935v1
• Date: Tue, 06 Oct 2026 08:09:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.883302
• Title: SIGMA: Self-Improving Alignment Generalization from a Model Spec
• Title（参考訳）: SIGMA:モデル仕様からの自己改善アライメント一般化
• Abstract要約: LLMエージェントは複雑なタスクを実行する能力がますます高まっている。 これにより、適切な安全アライメントなしに能力が増大するリスクが増大する。 我々は、アライメント自己改善を可能にするデータ生成およびトレーニングパイプラインであるSIGMAを提案する。
• 参考スコア（独自算出の注目度）: 67.90375426350123
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM agents are increasingly capable of executing complex tasks and of recursively improving themselves on easy-to-verify objectives such as software engineering and mathematics. Since alignment is much harder to verify, this creates a growing risk of capabilities increasing without appropriate safety alignment, especially as capabilities expand to auto-research and cybersecurity. Existing approaches focus on capability self-improvement using verifiable feedback or on alignment training with supervision from stronger models or curated data, creating an external supervision bottleneck for alignment. We ask whether current models can improve their own safety alignment, and propose SIGMA, a data generation and training pipeline enabling alignment self-improvement that generalizes to out-of-distribution settings. Given only a "Model Spec" stating the model's desired behavior, SIGMA leverages a model's reasoning capabilities to strengthen its own safety reasoning. SIGMA first performs spec-guided task synthesis, using the candidate model as a task designer agent to generate diverse alignment dilemma scenarios and convert them into training tasks that stress-test its understanding of the Model Spec. Next, SIGMA conducts self-judged alignment training through supervised fine-tuning and rubric-based reinforcement learning with the model itself as the reward model. Despite training only on single-turn chat data, SIGMA improves safety alignment in multi-turn agentic environments (AgentHarm harmfulness decreases from 22.6 to 14.8; Agentic Misalignment decreases from 79.1 to 3.8), outperforms Deliberative Alignment and Constitutional AI baselines, and retains general capability. Analyses show that a Model Spec balancing harmlessness and helpfulness, test-time reasoning for safety deliberation, and high-quality rubrics from SIGMA's task designer agent are crucial for effective self-improvement.
• Abstract（参考訳）: LLMエージェントは、複雑なタスクを実行し、ソフトウェア工学や数学のような、容易に検証可能な目的に対して再帰的に改善することができる。 アライメントの検証は非常に困難であるため、特に自動検索やサイバーセキュリティへの機能拡張に伴い、適切な安全アライメントなしに能力が増加するリスクが増大する。 既存のアプローチでは、検証可能なフィードバックを使用した自己改善や、より強力なモデルやキュレートされたデータからの監視によるアライメントトレーニングに重点を置いて、アライメントのための外部監視ボトルネックを作成しています。 我々は、現在のモデルが自身の安全アライメントを改善することができるかどうかを問うとともに、アウト・オブ・ディストリビューション設定に一般化するアライメント自己改善を可能にするデータ生成およびトレーニングパイプラインであるSIGMAを提案する。 モデルの望ましい振る舞いを記述した"モデル仕様"のみを前提として、SIGMAはモデルの推論能力を活用して、自身の安全性推論を強化する。 SIGMAはまずスペック誘導タスク合成を行い、候補モデルをタスクデザイナエージェントとして使用し、多様なアライメントジレンマシナリオを生成し、それらをモデル仕様の理解をストレステストするトレーニングタスクに変換する。 次に、SIGMAは、モデル自体を報酬モデルとして、教師付き微調整およびルーリックに基づく強化学習を通じて自己判断アライメントトレーニングを行う。 SIGMAはシングルターンチャットデータのみをトレーニングしているが、マルチターンエージェント環境での安全性のアライメントを改善する(AgentHarmの有害度は22.6から14.8に低下し、エージェントのミスサライメントは79.1から3.8に低下し、デリバティブアライメントとコンスティチューションAIのベースラインを上回り、一般的な能力を維持している)。 分析の結果,SIGMAのタスクデザイナエージェントによるモデルスペックの無害性と有用性のバランス,安全性検討のためのテストタイム推論,高品質なルーブリックが,効果的な自己改善に不可欠であることが示唆された。

関連論文リスト

• SelfOp: An Optimization Algorithm for Self-Improving Security Agents [25.760960445642922]
  SelfOpはフリーズされたセキュリティエージェントのタスクコンテキストを自動的に改善するアルゴリズムである。 エラー信号は評価器、エージェントの軌道、およびその振る舞いを形成するコンテキストアーティファクトを通じて後方に伝播する。 SelfOp は GPT-5.4-mini の 17 点自己改善を達成し、フロンティア GPT-5.4 のベースラインを 6 点超え、GPT-5.4 の 18.5 点自己改善を達成している。
  論文  参考訳（メタデータ） (2026-09-19T05:51:27Z)
• CyberFactory: Scaling Cyber Security Capabilities with Instances from the Wild [49.44069582581181]
  CyberFactoryは、CVEを含む公開脆弱性アーティファクトをワイルドから実行可能で検証可能なタスクインスタンスに変換する。 再利用可能な脆弱性分析スキルを使用して、ソースインスペクション、ドメイン前の問題解決、エビデンスベースのバリデーションを通じて教師を指導する。 CyberGymでは1時間の予算で52.4%のPass@1に達し、Qwen3.5ベースモデルを+22.8ポイント改善した。
  論文  参考訳（メタデータ） (2026-08-24T12:30:10Z)
• Incentive-Aware AI Safety via Strategic Resource Allocation: A Stackelberg Security Games Perspective [31.55000083809067]
  私たちは、ゲーム理論による抑止がAIを積極的に監視し、リスクを認識し、操作に対して回復力を与える方法を示します。 本稿では,(1)データ/フィードバック中毒に対するトレーニング時間監査,(2)制約されたレビュアーリソースによる事前デプロイ評価,(3)敵環境における堅牢なマルチモデル展開について報告する。
  論文  参考訳（メタデータ） (2026-02-06T23:20:26Z)
• Steering Externalities: Benign Activation Steering Unintentionally Increases Jailbreak Risk for Large Language Models [62.16655896700062]
  活性化ステアリングは大規模言語モデル(LLM)の有用性を高める技術である 重要かつ過度に調査された安全リスクを無意識に導入することを示します。 実験によると、これらの介入は強制乗算器として機能し、ジェイルブレイクに新たな脆弱性を発生させ、標準ベンチマークで攻撃成功率を80%以上向上させる。
  論文  参考訳（メタデータ） (2026-02-03T12:32:35Z)
• Sycophancy Mitigation Through Reinforcement Learning with Uncertainty-Aware Adaptive Reasoning Trajectories [58.988535279557546]
  適応推論トラジェクトリを用いたtextbf sycophancy Mitigation を提案する。 SMARTは,分布外の入力に対して強い性能を維持しながら,サイコファンティクスの挙動を著しく低下させることを示した。
  論文  参考訳（メタデータ） (2025-09-20T17:09:14Z)
• Can Large Reasoning Models Self-Train? [51.0277533541394]
  多数決投票を簡単な自己フィードバック機構として利用し、強化学習において自己学習が持続できるかどうかを検討する。 この基本的なアプローチは、モデルの推論性能だけでなく、次のRLイテレーションでより良い品質フィードバックを生成する能力も改善します。 しかし、我々の分析では、このような自己学習パラダイムの限界も明らかにしています - 自己回帰の長いRLは、報酬のハッキングにつながるため、突然、そして完全なパフォーマンスが崩壊します。
  論文  参考訳（メタデータ） (2025-05-27T17:16:00Z)
• Trust, But Verify: A Self-Verification Approach to Reinforcement Learning with Verifiable Rewards [67.86091419220816]
  大規模言語モデル(LLM)は複雑な推論において非常に有望である。 一般的な問題は表面的な自己回帰であり、モデルが自身の出力をしっかりと検証できない。 本稿では、RISE(Reinforce Reasoning with Self-Verification)という新しいオンラインRLフレームワークについて紹介する。
  論文  参考訳（メタデータ） (2025-05-19T17:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。