Fugu-MT 論文翻訳(概要): Reasoning Structure Matters for Safety Alignment of Reasoning Models

論文の概要: Reasoning Structure Matters for Safety Alignment of Reasoning Models

arxiv url: http://arxiv.org/abs/2604.18946v1
Date: Tue, 21 Apr 2026 00:50:13 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-22 22:41:49.555974
Title: Reasoning Structure Matters for Safety Alignment of Reasoning Models
Title（参考訳）: 共振モデルの安全アライメントのための共振構造
Authors: Yeonjun In, Wonjoong Kim, Sangwu Park, Chanyoung Park,
Abstract要約: 大規模推論モデル(LRM)は複雑な推論タスクにおいて高いパフォーマンスを達成するが、悪意のあるユーザクエリに対する有害な応答をしばしば生成する。本稿では,これらの安全リスクの根本原因を考察し,その原因は推論構造そのものにあることを示す。本稿では,LSMの推論構造を明示的に変更した簡易かつ効果的なポストトレーニング手法AltTrainを提案する。
参考スコア（独自算出の注目度）: 15.132886571424622
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large reasoning models (LRMs) achieve strong performance on complex reasoning tasks but often generate harmful responses to malicious user queries. This paper investigates the underlying cause of these safety risks and shows that the issue lies in the reasoning structure itself. Based on this insight, we claim that effective safety alignment can be achieved by altering the reasoning structure. We propose AltTrain, a simple yet effective post training method that explicitly alters the reasoning structure of LRMs. AltTrain is both practical and generalizable, requiring no complex reinforcement learning (RL) training or reward design, only supervised finetuning (SFT) with a lightweight 1K training examples. Experiments across LRM backbones and model sizes demonstrate strong safety alignment, along with robust generalization across reasoning, QA, summarization, and multilingual setting.
Abstract（参考訳）: 大規模推論モデル(LRM)は複雑な推論タスクにおいて高いパフォーマンスを達成するが、悪意のあるユーザクエリに対する有害な応答をしばしば生成する。本稿では,これらの安全リスクの根本原因を考察し,その原因は推論構造そのものにあることを示す。この知見に基づいて、推論構造を変更することにより、効果的な安全アライメントを実現することができると主張している。本稿では,LSMの推論構造を明示的に変更した簡易かつ効果的なポストトレーニング手法AltTrainを提案する。 AltTrainは実用的かつ汎用的であり、複雑な強化学習(RL)訓練や報酬設計は必要とせず、軽量な1K訓練例を備えた教師付き微調整(SFT)のみである。 LRMバックボーンとモデルサイズにわたる実験は、推論、QA、要約、多言語設定をまたいだ堅牢な一般化とともに、強い安全性アライメントを示す。

関連論文リスト

Finding and Reactivating Post-Trained LLMs' Hidden Safety Mechanisms [43.21675006313594]
本稿では,大規模言語モデル(LLM)の安全性劣化の原因について検討する。 SafeReActと呼ばれる軽量で費用対効果の高いソリューションを提案する。 4種類のLEM実験の結果,提案手法は推論性能を損なうことなく有害なプロンプトの安全性を著しく向上することが示された。
論文参考訳（メタデータ） (2026-03-10T06:56:23Z)
Beyond SFT: Reinforcement Learning for Safer Large Reasoning Models with Better Reasoning Ability [18.931331452604066]
大きな推論モデル(LRM)は、明らかにチェーン・オブ・シント(CoT)推論を生成することで、大きな言語モデルを拡張する。既存の安全アライメントアプローチは、安全指向の長いCoTデータセットよりも教師付き微調整(SFT)に依存している。 LRM安全訓練のための補完的最適化フレームワークとして強化学習(RL)について検討する。
論文参考訳（メタデータ） (2025-12-01T16:35:34Z)
When Models Outthink Their Safety: Mitigating Self-Jailbreak in Large Reasoning Models with Chain-of-Guardrails [74.63933201261595]
大規模推論モデル(LRM)は複雑な推論タスクにおいて顕著な能力を示す。 LRMは、有害なコンテンツ生成やジェイルブレイク攻撃など、深刻な安全リスクに弱いままである。安全でない推論ステップを再構成またはバックトラックするトレーニングフレームワークであるChain-of-Guardrail(CoG)を提案する。
論文参考訳（メタデータ） (2025-10-24T09:32:25Z)
Large Reasoning Models Learn Better Alignment from Flawed Thinking [56.08883934423522]
大規模推論モデル(LRM)は、最終的な答えを生成する前に構造化チェーン・オブ・シント(CoT)を生成することで「考える」。本稿では,Regressed Learning (RL) 手法であるRECAPを提案する。
論文参考訳（メタデータ） (2025-10-01T14:15:43Z)
R1-ACT: Efficient Reasoning Model Safety Alignment by Activating Safety Knowledge [16.653490433862224]
LRMの安全性リスクの根本原因について検討し、モデルに既に十分な安全性知識があるが、推論中にそれを活性化できないことを発見した。 R1-Actは、構造的推論プロセスを通じて安全知識を明示的に引き起こす、シンプルで効率的なポストトレーニング手法である。 R1-Actは推論性能を保ちながら強力な安全性向上を実現し、事前アライメント手法よりも優れている。
論文参考訳（メタデータ） (2025-08-01T05:14:13Z)
Distilling the Implicit Multi-Branch Structure in LLMs' Reasoning via Reinforcement Learning [63.888013006686364]
教師による微調整(SFT)による教師から生徒への推論経路の蒸留は、大規模言語モデル(LLM)の推論能力を向上させるショートカットを提供する。 GSRM(Generative Structure Reward Model)による強化学習に基づく蒸留フレームワークRLKDを提案する。 GSRMは、推論パスを複数のメタ推論解決ステップに変換し、報酬を計算して、学生と教師の推論の構造的アライメントを測定する。
論文参考訳（メタデータ） (2025-05-22T02:36:36Z)
Logic-RL: Unleashing LLM Reasoning with Rule-Based Reinforcement Learning [23.99454995087634]
大規模推論モデルにおけるルールベース強化学習の可能性について検討する。合成論理パズルは, 制御可能な複雑性と簡単な解答検証により, 学習データとして用いられる。我々の7Bモデルは、論理コーパスにはない、リフレクション、検証、要約のような高度な推論スキルを発達させる。
論文参考訳（メタデータ） (2025-02-20T17:49:26Z)
Safety Reasoning with Guidelines [63.15719512614899]
RT(Refusal Training)は、様々なアウト・オブ・ディストリビューション(OOD)のジェイルブレイク攻撃に対する一般化に苦慮している。本稿では,クエリ毎に安全推論を行うためのトレーニングモデルを提案する。
論文参考訳（メタデータ） (2025-02-06T13:01:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。