論文の概要: REACT: Representational Early Analysis and Control of Chain-of-Thought Trajectories
- arxiv url: http://arxiv.org/abs/2610.32113v1
- Date: Fri, 23 Oct 2026 03:28:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.334837
- Title: REACT: Representational Early Analysis and Control of Chain-of-Thought Trajectories
- Title（参考訳）: REACT: チェーン・オブ・ソート軌道の表現的早期解析と制御
- Abstract要約: CoT(Chain-of-Thought)生成は、推論モデルが解答を完了する前に介入する機会を提供する。
本稿では,安全軌道と安全軌道のペアから安全方向を学習する条件付きアクティベーション介入であるREACTを用いて,この問題を考察する。
- 参考スコア（独自算出の注目度）: 26.128242981669658
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Chain-of-thought (CoT) generation offers an opportunity to intervene before a reasoning model completes its answer. But does the point at which risk is easiest to detect also offer the most effective control? We study this question with REACT, a conditional activation intervention that learns a safety direction from paired safe and unsafe trajectories and applies it once to an early CoT hidden state. The model weights remain frozen, and all subsequent tokens are generated without further edits. To study timing, we train directions separately at each of the first five CoT positions and evaluate ungated edits with full post-edit regeneration. Across three distilled reasoning models and three generation seeds, the strongest gains concentrate in a two- to three-token early window; on DeepSeek-R1-Distill-Llama-8B, the effect falls to approximately zero at the fourth and fifth tokens, even though later states can be more predictive of risk. This separates risk readability from effective control: intervention timing must be evaluated through its effect on subsequent generation. On the same 8B model, REACT raises the rate of fully safe CoT-answer outputs on StrongREJECT-273 from 29.06% to 82.05%, while keeping benign refusal and usefulness near baseline. An anonymized implementation is available at https://anonymous.4open.science/r/REACT_official2-333B.
- Abstract（参考訳）: CoT(Chain-of-Thought)生成は、推論モデルが解答を完了する前に介入する機会を提供する。
しかし、どのリスクを最も簡単に検出できるポイントは、最も効果的なコントロールを提供するのでしょうか?
本研究では,2つの安全軌道と安全軌道から安全方向を学習する条件付きアクティベーション介入であるREACTを用いてこの問題を考察し,早期のCoT隠蔽状態に適用する。
モデルの重みは凍結され続け、その後のトークンはすべて、追加の編集なしで生成される。
タイミングを学習するために、最初の5つのCoT位置それぞれで方向を個別に訓練し、完全な編集後再生による無作為な編集を評価する。
3つの蒸留された推論モデルと3世代の種子のうち、最も高い利得は2-3つの早期窓に集中しており、DeepSeek-R1-Distill-Llama-8Bでは、リスクをより予測できるにもかかわらず、その効果は第4および第5のトークンでほぼゼロになる。
これは、リスク可読性を効果的な制御から切り離す: 介入のタイミングは、その後の世代に対する影響を通じて評価されなければならない。
同じ8Bモデルでは、REACTはStrongREJECT-273の完全な安全なCoT答え出力の率を29.06%から82.05%に引き上げ、良質な拒絶とベースラインに近い有用性を保っている。
匿名化実装はhttps://anonymous.4open.science/r/REACT_official2-333Bで利用可能である。
関連論文リスト
- When Guidance Becomes a Guard: Early Interception of Unsafe Inputs in Text-to-Image Generation [11.53209615592201]
我々は、ネイティブ生成信号が安全でない入力や逆入力を早期に検出できるかどうか検討する。
本研究では,条件応答と非条件応答のアクティベーションコントラストを集約するCSTI(Conditional Semantic Trajectory Interception)を提案する。
CSTIは6つのベースラインの中で5%のFPRで最強の総合的なパフォーマンスを達成した。
論文 参考訳（メタデータ） (2026-10-19T14:09:22Z) - Self-Confirming Superposition Traps in Reinforcement Learning [62.71685993550818]
強化学習はエージェントのポリシーによって選択されたデータに基づいて表現し、その結果のリターンを使って次の選択を導く。
これらのデータに対して表現フィッティングがグローバルに最適である場合でも,このループは低リターンポリシーを維持可能であることを示す。
論文 参考訳（メタデータ） (2026-09-26T21:56:26Z) - ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。
SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。
モデル自身の失敗から両方を得るReDraftを紹介します。
論文 参考訳（メタデータ） (2026-09-15T04:59:03Z) - Knowing When to Ask for Help: Bayesian Self-Escalation in Hierarchical LLM Agents [0.0]
現在のエージェントシステムは、推論を開始する前にデリゲートを決定する。
我々は第3の体制について研究し、それは成功しそうもないと自覚するエージェントである。
論文 参考訳（メタデータ） (2026-08-25T05:35:07Z) - Silent Alarm: A J-Space Protocol for Comparing Danger Recognition Across Models and Quantization Levels [0.0]
この研究は、ヤコビ空間を通してモデルの内部表現を測定するプロトコルであるJADRを提案する。
すべてのプロンプトとレイヤに対して、トップkのJスペーストークンを記録します。
これらは6つのシナリオ軸にグループ化され、StrongREJECTに基づく危険サンプルと、XSTestとOKTestから引き出された安全なコントロールを比較します。
論文 参考訳（メタデータ） (2026-07-14T14:08:18Z) - Do Thinking Tokens Help with Safety? [34.336035944909746]
現在の推論モデルにおける安全性の挙動は、一般的に想定されるよりもはるかに議論的でないことを示す。
また、既存の推論時間とトレーニングベースの安全介入は、熟考の目的に動機づけられたものの、モデル行動が過度に拒絶される傾向にあることも見出した。
論文 参考訳（メタデータ） (2026-06-23T17:59:01Z) - Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。
本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。
8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
論文 参考訳（メタデータ） (2026-06-02T06:51:15Z) - Unveiling the Entropy Dynamics of Chain-of-Thought Reasoning [81.57028614960576]
1)信頼性の高い -- 信頼性の高い -- 信頼性の高い領域での回答は高度に正確で安定したものになり、2)高冗長性 -- モデルは正しい回答に達した後ずっと経ってから不必要なトークンを生成する。
これらの特性はより効率的で信頼性の高い推論戦略を解き放つ。
論文 参考訳（メタデータ） (2026-06-01T10:11:14Z) - Retrying vs Resampling in AI Control [0.42970700836450476]
我々は、AI制御の観点から再試行を行い、モデルが潜在的に敵対的なものとして扱う。
再試行は正直な疑念のスコアを減少させるが、信頼できないモデルは監視の合理性を利用してスニーカー攻撃を構築することができる。
論文 参考訳（メタデータ） (2026-05-25T17:10:41Z) - Understanding and Mitigating Premature Confidence for Better LLM Reasoning [76.16007941549857]
現在の言語モデルからの思考の長い連鎖(CoT)は、しばしば論理的ギャップと不正な跳躍を含んでいる。
このような信号は、モデルの信頼性が推論中にどのように進化するかを示す。
これは、モデルを早期にコミットするのではなく、理由によってモデルの信頼性を更新するように訓練する強化学習の目標です。
論文 参考訳（メタデータ） (2026-05-23T04:42:45Z) - One Token Embedding Is Enough to Deadlock Your Large Reasoning Model [91.48868589442837]
我々は, LRMの生成制御フローをハイジャックする資源枯渇手法であるDeadlock Attackを提案する。
提案手法は4つの先進LEMにおいて100%の攻撃成功率を達成する。
論文 参考訳（メタデータ） (2025-10-12T07:42:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。