論文の概要: Reasoning Models Can Control Their Chains of Thought When They Tell Themselves To
- arxiv url: http://arxiv.org/abs/2610.23257v1
- Date: Fri, 16 Oct 2026 10:31:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.875449
- Title: Reasoning Models Can Control Their Chains of Thought When They Tell Themselves To
- Title（参考訳）: 推論モデルで思考の連鎖を制御できる
- Abstract要約: CoT(Chain-of- Thought)制御性(CoT)は、モデルがCoTの特性を制御できる能力であり、その有用性と信頼性の両面において重要である。
最近の研究は、モデルがユーザープロンプトで与えられたCoT制約に従うかどうかを評価し、モデル間での制御性が極めて低いことを報告している。
この低制御性は、推論モデルがCoTを制御できないことを反映するものではなく、ユーザプロンプトの制約を過度に指定した結果である、と我々は主張する。
- 参考スコア（独自算出の注目度）: 30.810522189983974
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Chain-of-thought (CoT) controllability, the ability of reasoning models to control properties of their CoT, is consequential for both their usefulness and reliable oversight. Recent work evaluates this capability by measuring whether models follow CoT constraints given in the user prompt, and reports very low controllability across models. We argue that this low controllability may not reflect an inherent inability of reasoning models to control their CoT, but instead result from naively specifying constraints in the user prompt. To test this, we introduce Self-Instructed CoT Controllability: a complementary evaluation that places the constraint as a self-instruction inside the model's CoT and measures its ability to follow it. We show that, under self-instruction, models achieve significantly higher controllability than with standard user instructions. Even a generic reminder to follow the user's constraint substantially improves controllability. Moreover, effective self-instructions can be bootstrapped into the reasoning through a simple instruction in the user prompt, enabling improved control even without access to the reasoning channel. Finally, using self-instruction, we demonstrate in a realistic monitoring setup that CoT controllability can be leveraged for monitor evasion, posing a risk to CoT monitorability.
- Abstract（参考訳）: CoT(Chain-of- Thought)制御性(CoT)は、モデルがCoTの特性を制御できる能力であり、その有用性と信頼性の両面において重要である。
最近の研究は、モデルがユーザプロンプトで与えられたCoT制約に従うかどうかを測定して、この能力を評価し、モデル間での制御性が極めて低いことを報告している。
この低制御性は、推論モデルがCoTを制御できないことを反映するものではなく、ユーザプロンプトの制約を過度に指定した結果である、と我々は主張する。
これをテストするために、モデルのCoT内部に制約を自己指示として配置し、それに従う能力を測定する相補的評価であるセルフインストラクト CoT Controllability を導入する。
自己指示下では,モデルが通常のユーザ命令よりもはるかに高い制御性を実現することを示す。
ユーザーの制約に従うための一般的なリマインダーでさえ、制御性を大幅に改善する。
さらに、ユーザプロンプトの簡単な命令を通じて推論に効果的な自己指示をブートストラップすることができ、推論チャネルにアクセスしなくても制御が改善される。
最後に、自己指示を用いることで、CoT制御性が回避監視に活用できることを現実的な監視設定で示し、CoT監視可能性のリスクを生じさせる。
関連論文リスト
- Taming CoT Obfuscation in VLMs: From Mechanistic Evidence to Activation Enforcement [74.92755267784983]
強化学習は、視覚言語モデルにおける推論を改善するが、チェーン・オブ・オファシケーションを誘発することができる。
本稿では, 行動フィードバックとテンプレート関連アクティベーションの標的抑制を組み合わせ, メカニスティック・エンハンスメント(TAME)を用いた標的的アンチ・オブファシケーションを提案する。
VIRL-39k、SPA-VL、および2つのモデルファミリの中で、TAMEはグループ相対政策最適化よりも最大30.9および16.7%のCoT監視性を改善している。
論文 参考訳（メタデータ） (2026-09-21T08:08:56Z) - Does Out-of-Sight Equal Out-of-Mind in CoT Monitorability? [18.08925355421489]
思考の連鎖(CoT)推論は、大きな言語モデルの意思決定の窓口を提供する。
Latent CoTアプローチは、明示的なトークンを少数の連続状態に置き換え、推論コストを下げるが、この監視が依存する読みやすいトレースを削除する。
本稿では,モデルが入力キューのバイアスを悪用する動作のプロキシであるヒントベースの介入設定を用いて,この問題を考察する。
論文 参考訳（メタデータ） (2026-08-05T14:55:23Z) - CIAware-Bench: Benchmarking Control Intervention Awareness Across Frontier LLMs [100.38986535324284]
我々は、フロンティアモデル全体でのtextbfcontrol textbfintervention (CI) の認識を測定するベンチマークである textbfCIAware-Bench を紹介する。
CIAware-Benchは、モデルが自身の軌跡を制御介入によって修正されたものと区別できるかどうかをテストする。
論文 参考訳（メタデータ） (2026-06-09T16:24:16Z) - Training on Documents About Monitoring Leads to CoT Obfuscation [4.971619873738039]
CoT(Chain-of- Thought)モニタリングは、モデル動作を検知する最も有望なツールの1つである。
本研究では,モニタ対応モデルが検出を回避できるかどうかを考察する。
論文 参考訳（メタデータ） (2026-05-14T17:59:01Z) - Compliance versus Sensibility: On the Reasoning Controllability in Large Language Models [46.26628756478016]
大規模言語モデル(LLM)は、事前学習データにおける共用推論パターンを通じて推論能力を取得することが知られている。
コンフリクト中に信頼性スコアが著しく低下するため、推論競合は内部で検出可能であることを示す。
その結果, LLM推論は具体例に固定されているものの, アクティブな機械的介入は論理的スキーマをデータから効果的に切り離すことができることがわかった。
論文 参考訳（メタデータ） (2026-04-29T22:55:40Z) - Taming CATS: Controllable Automatic Text Simplification through Instruction Fine-Tuning with Control Tokens [2.4713807020542773]
自動テキストの簡易化における制御性は、データと評価によって著しく制限される。
本稿では,個別制御トークンを用いた命令微調整に基づくドメインに依存しないCATSフレームワークを提案する。
標準の単純化と類似度指標は制御の計測に不十分であることを示す。
論文 参考訳（メタデータ） (2026-04-02T08:44:17Z) - Noticing the Watcher: LLM Agents Can Infer CoT Monitoring from Blocking Feedback [48.40096834514452]
言語モデルエージェントの内部推論を監督する手法として,Chain-of-Thought(CoT)モニタリングを提案する。
我々は、推論エージェントが彼らのプライベートなCoTが監視下にあると自律的に推測できるかどうかを尋ねる。
フェデラーモデルでは、フィードバックをブロックすることで、このモニターの存在を純粋に推測することができる。
論文 参考訳（メタデータ） (2026-03-14T00:12:14Z) - Reasoning Models Struggle to Control their Chains of Thought [15.734991559303921]
推理モデルは出力制御可能性よりもCoT制御性が著しく低いことを示す。
また,より大規模なモデルではCoT制御性が向上し,RLトレーニングやテスト時間計算,問題問題の増加などにより低下することがわかった。
論文 参考訳（メタデータ） (2026-03-05T22:03:48Z) - AdvChain: Adversarial Chain-of-Thought Tuning for Robust Safety Alignment of Large Reasoning Models [62.70575022567081]
本稿では,逆CoTチューニングによる動的自己補正をモデルに教えるアライメントパラダイムであるAdvChainを提案する。
私たちの仕事は、より堅牢で信頼性の高い推論モデルを構築するための新しい方向性を確立します。
論文 参考訳（メタデータ） (2025-09-29T04:27:23Z) - Beyond 'Aha!': Toward Systematic Meta-Abilities Alignment in Large Reasoning Models [86.88657425848547]
大型推論モデル(LRMs)はすでに長い連鎖推論のための潜在能力を持っている。
我々は、自動生成の自己検証タスクを使用して、モデルに推論、帰納、誘拐の3つのメタ能力を持たせることを明確にした。
我々の3つのステージ・パイプラインの個別アライメント、パラメータ空間のマージ、ドメイン固有の強化学習は、命令調整ベースラインと比較して10%以上のパフォーマンス向上を実現します。
論文 参考訳（メタデータ） (2025-05-15T17:58:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。