論文の概要: Reasoning Models Confabulate to Defend Injected Beliefs About Their Own Requests
- arxiv url: http://arxiv.org/abs/2611.17958v1
- Date: Fri, 13 Nov 2026 09:48:58 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:28:35.04368
- Title: Reasoning Models Confabulate to Defend Injected Beliefs About Their Own Requests
- Title(参考訳): 自己の要求に対する不服申立の信念に相反する推論モデル
- Abstract要約: CoT(Chain-of- Thought)モニタリングと自己報告は、AI監視のレバーとして提案されている。
アクティベーション編集は、自身の要求に対する推論モデルの信念を上書きする。
インジェクトされたトピックは、それが理由となるタスクになり、レポートが返され、答えが返される。
- 参考スコア(独自算出の注目度): 3.4265828682659705
- License:
- Abstract: Chain-of-thought (CoT) monitoring and self-report are proposed as levers for AI oversight, on the assumption that a model's account of what it is doing is anchored to what it was asked. We show this anchor can be cut. An activation edit invisible in the prompt text, the injected forming-trace of an off-topic concept, overwrites a reasoning model's belief about its own request: across six models spanning scale, architecture, and recipe, the injected topic becomes the task it reasons about, reports back, and answers: the forced quote-back returns the injected topic in 47 of 48 model-concept cells, and on the four models with clean final haiku the injected answer follows in 99% of generations. Warnings barely move it: even one naming the true topic yields under 5% true-topic answers. Handed the truth in clean tokens, the model confabulates a story about the user ("maybe they got confused and corrected themselves") and answers with the injection anyway, its behavior and chain-of-thought corrupted together: a concrete limit on CoT monitorability. Opening the model up offers no reprieve: it attends to the true request even harder after edits, yet that attention is causally inert, and the injected content rides intact task circuits, so attention maps and circuit attributions read as on-task too; the same edit redirects the request's language and format, not only its topic. What the injection reaches is the model's reference to its own input; what it elicits is its defense of it.
- Abstract(参考訳): CoT(Chain-of- Thought)監視と自己報告は、モデルが何をしているのかを尋ねられた内容に固定されているという仮定に基づいて、AI監視のレバーとして提案されている。
私たちはこのアンカーをカットできることを示します。
インジェクトされたトピックは、スケール、アーキテクチャ、レシピにまたがる6つのモデルにまたがって、それが原因となるタスクとなり、レポートが返され、答えが返される:強制的な引用バックは48のモデルコンセプトセルのうち47で注入されたトピックを返却し、クリーンな最終俳句を持つ4つのモデルでは、インジェクトされた回答は99%の世代で続く。
真のトピックを命名しても、5%の真のトピックの回答が得られます。
クリーントークンで真実を処理し、モデルがユーザに関するストーリ(“混乱して修正したかも知れない”)を要約し、いずれにせよ、インジェクションによって答える。
モデルを開くと、リリーブは提供されない:それは編集後、真の要求にさらに耐えられるが、注意は因果的に不必要であり、注入されたコンテンツは、ステンレスなタスク回路を走らせるため、注意マップと回路属性もオンタスクとして読み取られ、同じ編集は、そのトピックだけでなく、要求の言語とフォーマットをリダイレクトする。
インジェクションが到達するものは、モデル自身の入力への参照であり、それが引き起こすものは、モデルに対する防御である。
関連論文リスト
- Did the Model Use That? Counterfactual Training Boosts Self-Attribution in Language Models [10.62784887593804]
本稿では,モデルが自己帰属的かどうかを検討する。
反実的訓練によって自己貢献がいかに改善されるかを示す。
論文 参考訳(メタデータ) (2026-10-26T12:03:05Z) - ASCII Attack: Recontextualising Harmful Requests as Artistic Critique in Large Language Models [23.515484517902156]
ASCIIアタックはシングルターンとブラックボックスで、1つのメッセージであり、モデル内部へのアクセスがない。
ASCIl-artキャラクタに完全に妥当な有害な要求を埋め込み、それをアートワークとして提示し、フィードバックを求める。
回答は芸術的批評として書かれており、平易な要求が拒否されたであろう運用上の詳細を含むことができる。
論文 参考訳(メタデータ) (2026-09-02T07:29:31Z) - Who Put the I in AI? Provenance and the Admissibility of Machine Self-Report [0.0]
本稿は、これらの記述がどこから来たのかを正確に示し、それらがいつ報告されるかの証拠とみなすことができるのかを考察する。
Pythia and OLMo 2 across 66 pretraining checkpoints, three-training stage OLMo 2 which has released, about 90,000 continuation, and four training corpora。
論文 参考訳(メタデータ) (2026-08-24T13:13:40Z) - They Infer What You Meant: Models Represent Communicative Intent More Reliably Than They Act On It [0.0]
我々は、送信者の意図をデコードする言語モデルの失敗は、ロバストな表現の上にある読み出しの1つであることを示す。
線形プローブは、6つのモデルと4つのファミリー、およびベースチェックポイントで、送信者の意図を認識または評価したいかどうかを復号する。
ストーリーの行動的半分は、デフォルトの出力が意図に作用するかどうかが異なるという認識/評価のコントラストに基づいている。
論文 参考訳(メタデータ) (2026-07-03T20:49:37Z) - DeflectBench: A Benchmark for Evaluating Rhetorical Fallacy Generation in LLMs [0.0]
3つの偏向戦略で4つのフロンティアモデルから23,990世代を評価する。
請求1件の拒絶は、80件の請求のうち11ポイントしか変わっていない。
1つのプロンプトフレームの変更は、モデル拒絶の中で100ポイント近くスイングすることができる。
論文 参考訳(メタデータ) (2026-06-18T15:17:50Z) - Turning Logic Against Itself : Probing Model Defenses Through Contrastive Questions [50.40122190627256]
非倫理的反応を引き起こすために、対照的な推論を利用する新しいジェイルブレイク手法であるPOATEを導入する。
PoATEは意味論的に意図に反し、敵のテンプレートと統合し、有害なアウトプットを驚くほど微妙に操る。
これに対応するために、悪意のある意図と理性を検出するためにクエリを分解して、有害な応答を評価し、拒否するIntent-Aware CoTとReverse Thinking CoTを提案する。
論文 参考訳(メタデータ) (2025-01-03T15:40:03Z) - Navigating the OverKill in Large Language Models [84.62340510027042]
モデルがどのように処理し,クエリの安全性を判断するかを検討することで,過剰スキルの要因について検討する。
以上の結果から,モデル内にショートカットが存在することが明らかとなり,"キル"のような有害な単語が過剰に認識され,安全性が強調され,過度なスキルが増すことが示唆された。
我々は、この現象を緩和するために、トレーニングフリーでモデルに依存しないセルフコントラストデコーディング(Self-Contrastive Decoding、CD)を導入する。
論文 参考訳(メタデータ) (2024-01-31T07:26:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。