論文の概要: Recognition-Refusal Misalignment in LLMs: Why Models Answer Structurally Unanswerable Questions
- arxiv url: http://arxiv.org/abs/2608.29109v1
- Date: Sat, 29 Aug 2026 07:38:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:30.840339
- Title: Recognition-Refusal Misalignment in LLMs: Why Models Answer Structurally Unanswerable Questions
- Title（参考訳）: LLMにおける認識と拒絶の相違:なぜモデルが構造的に解決不可能な疑問に答えるのか
- Abstract要約: 大規模言語モデルは、cot(-540) の計算や (1).startswith("1") の評価など、構造的に解決不可能な疑問に答えることが多い。
この失敗は、認識の欠如を反映しているか、認識から棄権へのルーティングに失敗するかを問う。
1.7Bから70Bパラメータの命令調整されたモデル全体で、隠れた状態の1つの線形方向は、構造的に不可能な数学とコードプロンプトとを分離する。
- 参考スコア（独自算出の注目度）: 3.596084005285064
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models often answer structurally unanswerable questions, such as computing cot(-540°) or evaluating (1).startswith("1"), instead of abstaining. We ask whether this failure reflects missing recognition or failed routing from recognition to abstention. Across instruction-tuned models from 1.7B to 70B parameters, a single linear direction in the hidden state separates answerable from structurally impossible math and code prompts, showing that models represent impossibility before generation. Yet this recognition direction is nearly orthogonal to the canonical safety-refusal direction that mediates trained harmful-content refusal. An in-domain behavior-defined invalidity-aware direction is closer to recognition, but only partially aligned with it, and remains near-orthogonal to safety refusal. Generation-time steering along the recognition direction changes invalidity-aware behavior bidirectionally and dose-responsively on structural math and code cells, while random directions do not. Base/instruct comparisons further show that the low-cosine geometry is already present at the pretraining endpoint. The confident-on-impossible failure is therefore better explained as a routing failure than as an encoding failure: the model has a usable "no admissible answer" signal, but the safety-refusal pathway is not aligned to use it.
- Abstract（参考訳）: 大規模言語モデルは、cot(-540°)の計算や(1)の評価など、構造的に解決不可能な疑問に答えることが多い。
startwith("1") は abstaining ではなく。
この失敗は、認識の欠如を反映しているか、認識から棄権へのルーティングに失敗するかを問う。
1.7Bから70Bパラメータの命令調整されたモデル全体において、隠れた状態の1つの線形方向は、構造的に不可能な数学やコードプロンプトから解答可能であり、生成前にモデルが不可能であることを示す。
しかし、この認識方向は、訓練された有害な内容の拒絶を媒介する標準的安全拒否方向とほぼ直交している。
ドメイン内の振る舞い定義による無効性認識の方向は認識に近づいたものの、部分的には一致せず、安全の拒絶とほぼ直交している。
認識方向に沿った生成時のステアリングは、ランダムな方向がなければ、構造数学やコード細胞に対して双方向および線量応答的に無効性認識の振る舞いを変化させる。
ベース/インストラクタ比較は、事前学習エンドポイントに既に低コサイン幾何学が存在することを示している。
したがって、信頼できない障害は、符号化失敗よりもルーティング障害としてよりよく説明される:モデルには"許容できる応答がない"シグナルがあるが、安全拒否経路はそれを使用するように整列していない。
関連論文リスト
- Curved Inference II: Sleeper Agent Geometry - Extending Interpretability Beyond Probes [0.0]
本稿では,安全訓練を通じて人工バックドアが持続し,99%の精度で線形プローブで検出可能であることを示す,ArthhropicのSleeper Agents研究を拡張した。
人工的なトリガーや教師付きバックドア挿入を使わずに、現実的な偽装推論をシミュレートするマルチターンコンテキストウィンドウを用いた自然主義的手法を提案する。
幾何学的構造は意味分類を確実に予測し、5つのプロンプト戦略と2つのモデルファミリーの面面積に統計的に有意な差がある。
論文 参考訳（メタデータ） (2026-08-25T03:51:20Z) - Broken Symmetry in LLM Refusal: Answer Release Is More Local Than Refusal Restoration [24.010665397925333]
言語モデルがプロンプトに答えることを拒否した場合、正しい答えが内部表現から削除されるか、単に出力層で抑圧されるかは不明確である。
この機構を制御された無条件設定を用いて検討し, 双方向アクティベーションパッチのための完全一致の解答と拒否軌道を導出する。
論文 参考訳（メタデータ） (2026-08-16T14:47:33Z) - What Accuracy and Gradient Cosine Miss: Evaluating Feedback Alignment via Scale Stability, Reference Validity, and Depth Utility [48.10132234701036]
本稿では,3つのチェック(スケール安定性,参照妥当性,深度ユーティリティ)に基づく診断評価プロトコルを提案する。
複数のアーキテクチャや手法にまたがって、我々のプロトコルは広い校正マージンを持つ全ての障害を識別する。
論文 参考訳（メタデータ） (2026-06-19T06:04:17Z) - Actionable Activation Directions for Detecting and Mitigating Emergent Misalignment Across Language Model Families [0.0]
安全性の低いコード上の微調整言語モデルは、内部構造が不十分な創発的ミスアライメントを誘導する。
アーキテクチャ間で共有される因果作用可能なアクティベーション空間方向に対応しているかどうかを考察する。
論文 参考訳（メタデータ） (2026-06-18T13:39:59Z) - Greedy Coordinate Diffusion: Effective and Semantically Coherent Adversarial Attacks via Diffusion Guidance [48.34904668359272]
大規模言語モデルに対するアドリアック攻撃は、広範な研究にもかかわらず、実用的影響が限られている。
本稿では,Greedy Coordinate Diffusion(GCD)について紹介する。
GCDは、敵の本来の意図に低い難易度と高い意味的固執を維持している。
論文 参考訳（メタデータ） (2026-06-14T01:18:53Z) - Geometric Deviation as an Unsupervised Pre-Generation Reliability Signal: Probing LLM Representations for Answerability [0.0]
信頼できる言語モデルは、クエリが知識の外に落ちたときに、生成前に信号を送ることができるべきである。
我々は,表現幾何学が,応答可能な参照集合からの隠れ状態の偏差を測定することによって,そのような前世代信号を提供できるかどうかを検討する。
論文 参考訳（メタデータ） (2026-05-04T22:24:34Z) - Pando: Do Interpretability Methods Work When Models Won't Explain Themselves? [53.07826484214082]
モデル・オーガニゼーションのベンチマークであるPandoを紹介します。
Pandoは、ラベル付きクエリ-レスポンスペアから、ホールドアウトモデル決定を予測する。
説明が忠実であれば、ブラックボックスの引用はすべてのホワイトボックスメソッドに一致するか、超える。
論文 参考訳（メタデータ） (2026-04-13T06:42:24Z) - How Alignment Routes: Localizing, Scaling, and Controlling Policy Circuits in Language Models [0.0]
本稿では,アライメント学習言語モデルにおけるポリシールーティング機構のローカライズを行う。
中間層アテンションゲートは検出された内容を読み出し、深いヘッドをトリガーし、信号が拒絶に向かって押し上げられる。
論文 参考訳（メタデータ） (2026-04-06T03:20:37Z) - Agentic Uncertainty Quantification [76.94013626702183]
本稿では,言語化された不確実性をアクティブな双方向制御信号に変換する統合されたデュアルプロセスエージェントUQ(AUQ)フレームワークを提案する。
システム1(Uncertainty-Aware Memory, UAM)とシステム2(Uncertainty-Aware Reflection, UAR)は、これらの説明を合理的な手段として利用し、必要な時にのみターゲットの推論時間解決をトリガーする。
論文 参考訳（メタデータ） (2026-01-22T07:16:26Z) - How Does Prefix Matter in Reasoning Model Tuning? [57.69882799751655]
推論(数学)、コーディング、安全性、事実性の3つのコアモデル機能にまたがる3つのR1シリーズモデルを微調整します。
その結果,プレフィックス条件付きSFTでは安全性と推論性能が向上し,Safe@1の精度は最大で6%向上した。
論文 参考訳（メタデータ） (2026-01-04T18:04:23Z) - Refusal Falls off a Cliff: How Safety Alignment Fails in Reasoning? [68.82210578851442]
メカニスティックな解釈可能性レンズによる推論モデルにおいて、なぜ安全アライメントが失敗するのかを考察する。
トークン位置における拒絶意図の追跡のための線形探索手法を用いて,textbfrefusal cliff と呼ばれる現象を発見した。
提案手法は,最大断崖を示す訓練例を識別し,推論モデルの安全性を向上する手法であるtextbfCliff-as-a-Judge を提案する。
論文 参考訳（メタデータ） (2025-10-07T15:32:59Z) - R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。
事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。
我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。
実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
論文 参考訳（メタデータ） (2023-11-16T08:45:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。