論文の概要: Faithfulness to Refusal: A Causal Audit of Neuron Selectors
- arxiv url: http://arxiv.org/abs/2607.05355v1
- Date: Mon, 06 Jul 2026 17:33:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:30.266637
- Title: Faithfulness to Refusal: A Causal Audit of Neuron Selectors
- Title(参考訳): 拒絶への信義:ニューロン選択者の因果聴取
- Abstract要約: 属性スコアは、プルーニング、解釈可能性、安全のための編集など、言語モデルのどのニューロン行が重要かを、ますます特定する。
1ショットのニューロンローゼロリングをベースとした2つのペア監査でこの問題に対処する。
- 参考スコア(独自算出の注目度): 3.3598755777055374
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Attribution scores increasingly identify which neuron rows of a language model matter for applications such as pruning, interpretability, and editing for safety, yet whether they identify causally important rows is rarely tested directly. We address this with two paired audits built on one-shot neuron-row zeroing. We first audit selectors at the language-modeling level: attribution methods substantially outperform activation and magnitude-based baselines at identifying dispensable rows across five LLMs. We then adapt the same intervention into a behavior test by driving it with a contrastive harmful-versus-benign signal; the attributed rows are sufficient to install refusal on hate and crime while keeping benign over-refusal low and preserving language model fluency, and specific in that layer-matched random controls at the same depths fail. Highly rank-stable selectors can be among the least causally valid. Refusal moreover lives in a redundant subspace, where different attribution methods install it through largely disjoint row sets, so the recovered edit is one realization of a sufficient set rather than a unique mechanism. Together, these findings show that rank-stability proxies miss the kinds of selector failures a direct causal audit can surface.%
- Abstract(参考訳): 属性スコアは、プルーニング、解釈可能性、安全のための編集など、言語モデルのどのニューロン行が重要かを特定する傾向にあるが、因果的に重要な行を識別するかどうかを直接検査することは滅多にない。
1ショットのニューロンローゼロリングをベースとした2つのペア監査でこの問題に対処する。
我々はまず,言語モデリングのレベルでセレクタを監査する:帰属法は,5つのLLMにまたがる可除行の識別において,アクティベーションと等級ベースラインを大幅に上回る。
そこで,本研究では, ヘイトと犯罪に対する拒絶を回避しつつ, 言語モデル流速を保ちながら, ヘイトと犯罪に対する拒否を付与するのに十分であり, 同一の深さで階層に整合したランダム制御が失敗することを示す。
ランクが安定なセレクタは、最も因果関係の少ないセレクタの1つである。
さらに、Refusalは冗長な部分空間に存在し、異なる属性メソッドが大まかに不整合な行集合を通してそれをインストールする。
これらの結果から,ランク安定因子は直接因果監査が表面化するセレクタ障害の種類を欠いていることが示唆された。
%であった。
関連論文リスト
- RISA: Response Inspection and Selective Actions for Refusal Calibration in Large Language Models [19.938570872083652]
トレーニング時間アライメントは、モデルパラメータを安全データで更新することで、拒絶動作を改善するが、さらなる計算とトレーニングが必要である。
インフェルノ時間アライメントは、基礎となるモデルパラメータを更新することなく、推論中のLCMの振る舞いを変更することを目的としている。
本稿では、初期応答を検査し、ベースモデルを更新することなくエラーを選択的に修正する推論時フレームワークである、応答検査と選択行動(RISA)を提案する。
論文 参考訳(メタデータ) (2026-09-01T06:37:42Z) - BLADE: Boundary-Expanded and Layer-Adaptive Dynamic Exit for Efficient LLM Reasoning [12.482949673236563]
BLADEは、生成したプレフィックスが正しい答えに十分かどうかを推定することで推論を終了する。
BLADEは文、自己疑念、段落の境界から多粒性のチェックポイントを構築する。
BLADEは、Qwen3-8Bでは24.8%、Qwen3-4Bでは15.8%の精度で、ほぼベースラインの精度を保っている。
論文 参考訳(メタデータ) (2026-07-31T02:36:55Z) - How Useful is Causal Invariance for Domain Adaptation in Finite-Sample Settings? [58.740078141879984]
機械学習モデルは、トレーニングされたソースディストリビューションとは異なるターゲットディストリビューションにデプロイされると、しばしば劣化する。
因果関係に基づく領域一般化における最近の研究は、共用因果構造が不変な予測因子を誘導する方法を示している。
本稿では,完全あるいは部分的な因果知識が,教師付きドメイン適応を確実に改善できるかどうかについて検討する。
論文 参考訳(メタデータ) (2026-06-10T21:07:49Z) - When Attribution Patching Lies: Diagnosis and a Second-Order Correction [9.338965648455238]
本研究は, 下流ネットワークの非直線性に起因する誤差が, パッチ成分の局所曲率よりも大きいことを示す。
この洞察は、(i)信頼できない見積もりを検出するための信頼性スコア、(ii)エラー境界がポテンシャル属性の誤特定を定量化すること、(iii)Hessian-vector-product correctが1つの後進パスで先行エラーを除去すること、の3つの実用的なツールをもたらす。
論文 参考訳(メタデータ) (2026-06-05T05:20:32Z) - What to Test Next: Interpretable Coverage Gap Discovery in Driving VLMs [52.50210189669399]
視覚言語モデル(VLM)を駆動するには,操作設計領域(ODD)が定義する様々な条件のシーンを正確に理解する必要がある
SliceScorerは、欠落したスライス推薦のための決定論的スコアリングルールである。
SliceNavは, 従来のスライス発見法よりも, 高リスクカバレッジギャップを効果的に表面化することを示す。
論文 参考訳(メタデータ) (2026-06-01T03:18:01Z) - Logic-Regularized Verifier Elicits Reasoning from LLMs [63.65875399266337]
論理規則で正規化された教師なしの検証器であるLOVERを提案する。
ローバーは、定理を二項潜在変数として扱い、内部の活性化を活用し、3つの論理的制約を課す。
ローバーは教師なしのベースラインを大幅に上回る。
論文 参考訳(メタデータ) (2026-05-07T09:03:49Z) - Enhancing Self-Supervised Talking Head Forgery Detection via a Training-Free Dual-System Framework [15.980589558450829]
監視された頭部偽造検出は、ジェネレータの継続的な進化による深刻な一般化の課題に直面している。
既存の研究は主に強力な検出器の構築に焦点を当てているが、訓練された検出器の識別能力は依然として十分に活用されていない。
本稿では,既存のスコアベース自己監視検出器の潜在的識別能力をさらに活用するために,TFDS(Training-Free Dual-System)フレームワークを提案する。
論文 参考訳(メタデータ) (2026-05-05T05:50:38Z) - Beyond Behavioural Trade-Offs: Mechanistic Tracing of Pain-Pleasure Decisions in an LLM [0.0]
以前の研究は、一部のLCMは、選択肢が痛みや快楽を引き起こすものとしてフレーム化されているときに選択を変更でき、そのような偏差は、記述された強度でスケール可能であることを示唆している。
本研究では, 変圧器内における原子価関連情報がどのように表現され, どこで因果的に使用されるかを検討する。
Gemma-2-9B-itと、前処理をモデルとした最小限の決定タスクを用いて、(i)ストリームを横断する層ワイドな線形プローブを用いて、表現の可用性をマップする。
我々は,活性化介入(ステアリング,パッチ,アブレーション)による因果的寄与を検証し,(iii)エプシロングリッド上での線量応答効果を定量化する。
論文 参考訳(メタデータ) (2026-02-22T12:42:38Z) - The Emergence of Lab-Driven Alignment Signatures: A Psychometric Framework for Auditing Latent Bias and Compounding Risk in Generative AI [0.0]
本稿では,不確実性の下での潜在特性推定を定量化する新しい監査フレームワークを提案する。
この研究は最適化バイアス、Sycophancy、Status-Quo Legitimizationを含む9つの次元にわたる主要なモデルを監査している。
論文 参考訳(メタデータ) (2026-02-19T06:56:01Z) - DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。
ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。
DoVerは失敗試験の18~28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30~60%を検証または否定する。
論文 参考訳(メタデータ) (2025-12-07T09:23:48Z) - Optimal Detection for Language Watermarks with Pseudorandom Collision [28.84134119819056]
階層的な2層分割によって構造を捉える統計的枠組みを導入する。
その中核は最小単位の概念であり、単位間の独立として扱うことができる最小の群は、単位内部への依存を許容する。
Gumbel-maxおよび逆変換透かしの適用により、我々のフレームワークはクローズドフォーム最適規則を生成する。
論文 参考訳(メタデータ) (2025-10-24T20:21:52Z) - A Granular Study of Safety Pretraining under Model Abliteration [64.24346997570275]
本稿では,リフレクションに敏感な方向を除去する軽量プロジェクション技術であるモデルアブリーブレーションについて検討する。
我々は、バランスのとれた有害かつ無害なケースで100のプロンプトを発行し、複数の判断を用いて**Refusal*または***Non-Refusal*として応答を分類し、判断の忠実さを検証する。
本研究は,データ中心の安全コンポーネントが失語中も頑健であるチェックポイントレベルの特徴付けを行う。
論文 参考訳(メタデータ) (2025-10-03T07:01:45Z) - Shortcomings of Top-Down Randomization-Based Sanity Checks for
Evaluations of Deep Neural Network Explanations [67.40641255908443]
モデルランダム化に基づく正当性チェックの限界を,説明書の評価のために同定する。
トップダウンモデルランダム化は、フォワードパスアクティベーションのスケールを高い確率で保存する。
論文 参考訳(メタデータ) (2022-11-22T18:52:38Z) - Statistical and Computational Phase Transitions in Group Testing [73.55361918807883]
本研究の目的は、希少な疾患を患っているk人の集団を同定することである。
個々人のテストを割り当てるための2つの異なる単純なランダムな手順を考える。
論文 参考訳(メタデータ) (2022-06-15T16:38:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。