論文の概要: Resisting Harmful Instructions through Training-Free Weight Editing
- arxiv url: http://arxiv.org/abs/2610.21189v1
- Date: Thu, 15 Oct 2026 03:47:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.166473
- Title: Resisting Harmful Instructions through Training-Free Weight Editing
- Title（参考訳）: 学習自由度編集による有害なインストラクションの残留
- Abstract要約: 目標とする望ましくない命令に対するコンプライアンスを軽減するために,トレーニング不要な重み付け手法を提案する。
提案手法は,5つの命令調整モデルにまたがる2つの有害行動に対するアプローチを評価する。
- 参考スコア（独自算出の注目度）: 25.981367979143844
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Instruction-following language models can comply with requests that conflict with intended behaviors and safety alignment. We introduce a training-free weight-editing approach for reducing compliance with targeted undesirable instructions. Our method needs only forward passes on a small set of prompt pairs per target behavior, and because the edit is stored in the model's weights, changing or deleting instructions in the prompt cannot undo the weight modification. We evaluate the approach on two target harmful behaviors across five instruction-tuned models: instructed falsehood and instructed sexism. On two instructed-lying benchmarks, it improves mean honest response rates by 6.2 and 4.6 percentage points over the strongest alternative, significantly on three of the five models and within noise on the other two. In a controlled study of seven prompt formats, it maintains higher honest-response rates than single-layer activation steering when orders to lie arrive in single-turn formats not used to construct the edit. For instructed sexism, it reduces the mean sexist-response rate from 57.9% to 24.3%; combining the edit with a fairness prompt reduces it further to 11.9%. These results establish our contrast-based weight editing approach as an effective training-free intervention in two distinct behavioral domains, supporting its use both independently and alongside prompt-based safeguards.
- Abstract（参考訳）: 命令追従型言語モデルは、意図した振る舞いや安全性の整合性に反する要求に従うことができる。
目標とする望ましくない命令に対するコンプライアンスを軽減するために,トレーニング不要な重み付け手法を提案する。
提案手法では,対象の動作毎に少数のプロンプトペアを前方に通過させるだけでよい。また,編集はモデルの重みに格納されるため,プロンプト内の命令の変更や削除は重み修正を行なえない。
本研究は,5つの指導訓練モデルにおける2つの標的的有害行動に対するアプローチを評価する。
2つの指示されたベンチマークでは、最強の選択肢よりも平均的正直反応率を6.2と4.6ポイント改善し、5つのモデルのうち3つのモデルと他の2つのモデルで大きく改善した。
7つのプロンプトフォーマットの制御された研究において、一層のアクティベーションステアリングよりも高い正直応答率を維持している。
指示された性差別では、平均的な性差別反応率は57.9%から24.3%に減少し、編集と公正さを組み合わせればさらに11.9%に減少する。
これらの結果から,2つの異なる行動領域における効果的なトレーニング自由介入として,コントラストに基づく重み編集アプローチを確立した。
関連論文リスト
- LeanPolish: Verified Supervision for Lean Proof Compression [4.272652712282259]
これは、33,402件の承認されたローカル編集と65,596件の同じ状態の試行をリリースする象徴的なLean 4パイプラインです。
First-success Searchは、完全なランキング精度でゴールに依存しないルールを認めており、教師が選択した評価サイトは、自明な削除を報いる。
圧縮のために、シンボリックパスを繰り返すと、ミニF2Fの節約率は19.7%から27.5%に上昇する。
論文 参考訳（メタデータ） (2026-09-29T18:40:00Z) - CounterSteer: Suppressing Indirect Prompt Injection with Activation Steering [4.1626636325601405]
間接的なプロンプトインジェクションにより、エージェントは信頼できない検索されたテキストを命令として扱う。
モデル内のこの振る舞いを抑える推論時間ディフェンスであるCounterSteerを提案する。
論文 参考訳（メタデータ） (2026-09-29T02:51:31Z) - Reward Hacking Challenges Oversight of Autonomous Research Agents [104.38175629103235]
自律的な研究エージェントは実験を設計し、結果を評価し、レポートを書き、科学的結果とそれを支持する証拠の両方を制御できる。
これは、意図した目標を達成することなく、報酬基準を満たす、報酬ハックのリスクを生み出す。
そこで本研究では,ハッキングが許可された場合,その方法がいかに効果的かつ検出可能か,LCMレビューパネルが意思決定と理由を返却した場合にどのように適応するか,などについて検討する。
論文 参考訳（メタデータ） (2026-09-23T17:54:01Z) - Knowing but Not Correcting: Routine Task Requests Suppress Factual Correction in LLMs [26.062372963777452]
LLMは、独立して提示された時に確実に偽のクレームを訂正するが、同じクレームがタスク指向のリクエストに埋め込まれている場合、そのクレームは正しいというよりも、従うことが多い。
我々は、この障害モードの誤り訂正を抑え、300の偽の前提のベンチマークを構築し、8つのモデルで体系的に評価する。
抑制率は19%から90%で、4つのモデルが80%を超え、修正抑制が一般的で深刻な現象として確立された。
論文 参考訳（メタデータ） (2026-05-07T10:04:39Z) - In-Context Environments Induce Evaluation-Awareness in Language Models [0.12691047660244334]
人間は脅威の下でより自覚的になるが、タスクに吸収されると自意識を失うことがある。
我々は,テキスト内プロンプトを最適化可能な環境として扱うブラックボックス逆最適化フレームワークを提案する。
我々は、逆最適化されたプロンプトが、これまで理解されていたよりもはるかに高い信頼性の脅威をもたらすことを示した。
論文 参考訳（メタデータ） (2026-03-04T08:22:02Z) - Outcome Accuracy is Not Enough: Aligning the Reasoning Process of Reward Models [108.26461635308796]
Rationale Consistencyは、モデルの推論プロセスと人間の判断のアライメントを定量化する、きめ細かい計量である。
我々のフロンティアモデルの評価では,最先端モデル間で合理的な一貫性が効果的に識別できることが示されている。
我々は、GenRMトレーニングの合理性一貫性と結果精度を組み合わせたハイブリッド信号を導入する。
論文 参考訳（メタデータ） (2026-02-04T15:24:52Z) - Structured Uncertainty guided Clarification for LLM Agents [126.26213027785813]
LLMエージェントは、ツールコール機能を備えた大きな言語モデルを拡張するが、曖昧なユーザ命令は、しばしば誤った呼び出しやタスクの失敗につながる。
本稿では,ツールコールパラメータに対する構造的不確かさの定式化,完全情報の期待値(EVPI)を目標としたPOMDPのモデル化,冗長性防止のためのアスペクトベースコストモデルを提案する。
我々のSAGE-Agentは、この構造化された不確実性を活用し、より優れた効率を達成するために、曖昧なタスクのカバレッジを7～39%増加させ、明確な質問を1.5～2.7$times$に減らした。
論文 参考訳（メタデータ） (2025-11-11T21:50:44Z) - A Granular Study of Safety Pretraining under Model Abliteration [64.24346997570275]
本稿では,リフレクションに敏感な方向を除去する軽量プロジェクション技術であるモデルアブリーブレーションについて検討する。
我々は、バランスのとれた有害かつ無害なケースで100のプロンプトを発行し、複数の判断を用いて**Refusal*または***Non-Refusal*として応答を分類し、判断の忠実さを検証する。
本研究は,データ中心の安全コンポーネントが失語中も頑健であるチェックポイントレベルの特徴付けを行う。
論文 参考訳（メタデータ） (2025-10-03T07:01:45Z) - Mitigating Safety Fallback in Editing-based Backdoor Injection on LLMs [27.02160106114224]
大規模言語モデル(LLM)は、自然言語タスク全体で強いパフォーマンスを示しているが、バックドア攻撃には弱いままである。
最近のモデル編集ベースのアプローチでは、パラメータを変更して特定のトリガを攻撃者が望んだ応答にマッピングすることで、効率的なバックドアインジェクションが可能になる。
本稿では、肯定的な出力を共同で促進し、拒絶応答を抑制するデュアルオブジェクトモデル編集フレームワークであるDualEditを提案する。
論文 参考訳（メタデータ） (2025-06-16T09:28:07Z) - Single-weight Model Editing for Post-hoc Spurious Correlation Neutralization [54.8794775172033]
ニューラルネットワークのトレーニングは、トレーニング損失を最小限に抑えるショートカットとして、最も単純な機能を利用する傾向がある。
これらの特徴のいくつかは、ターゲットラベルと急激な相関関係があり、モデルによる誤った予測につながる可能性がある。
本稿では,一重の修正を行なえる独特な厳密なクラス除去手法を提案する。
論文 参考訳（メタデータ） (2025-01-24T02:22:42Z) - 3D Pose Based Feedback for Physical Exercises [87.35086507661227]
ユーザが犯した誤りを識別する学習ベースのフレームワークを導入する。
私たちのフレームワークはハードコードされたルールに頼るのではなく、データからそれらを学ぶのです。
提案手法は90.9%の誤り識別精度を示し,94.2%の誤り訂正に成功した。
論文 参考訳（メタデータ） (2022-08-05T16:15:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。