論文の概要: Values as Style: Disentangling Values from Semantics with One-Way Mixing for Low-Damage LLM Steering
- arxiv url: http://arxiv.org/abs/2609.39701v1
- Date: Wed, 30 Sep 2026 13:20:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.828276
- Title: Values as Style: Disentangling Values from Semantics with One-Way Mixing for Low-Damage LLM Steering
- Title(参考訳): スタイルとしての価値:ローダメージLDMステアリングのためのワンウェイミキシングによるセマンティックスからの価値の分離
- Abstract要約: 凍結した残留状態に編集可能な意味値インタフェースを導入する。
Stop-gradientはセマンティック・ツー・バリュー・パスを通じてフィードバックをブロックする。
推論において、値コードの編集は、セマンティックコードを固定したまま残差を発生させる。
- 参考スコア(独自算出の注目度): 10.598752667106274
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Value steering should change an LLM's normative priorities while preserving the scenario, facts, and task constraints underlying its answer. Conventional activation edits often change both. We introduce an editable semantic-value interface on frozen residual states, with a one-way semantic-to-value pathway that grounds value recognition in context. Stop-gradient blocks feedback through this pathway; swap consistency, topic de-confounding, and decorrelation encourage selective codes. At inference, editing the value code produces a residual delta while holding the semantic code fixed. On two instruction-tuned backbones, this interface improves semantic preservation and reduces benign refusals at comparable value alignment. A matched mixing-by-gating ablation separates representation learning from selective edit activation, and dimension-matched probes establish improved code selectivity. Against validation-selected prompting on LLaMA-3.1-8B, the method achieves comparable alignment (0.750 vs. 0.748), higher BERTScore (0.938 vs. 0.923), and fewer contradictions (5.1% vs. 7.6%). Human ratings and cross-taxonomy controls provide complementary evidence for low-damage value steering.
- Abstract(参考訳): バリューステアリングは、シナリオ、事実、そしてその答えの根底にあるタスクの制約を保ちながら、LCMの規範的な優先順位を変更するべきです。
従来のアクティベーション編集は、両方を変えることが多い。
凍結した残留状態に対する編集可能なセマンティック・バリュー・インタフェースを導入し,コンテキスト内での価値認識を基礎とするワンウェイセマンティック・ツー・バリュー・パスを提案する。
一貫性のスワップ、トピックのデコンバウンディング、デコリレーションは選択的なコードを促進する。
推論において、値コードの編集は、セマンティックコードを固定したまま残差を発生させる。
2つの命令で調整されたバックボーン上で、このインターフェースはセマンティックな保存を改善し、同等の値アライメントで良質な拒絶を減らす。
マッチングミキシング・バイ・ゲーティング・アブレーションは、表現学習を選択的編集アクティベーションから分離し、ディメンションマッチングプローブは改善されたコード選択性を確立する。
LLaMA-3.1-8Bの検証によって選択されたプロンプトに対して、この方法は同等のアライメント(0.750 vs. 0.748)、より高いBERTScore(0.938 vs. 0.923)、より少ない矛盾(5.1% vs. 7.6%)を達成する。
人格評価とクロスタコノミーコントロールは、低損害価値のステアリングを補完する証拠となる。
関連論文リスト
- OSCC: Certified Observation-Safe Coupling Optimization for Gradient-Noise Control in Imperfect-Information Learning [23.835119696596095]
無効な結合は、隠された状態を隠蔽し、内因性ポリシーのランダム性を同期させ、または、偽の履歴が分岐した後の誤ったチャンスイベントを発生させる。
本稿では,限界保存,情報状態安全性,ブランチローカルなポリシーランダム性,セマンティックイベントアライメント,トレース・ビオークル・リプレイなどを通じて,許容可能なクラスを定義するフレームワークであるオブザーバセーフ・カウンタファクト・カップリング(O SCC)を紹介する。
我々は, 限界保存結合に対して, ポリシ・ヤコビアン重み付き対角外帰還共分散が雑音変化を決定することを示す勾配対応結合基準を導出する。
論文 参考訳(メタデータ) (2026-09-27T13:10:30Z) - Balancing Emotional Alignment and Semantic Consistency in Image Generation via Reinforcement Learning with Valence-Arousal Anchoring [55.57242007016976]
テキスト・ツー・イメージ生成における継続的な感情制御は、プロンプトによって記述されたオブジェクトやレイアウト、シーンを変更することなく、感情的アライメントを改善するモデルを必要とする。
既存の教師付き感情注入法は、しばしば特徴空間プロキシを最適化し、したがって感情のセマンティックドリフトを示す。
本稿では,連続的原子価覚醒条件設定,グループ相対ポリシー最適化,中立的セマンティックアンカーを組み合わせたフローマッチング画像生成フレームワークを用いてこの問題に対処する。
論文 参考訳(メタデータ) (2026-09-11T13:24:35Z) - Anchoring Bias in LLM-as-a-Judge Systems: Prior Scores Compromise Evaluation Independence [0.7340017786387767]
先行スコアは,文脈メタデータにのみ含まれていても,判断をアンカーし,評価を評価値に体系的にシフトすることを示す。
人間のラベル付き地上真実によるカテゴリー産業データでは、アンカーされたメタデータは誤り訂正の48%をブロックし、割り当てられた間違ったラベルに対して正しい判断の10.18%をフリップする。
論文 参考訳(メタデータ) (2026-08-26T14:41:24Z) - Evaluation Pitfalls and Sparsity Limitations in LLM-based Confidence Estimates for Classification [1.5977080543655726]
動詞化のような一般的なアプローチは、非常にスパースな出力を生み出す。
Qwen3-32B は SST-2 上では8つのユニークな信頼値しか言語化せず、半分以上は正確に95%である。
余分な推論コストを伴わずに,空白度と最良なAUARC(+2.3点)に対処する。
論文 参考訳(メタデータ) (2026-08-05T14:24:34Z) - Do Image-Text Metrics Respect Semantic Invariances? [32.397351493793416]
3軸の摂動を意味論的に保存する5つの人気評価器に不変なプローブを提案する。
連続した非意味的感性を見いだし, 空間的編集や簡単なフレーズ変化を平均で$approx$6--9%シフトする。
小さな人間の研究もこの発見を支持し、アノテータがペアを概して同じくらい正しいと判断していることを確認し、これらの変化は意味的変化よりもメートル法的な振る舞いを反映している。
論文 参考訳(メタデータ) (2026-05-23T18:53:51Z) - CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。
静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。
LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
論文 参考訳(メタデータ) (2026-02-04T00:12:30Z) - CodeFuse-CommitEval: Towards Benchmarking LLM's Power on Commit Message and Code Change Inconsistency Detection [8.631593963090985]
バージョン管理は、コード変更の合理性を伝えるためにコミットメッセージに依存するが、これらのメッセージは、しばしば低品質で、メッセージコード不整合(MCI)として知られる差分と矛盾する。
大規模言語モデル(LLM)を用いたMCI検出のための最初のベンチマークであるCODEFUSE-COMMITEVALを紹介する。
我々は、元々一貫したコミットのルール誘導突然変異を通じて、7種類の一貫性のないメッセージを生成し、正と負の両方のサンプルを検証するために2倍の検証を適用した。
論文 参考訳(メタデータ) (2025-11-25T03:33:57Z) - GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。
推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。
微調整と既存のステアリングベースラインの両方を一貫して上回る。
論文 参考訳(メタデータ) (2025-07-24T02:34:13Z) - Internal Value Alignment in Large Language Models through Controlled Value Vector Activation [70.41805604556058]
本研究では,Large Language Models (LLM) を人間の値と整合させるためのConVA法を提案する。
モデル性能を犠牲にすることなく連続的に値を制御するために,ゲート値ベクトルアクティベーション法を導入する。
実験により, LLM性能と流速を損なうことなく, 基本値10個に対して最大制御成功率を達成できることが確認された。
論文 参考訳(メタデータ) (2025-07-15T13:48:35Z) - Contrastive Test-Time Adaptation [83.73506803142693]
本稿では,自己指導型コントラスト学習を活用して特徴学習を支援する新しい手法を提案する。
擬似ラベルをオンラインで作成し、ターゲットのフィーチャースペースに最も近い隣人の間でソフト投票によってそれらを洗練します。
我々の手法であるAdaContrastは、主要なベンチマーク上で最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2022-04-21T19:17:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。