論文の概要: Towards Multi-Value Alignment via Value Localization in LLMs

• arxiv url: http://arxiv.org/abs/2611.02503v1
• Date: Mon, 02 Nov 2026 04:24:59 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:47:56.685272
• Title: Towards Multi-Value Alignment via Value Localization in LLMs
• Title（参考訳）: LLMにおける値ローカライゼーションによる多値アライメントの実現に向けて
• Abstract要約: 大規模言語モデル(LLM)における価値感応型アテンションヘッド(バリューヘッド)を同定する。 分析は、特定の値間の衝突を含む、値ヘッド間の機能的特殊化と構造化された相互作用を明らかにする。 本稿では,個々の値や値の組み合わせと制御可能なアライメントを可能にする,推論時アクティベーションステアリング戦略を提案する。
• 参考スコア（独自算出の注目度）: 38.35231577542361
• License:
• Abstract: Aligning large language models (LLMs) with multiple, potentially conflicting human values remains challenging, as existing multi-objective alignment methods often require costly fine-tuning and provide limited insight into the internal mechanisms underlying value-related behaviors. In this work, we investigate multi-value alignment from a mechanistic interpretability perspective by identifying value-sensitive attention heads (value heads) in LLMs. Using a probing-based value localization framework, we discover sparse sets of attention heads associated with diverse dimensions, spanning both human values (e.g., harmlessness, honesty) and stylistic preferences (e.g., coherence, complexity). Analyses across multiple LLM families reveal functional specialization and structured interactions among value heads, including conflicts between certain values. Targeted head ablations further induce substantial, value-specific behavioral changes, providing causal evidence of their functional importance. Building on these findings, we propose an inference-time activation steering strategy that enables controllable alignment with individual values or combinations of values without updating the underlying model parameters, supported by theoretical analysis. Experiments across multiple value alignment benchmarks demonstrate effective single- and multi-value control while largely preserving non-target model performance. Our findings connect mechanistic interpretability with flexible multi-value alignment, offering a foundation for more interpretable and pluralistic LLM behavior. The code is available at https://github.com/sihuo-design/ValueHeads.
• Abstract（参考訳）: 既存の多目的アライメント手法は、しばしばコストのかかる微調整を必要とし、価値関連行動の根底にある内部メカニズムに関する限られた洞察を与えるため、大きな言語モデル(LLM)を複数の、潜在的に矛盾する人間の価値で調整することは依然として困難である。 本研究では,LLMにおける重み付きアテンションヘッド(バリューヘッド)の同定により,機械論的解釈可能性の観点から多値アライメントを検討する。 探索に基づく値ローカライゼーションフレームワークを用いて、人間の値(例えば、無害性、正直性)とスタイリスティックな好み(例えば、コヒーレンス、複雑さ)の両方にまたがる、様々な次元に関連付けられた注意のまばらなセットを発見する。 複数のLLMファミリーにまたがる分析は、特定の値間の衝突を含む、値ヘッド間の機能的特殊化と構造化された相互作用を明らかにする。 目標とする頭蓋骨は、その機能的重要性の因果的証拠として、さらに実質的、価値特異的な行動変化を誘発する。 これらの知見に基づいて,理論解析によって支持されるモデルパラメータを更新することなく,個々の値や値の組み合わせと制御可能なアライメントを可能にする推論時アクティベーションステアリング戦略を提案する。 複数の値アライメントベンチマークによる実験は、標的でないモデルの性能をほとんど保ちながら、効果的な単一値と多値の制御を示す。 本研究は, 機械的解釈可能性とフレキシブルな多値アライメントを結びつけ, より解釈可能な多元的LLM動作の基礎となるものである。 コードはhttps://github.com/sihuo-design/ValueHeads.comで入手できる。

関連論文リスト

• VALCON: Benchmarking and Enhancing Value Consistency in Large Language Models via Dual-Role Variation [50.26484893435373]
  大規模言語モデル(LLM)の現在の値アライメント評価は、出力コンプライアンスに大きく依存している。 本稿では,価値の一貫性を3つのベンチマークスイートにまとめる役割駆動型データ構築フレームワークであるVALCONを提案する。 我々の研究は、価値の一貫性を異なるアライメントの次元として確立し、完全な評価・分析・軽減パイプラインを提供する。
  論文  参考訳（メタデータ） (2026-10-15T05:52:52Z)
• Adaptive Multi-Value Control in LLMs via Causal Activation Steering [6.142860207884955]
  適応型多値アクティベーションステアリングのためのフレームワークであるAIMESを紹介する。 複数値の制御性は、値の組み合わせと介入の深さの両方で異なる。 固定継手ステアリングとプロンプトベースステアリングと比較すると, AIMESは深度依存性の利点を示す。
  論文  参考訳（メタデータ） (2026-09-24T18:07:55Z)
• Do LLMs Have Values? A Quantitative Analysis and Alignment Framework for Values in Large Language Models [49.45276299939287]
  大規模言語モデル(LLM)は、ますます複雑な主観的タスクを扱うようになっている。 LLMは、マイナーな単語変更で予測不能に変動する。 この双対性を解決することは 信頼できるAIアライメントに 不可欠です
  論文  参考訳（メタデータ） (2026-09-15T03:35:04Z)
• Probing the Structure and Dynamics of LLM Value Expression through Value Conflicts [15.778515866233114]
  我々は,Large Language Models (LLMs) の値表現は構造的だが動的現象としてよりよく理解されていると論じる。 我々は、LLMをバリューコンフリクトに配置するフレームワークであるConflict-Driven Value Probingを導入し、これらのコンフリクトを摂動させてLLM値表現を探索する4種類の介入を実装した。
  論文  参考訳（メタデータ） (2026-09-07T10:11:27Z)
• Multi-Value Alignment for LLMs via Value Decorrelation and Extrapolation [23.41040153806061]
  MVA(Multi-Value Alignment)と呼ばれる新しいフレームワークを提案する。 相互情報の最小化により、多様な人の値間のパラメータ干渉によるアライメントを緩和する。 MVAは、LLMを複数の人間の値と整列させることで、既存のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2025-11-15T13:33:26Z)
• Counterfactual Reasoning for Steerable Pluralistic Value Alignment of Large Language Models [43.01088871836861]
  COUPLEは、Puuralistic valuEアライメントのためのCOUnterfactual reasoning frameworkである。 特徴間の複雑な相互依存と優先順位付け、高レベルの価値次元と振る舞いの因果関係が特徴である。 明確な因果モデリングから恩恵を受けるため、COUPLEはより良い解釈可能性も提供する。
  論文  参考訳（メタデータ） (2025-10-21T11:12:45Z)
• Multi-Attribute Steering of Language Models via Targeted Intervention [56.93583799109029]
  推論時間介入(ITI)は,大規模言語モデル(LLM)の振る舞いを特定の方向に操るための有望な手法として登場した。 マルチ属性・ターゲットステアリング(MAT-Steer)は,複数の属性をまたいだトークンレベルの選択的介入を目的とした,新しいステアリングフレームワークである。
  論文  参考訳（メタデータ） (2025-02-18T02:27:23Z)
• MMRel: A Relation Understanding Benchmark in the MLLM Era [72.95901753186227]
  MMRel(Multi-Modal Relation Understanding)は、オブジェクト間の関係に関する大規模で高品質で多様なデータを特徴付けるベンチマークである。 MMRelは、関係理解に基づくMLLMの評価や、関係理解能力を高めるための微調整MLLMに最適である。
  論文  参考訳（メタデータ） (2024-06-13T13:51:59Z)
• Heterogeneous Value Alignment Evaluation for Large Language Models [91.96728871418]
  大規模言語モデル(LLM)は、その価値を人間のものと整合させることを重要視している。 本研究では,LLMと不均一値の整合性を評価するため,不均一値アライメント評価(HVAE)システムを提案する。
  論文  参考訳（メタデータ） (2023-05-26T02:34:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。