論文の概要: Unintended Side Effects of Value Training in LLMs

• arxiv url: http://arxiv.org/abs/2610.29922v1
• Date: Wed, 21 Oct 2026 15:58:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.397923
• Title: Unintended Side Effects of Value Training in LLMs
• Title（参考訳）: LLMにおける価値トレーニングの意図しない副作用
• Abstract要約: 本研究では,各Hofstedeの値次元に4つの命令調整LDMを適用し,これらをクロスバリュー転送とより広い振る舞いで評価する。 価値特化学習は、未学習の価値観、リスク選好、社会的認知、安全特性に意図しない副作用をもたらす。 ポストトレーニング後の価値アライメントには、より広範な行動評価を含めるべきである。
• 参考スコア（独自算出の注目度）: 56.76655707075212
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: As LLMs are increasingly deployed in value-sensitive contexts, aligning them with human values has emerged as a post-training objective in NLP, aimed at instilling additional values and guiding model behaviour. However, current evaluations remain narrow. Because values are interconnected, it is unclear how fine-tuning for specific values alters unrelated capabilities and behaviours. In this work, we adapt four instruction-tuned LLMs across individual Hofstede's value dimensions and evaluate them on both cross-value transfer and broader behaviours. We find that value-specific training produces unintended side effects on untrained values, risk preferences, social cognition, and safety traits. Consequently, we suggest that value alignment after post-training should incorporate broader behavioral evaluations, and we highlight the need to investigate where additional value training might best fit into the pipeline.
• Abstract（参考訳）: LLMは、ますます価値に敏感な状況に展開されているため、NLPのトレーニング後の目標として、新たな価値の注入とモデル行動の導出を目的とした、人間の価値との整合性が現れている。 しかし、現在の評価は狭いままである。 値が相互接続されているため、特定の値の微調整が無関係な機能や振る舞いをどう変えるかは明らかではない。 本研究では,各Hofstedeの値次元に4つの命令調整LDMを適用し,これらをクロスバリュー転送とより広い振る舞いの両方で評価する。 価値特化学習は、未学習の価値観、リスク選好、社会的認知、安全特性に意図しない副作用をもたらす。 その結果,ポストトレーニング後の価値アライメントには,より広範な行動評価を含めるべきであることが示唆された。

関連論文リスト

• Do LLMs Have Values? A Quantitative Analysis and Alignment Framework for Values in Large Language Models [49.45276299939287]
  大規模言語モデル(LLM)は、ますます複雑な主観的タスクを扱うようになっている。 LLMは、マイナーな単語変更で予測不能に変動する。 この双対性を解決することは 信頼できるAIアライメントに 不可欠です
  論文  参考訳（メタデータ） (2026-09-15T03:35:04Z)
• Value Alignment Tax: Measuring Value Trade-offs in LLM Alignment [16.1422306417719]
  我々は、アライメントによって引き起こされる変化が価値間でどのように伝播するかを測定するフレームワークであるバリューアライメント税(VAT)を紹介します。 VATはアライメント圧力下での値表現のダイナミクスをキャプチャする。 その結果、アライメントはしばしば、値間の不均一で構造化されたコモーメントを生成することがわかった。
  論文  参考訳（メタデータ） (2026-02-12T16:21:22Z)
• Value Drifts: Tracing Value Alignment During LLM Post-Training [37.472751808508235]
  モデルポストトレーニングの過程において、段階的価値アライメントがどのように生じるか、どの段階的価値アライメントが生じるかを検討する。 本研究は,ポストトレーニング中に価値がどのように学習されるかについて,実用的な知見を提供する。
  論文  参考訳（メタデータ） (2025-10-30T17:09:09Z)
• Mind the Value-Action Gap: Do LLMs Act in Alignment with Their Values? [11.490681551032502]
  バリュー・アクション・ギャップ(Value-Action Gap)は、現実の文脈における個人の価値観と行動の相違を明らかにする。 本研究では,LLMの値と値インフォームドアクションのアライメントを評価するための評価フレームワークであるValueActionLensを紹介する。
  論文  参考訳（メタデータ） (2025-01-26T09:33:51Z)
• Value Compass Benchmarks: A Platform for Fundamental and Validated Evaluation of LLMs Values [76.70893269183684]
  大きな言語モデル(LLM)は驚くべきブレークスルーを達成する。 価値を人間に合わせることは 責任ある開発に欠かせないものになっています 3つの望ましい目標を達成するLLMの評価はいまだに欠けている。
  論文  参考訳（メタデータ） (2025-01-13T05:53:56Z)
• Are the Values of LLMs Structurally Aligned with Humans? A Causal Perspective [33.19778298286475]
  我々は、潜在因果値グラフが大きな言語モデル(LLM)の値次元の根底にあることを論じ、アライメントトレーニングにもかかわらず、この構造は人間の値システムと大きく異なるままである。 これらの因果値グラフを利用して、ロールベースのプロンプトとスパースオートエンコーダ(SAE)ステアリングという2つの軽量なバリューステアリング手法を導出する。 Gemma-2B-ITとLlama3-8B-ITの実験により,本手法の有効性と可制御性を示した。
  論文  参考訳（メタデータ） (2024-12-31T18:12:05Z)
• Heterogeneous Value Alignment Evaluation for Large Language Models [91.96728871418]
  大規模言語モデル(LLM)は、その価値を人間のものと整合させることを重要視している。 本研究では,LLMと不均一値の整合性を評価するため,不均一値アライメント評価(HVAE)システムを提案する。
  論文  参考訳（メタデータ） (2023-05-26T02:34:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。