論文の概要: Do LLMs Have Values? A Quantitative Analysis and Alignment Framework for Values in Large Language Models

• arxiv url: http://arxiv.org/abs/2609.16589v1
• Date: Tue, 15 Sep 2026 03:35:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.328973
• Title: Do LLMs Have Values? A Quantitative Analysis and Alignment Framework for Values in Large Language Models
• Title（参考訳）: LLMには価値はあるか? 大規模言語モデルにおける価値の定量的分析とアライメントフレームワーク
• Abstract要約: 大規模言語モデル(LLM)は、ますます複雑な主観的タスクを扱うようになっている。 LLMは、マイナーな単語変更で予測不能に変動する。 この双対性を解決することは 信頼できるAIアライメントに 不可欠です
• 参考スコア（独自算出の注目度）: 49.45276299939287
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As Large Language Models (LLMs) increasingly handle complex subjective tasks, aligning their intentions and behaviors with human values has become a critical scientific challenge. However, current efforts are confounded by a striking behavioral paradox: they fluctuate unpredictably under minor wording changes ("swing"), yet stubbornly ignore explicit instructions to correct ingrained biases ("rigidity"). Resolving this duality is critical for reliable AI alignment. To systematically understand and safely steer these latent subjective preferences, our study is structured around three fundamental questions. First, do LLMs possess an intrinsic value system? By projecting responses from 106 LLMs (150,000 queries per model) and 95,000 human survey profiles into a shared sociological space, we empirically confirm that they do. However, they do not mirror human diversity, instead crystallizing into a highly concentrated, idealized value core. Second, how can these values be quantified? We propose the Prior-Environment-Cognition (PEC) framework. This model mathematically defines value expression as the joint outcome of inherent dispositions like parameter weights (Prior), external contexts such as user prompts (Environment), and internal reasoning processes like Chain-of-Thought (Cognition). Finally, how can LLMs' values be aligned toward a desired target? Using PEC diagnostics, we establish an adaptive "Alignment Prescription". Rather than blindly applying resource-intensive training, this method identifies the minimum effective intervention needed for each dimension, ranging from zero-cost prompts to targeted parameter updates. Extensive empirical validation confirms that our approach successfully verifies the presence of LLM values, accurately quantifies their shifts, and achieves more efficient and precise steering than conventional blind training, all without degrading general capabilities.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、複雑な主観的タスクを扱うようになり、その意図や行動と人間の価値を一致させることが、重要な科学的課題となっている。 しかし、現在の取り組みは顕著な行動パラドックス(英語版)によって構成されている:それらは予測不能に小さな言葉の変更("swing")の下で変動し、しかし頑固に、きめ細かな偏見("rigidity")を正すための明示的な指示を無視している。 この双対性を解決することは、信頼性の高いAIアライメントにとって重要である。 これらの潜在主観的嗜好を体系的に理解し、安全に評価するために、本研究は3つの基本的疑問に基づいて構成されている。 まず、LLMは本質的な価値システムを持っているか? 106 LLM (1モデルあたり15万クエリ) と 95,000 人のサーベイプロファイルの回答を共有社会学空間に投影することにより、その回答を実証的に確認する。 しかし、それらは人間の多様性を反映せず、高度に集中し、理想化された価値コアへと結晶化する。 第二に、これらの値はどのように定量化できるのか? 本稿では,PEC(Presideed-Environment-Cognition)フレームワークを提案する。 このモデルは数学的に値表現をパラメータ重み(Prior)やユーザプロンプト(Environment)のような外部コンテキスト、およびChain-of-Thought(Cognition)のような内部推論プロセスといった固有の配置の合同結果として定義する。 最後に、LLMの値は、どのようにして所望の目標に向かって整列できるのか? PEC診断を用いて適応的な「アライメント処方」を確立する。 資源集約的なトレーニングを盲目的に適用するのではなく、ゼロコストプロンプトからターゲットパラメータ更新まで、各次元に必要な最小限の効果的な介入を特定する。 広汎な経験的検証により,本手法はLCM値の存在を正しく検証し,それらのシフトを正確に定量し,従来のブラインドトレーニングよりも効率的かつ高精度なステアリングを実現し,汎用性を低下させることなく実現可能であることが確認された。

関連論文リスト

• Every Question Has Its Own Value: Reinforcement Learning with Explicit Human Values [53.72318444646282]
  RLEV(Reinforcement Learning with Explicit Human Values)を提案する。 RLEVは、Large Language Model (LLM) 最適化を直接、定量化された人間の値信号と整合させる。 RLEVは、複数のRLアルゴリズムとモデルスケールで、精度のみのベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2025-10-23T04:15:22Z)
• Counterfactual Reasoning for Steerable Pluralistic Value Alignment of Large Language Models [43.01088871836861]
  COUPLEは、Puuralistic valuEアライメントのためのCOUnterfactual reasoning frameworkである。 特徴間の複雑な相互依存と優先順位付け、高レベルの価値次元と振る舞いの因果関係が特徴である。 明確な因果モデリングから恩恵を受けるため、COUPLEはより良い解釈可能性も提供する。
  論文  参考訳（メタデータ） (2025-10-21T11:12:45Z)
• Evaluating AI Alignment in Eleven LLMs through Output-Based Analysis and Human Benchmarking [0.0]
  大規模言語モデル(LLM)は、心理学的な研究や実践にますます使われているが、従来のベンチマークでは、実際の相互作用で表現される価値についてはほとんど明らかにされていない。 LLMが表現する値の出力に基づく評価であるPAPERSを導入する。
  論文  参考訳（メタデータ） (2025-06-14T20:14:02Z)
• CLASH: Evaluating Language Models on Judging High-Stakes Dilemmas from Multiple Perspectives [3.7931130268412194]
  CLASHは345個のハイインパクトジレンマと3,795個の異なる値の個々の視点からなるデータセットである。 CLASHは、価値に基づく意思決定プロセスの批判的かつ未調査な側面の研究を可能にする。 GPT-5やClaude-4-Sonnetのような強力なプロプライエタリモデルでさえ、曖昧な決定に苦戦している。
  論文  参考訳（メタデータ） (2025-04-15T02:54:16Z)
• Value Compass Benchmarks: A Platform for Fundamental and Validated Evaluation of LLMs Values [76.70893269183684]
  大きな言語モデル(LLM)は驚くべきブレークスルーを達成する。 価値を人間に合わせることは 責任ある開発に欠かせないものになっています 3つの望ましい目標を達成するLLMの評価はいまだに欠けている。
  論文  参考訳（メタデータ） (2025-01-13T05:53:56Z)
• Are the Values of LLMs Structurally Aligned with Humans? A Causal Perspective [33.19778298286475]
  我々は、潜在因果値グラフが大きな言語モデル(LLM)の値次元の根底にあることを論じ、アライメントトレーニングにもかかわらず、この構造は人間の値システムと大きく異なるままである。 これらの因果値グラフを利用して、ロールベースのプロンプトとスパースオートエンコーダ(SAE)ステアリングという2つの軽量なバリューステアリング手法を導出する。 Gemma-2B-ITとLlama3-8B-ITの実験により,本手法の有効性と可制御性を示した。
  論文  参考訳（メタデータ） (2024-12-31T18:12:05Z)
• Beyond Human Norms: Unveiling Unique Values of Large Language Models through Interdisciplinary Approaches [69.73783026870998]
  本研究では,大言語モデルの固有値システムをスクラッチから再構築する新しいフレームワークであるValueLexを提案する。 語彙仮説に基づいて、ValueLexは30以上のLLMから様々な値を引き出すための生成的アプローチを導入している。 我々は,3つのコア値次元,能力,キャラクタ,積分をそれぞれ特定の部分次元で同定し,LLMが非人間的だが構造化された価値体系を持っていることを明らかにした。
  論文  参考訳（メタデータ） (2024-04-19T09:44:51Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• Heterogeneous Value Alignment Evaluation for Large Language Models [91.96728871418]
  大規模言語モデル(LLM)は、その価値を人間のものと整合させることを重要視している。 本研究では,LLMと不均一値の整合性を評価するため,不均一値アライメント評価(HVAE)システムを提案する。
  論文  参考訳（メタデータ） (2023-05-26T02:34:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。