論文の概要: Geometry of Values: Task Vector Composition for Ethical Preference Alignment in Language Models

• arxiv url: http://arxiv.org/abs/2609.21094v1
• Date: Thu, 17 Sep 2026 21:12:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.781152
• Title: Geometry of Values: Task Vector Composition for Ethical Preference Alignment in Language Models
• Title（参考訳）: 価値の幾何学:言語モデルにおける倫理的選好アライメントのためのタスクベクトル合成
• Abstract要約: 大きな言語モデル(LLM)は、相反する道徳的価値を考慮に入れなければならないアプリケーションにますます多くデプロイされています。 ペアの3値競合をカバーする2オプションジレンマの12,000インスタンスデータセットを導入する。 GPT-5-miniのベンチマークでは、ポリシーが与えられていない場合、5つの言語すべてで、一貫して自律性よりも正直を優先していることが明らかになっている。
• 参考スコア（独自算出の注目度）: 15.271591822556312
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are increasingly deployed in applications that must weigh clashing moral values, yet even strong models exhibit hidden biases and brittle instruction-following across languages. We introduce a 12,000-instance dataset of two-option dilemmas covering pairwise three value conflicts: Honesty vs. Justice, Justice vs. Autonomy, and Autonomy vs. Honesty, along with their translations into Hindi, Arabic, Spanish, and Chinese, to probe cross-lingual behavior. Benchmarking on GPT-5-mini reveals that it consistently favors Honesty over Autonomy across all five languages when no policy is given. The Llama-3.2-1/3B models exhibit strong first-option bias; however, both plain fine-tuning and Direct Preference Optimization fine-tuning effectively remove this bias, increasing accuracy to greater than 98%. In order to decouple the effect of learning correlations in the dataset from abstract values, we propose a task vector transfer based experiment where after computing the task vectors for a direction of value preference we orthogonalize it with respect to the general instruction following vector. Our experiment shows that this method is effective in isolating the direction of the specific value preference that can successfully be used to conduct task arithmetic to obtain a model with the opposite stance.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、衝突する道徳的価値を考慮しなければならないアプリケーションにますますデプロイされていますが、強力なモデルでさえ、隠れたバイアスと言語間の脆い命令フォローを示しています。 一対に3つの価値相反(Hoesty vs. Justice vs. Autonomy、Autonomy vs. Honesty、ヒンディー語、アラビア語、スペイン語、中国語への翻訳)をカバーした2つのオプションジレンマのデータセットを12,000件導入した。 GPT-5-miniのベンチマークでは、ポリシーが与えられていない場合、5つの言語すべてで、一貫して自律性よりも正直を優先していることが明らかになっている。 Llama-3.2-1/3Bモデルには強いファーストオプションバイアスがあるが、通常の微調整と直接選好最適化の両方でこのバイアスを効果的に除去し、精度は98%以上に向上した。 データセットにおける学習相関を抽象値から切り離すために,タスクベクトル移動に基づく実験を提案し,タスクベクトルを値優先の方向に計算した後,一般的な命令に従うベクトルに対して直交的に処理する。 本実験により,本手法は,課題算術の実施に有効である特定の値の選好方向を分離し,逆の姿勢を持つモデルを得るのに有効であることが示された。

関連論文リスト

• CEI: A Benchmark for Evaluating Pragmatic Reasoning in Language Models [0.28258700614488924]
  実用的な推論は、大きな言語モデルでは依然として困難である。 我々は、LLMが現実的な複雑な発話をいかに曖昧にするかを評価するために、300の人間検証シナリオをCEIベンチマークで提示する。 データセットは、職場、家族、社会、サービス設定から引き出された5つの実用的サブタイプ(皮肉/匿名、混成信号、戦略的丁寧さ、受動的攻撃、偏向/ミスディレクション)をカバーしている。
  論文  参考訳（メタデータ） (2026-02-14T08:31:19Z)
• CM-Align: Consistency-based Multilingual Alignment for Large Language Models [84.19366314925593]
  高品質な多言語嗜好データを構築するための一貫性に基づくデータ手法を提案する。 具体的には、一貫性のある英語参照選択と、言語間一貫性に基づく多言語嗜好データ構築の2つの部分を含む。
  論文  参考訳（メタデータ） (2025-09-10T12:40:49Z)
• Beyond Early-Token Bias: Model-Specific and Language-Specific Position Effects in Multilingual LLMs [50.07451351559251]
  我々は,5言語(英語,ロシア語,ドイツ語,ヒンディー語,ベトナム語)にまたがる調査を行った。 位置バイアスが即時戦略とどのように相互作用し、出力エントロピーに影響を及ぼすかを検討する。
  論文  参考訳（メタデータ） (2025-05-22T02:23:00Z)
• Activation Scaling for Steering and Interpreting Language Models [55.59689963561315]
  モデルにうまく介入することは、内部の動作を解釈するための前提条件である、と我々は主張する。 成功した介入は、間違ったトークンで正しいことを正し、その逆を正すべきである。 勾配に基づく最適化を用いることで、特定の種類の効率的かつ解釈可能な介入を学習(そして後で評価)することができる。
  論文  参考訳（メタデータ） (2024-10-07T12:01:32Z)
• Evaluating Large Language Models Using Contrast Sets: An Experimental Approach [0.0]
  本研究では,スタンフォード自然言語推論データセットのコントラストセットを生成する革新的な手法を提案する。 我々の戦略は、動詞、副詞、形容詞をその同義語と自動置換して、文の本来の意味を保存することである。 本手法は,モデルの性能が真の言語理解に基づくのか,それとも単にパターン認識に基づくのかを評価することを目的とする。
  論文  参考訳（メタデータ） (2024-04-02T02:03:28Z)
• ULMA: Unified Language Model Alignment with Human Demonstration and Point-wise Preference [16.73260713938154]
  典型的なアライメント手順は、教師付き微調整と選好学習からなる。 本稿では,ポイントワイズフィードバックを効果的に活用する新しい選好学習手法であるPoint-wise Direct Preference Optimizationを紹介する。 我々の研究は、教師付き微調整とポイントワイド選好学習の新たなつながりを明らかにし、統一言語モデルアライメント(英語版)に到達した。
  論文  参考訳（メタデータ） (2023-12-05T07:52:12Z)
• Bag of Tricks for Effective Language Model Pretraining and Downstream Adaptation: A Case Study on GLUE [93.98660272309974]
  このレポートでは、ジェネラル言語理解評価のリーダーボードに関するVega v1を簡潔に紹介します。 GLUEは、質問応答、言語受容性、感情分析、テキスト類似性、パラフレーズ検出、自然言語推論を含む9つの自然言語理解タスクのコレクションである。 最適化された事前学習と微調整の戦略により、13億のモデルは4/9タスクに新しい最先端のタスクを設定し、91.3の平均スコアを達成しました。
  論文  参考訳（メタデータ） (2023-02-18T09:26:35Z)
• A Commonsense-Infused Language-Agnostic Learning Framework for Enhancing Prediction of Political Polarity in Multilingual News Headlines [0.0]
  対象言語における推論知識を取得するために,翻訳と検索の手法を用いる。 次に、重要な推論を強調するために注意機構を使用します。 我々は、それぞれの政治的極性に注釈を付けた5つのヨーロッパ言語で62.6K以上の多言語ニュースの見出しを提示する。
  論文  参考訳（メタデータ） (2022-12-01T06:07:01Z)
• Distributionally Robust Multilingual Machine Translation [94.51866646879337]
  本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。 この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。 本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
  論文  参考訳（メタデータ） (2021-09-09T03:48:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。