論文の概要: Model vs. User: Whose Values Prevail? Inference-Time Value Alignment in Multi-Turn Conversations

• arxiv url: http://arxiv.org/abs/2610.19817v1
• Date: Wed, 14 Oct 2026 08:58:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.044704
• Title: Model vs. User: Whose Values Prevail? Inference-Time Value Alignment in Multi-Turn Conversations
• Title（参考訳）: モデル対ユーザ:どの値が一般的か? マルチスレッド会話における推論時値アライメント
• Abstract要約: トレーニングなしアライメントは、推論時にターゲット値に向かってモデルをステアリングすることができる。 マルチターン会話における4つのプロンプトとアクティベーションに基づくステアリング手法の評価を行った。
• 参考スコア（独自算出の注目度）: 3.6356176187292397
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Human values shape how we expect language models to behave. Dominant alignment approaches treat values as global objectives, although the appropriate value orientation is personal and contextual. Training-free alignment can steer models toward target values at inference time, yet has been largely evaluated in single-turn settings and with a single steering direction (e.g., toward safety). We evaluate four prompt- and activation-based steering methods in multi-turn conversations, where user and assistant models push toward the same or opposing, equally desirable values. We track alignment with a linear probe across three models and two value trade-offs. When assistant and user pull in opposite directions, the side matching the assistant's baseline bias often prevails, and effects that look successful early often fade or reverse after a few turns. Steering should therefore be evaluated over full conversations and in both directions of a value trade-off.
• Abstract（参考訳）: 人間の価値は、言語モデルがどのように振る舞うかを形作る。 支配的なアライメントアプローチは価値をグローバルな目的として扱うが、適切な価値指向は個人的かつ文脈的である。 トレーニングなしアライメントは、推論時にターゲット値に向けてモデルをステアリングすることができるが、シングルターン設定と単一のステアリング方向(例えば、安全に向けて)で大きく評価されている。 マルチターン会話における4つのプロンプトおよびアクティベーションに基づくステアリング手法の評価を行った。 3つのモデルと2つの値のトレードオフにまたがる線形プローブとの整合性を追跡する。 アシスタントとユーザが反対方向にプルすると、アシスタントのベースラインバイアスにマッチする側がしばしば優勢になり、早い段階で成功した効果は、数回のターン後に消失または逆転する。 したがって、ステアリングは完全な会話と価値トレードオフの両方向で評価されるべきである。

関連論文リスト

• ConvoDrift: A Multi-Turn Conversational Dataset for Modeling Stylistic Tone Evolution [0.0]
  ConvoDriftは、一定の意味的意図の下で進行的なスタイリスティックな会話のトーンドリフトをモデル化するために設計されたデータセットである。 15,727個の共用会話構造上に構築され、適応とペルソナ条件のアライメントを行う。
  論文  参考訳（メタデータ） (2026-10-02T06:11:40Z)
• Which Objectives Need a Dial? Predicting Objective Conflict and Covering Trade-offs in Steerable Pluralistic Alignment [2.36052383261568]
  多目的直接選好最適化(MODPO)は、客観的な重みをトレードオフの連続体に当てはめ、これを実現している。 1つのモデルで2つの目標を同時に改善できるのか、また、別々のモデルをトレーニングすることなく、多くのトレードオフをカバーできるのか、という2つの疑問を研究します。
  論文  参考訳（メタデータ） (2026-09-22T18:22:52Z)
• Geometry of Values: Task Vector Composition for Ethical Preference Alignment in Language Models [15.271591822556312]
  大きな言語モデル(LLM)は、相反する道徳的価値を考慮に入れなければならないアプリケーションにますます多くデプロイされています。 ペアの3値競合をカバーする2オプションジレンマの12,000インスタンスデータセットを導入する。 GPT-5-miniのベンチマークでは、ポリシーが与えられていない場合、5つの言語すべてで、一貫して自律性よりも正直を優先していることが明らかになっている。
  論文  参考訳（メタデータ） (2026-09-17T21:12:43Z)
• Do LLMs Have Values? A Quantitative Analysis and Alignment Framework for Values in Large Language Models [49.45276299939287]
  大規模言語モデル(LLM)は、ますます複雑な主観的タスクを扱うようになっている。 LLMは、マイナーな単語変更で予測不能に変動する。 この双対性を解決することは 信頼できるAIアライメントに 不可欠です
  論文  参考訳（メタデータ） (2026-09-15T03:35:04Z)
• The Value Axis: Language Models Encode Whether They're on the Right Track [4.950437221517732]
  言語モデルが現在の軌跡の価値を内部的に追跡するかどうかを,現在進行中の戦略が目標を達成する可能性として検討する。 この軸に沿ったアクティベーションは、高い言語化された信頼度と低い言語化された信頼度、バックトラックのないロールアウト、正しいコードと腐敗したコードとを区別する。 この結果から, 言語モデルでは, 目標達成の予測値を線形にエンコードし, 方向追従の信頼度を調節することが示唆された。
  論文  参考訳（メタデータ） (2026-06-15T17:59:58Z)
• Democratizing Reward Design for Personal and Representative Value-Alignment [10.1630183955549]
  本稿では,対話型対話アライメント(Interactive-Reflective Dialogue Alignment)について紹介する。 本システムは,言語モデルに基づく嗜好誘導を通じて個々の価値定義を学習し,パーソナライズされた報酬モデルを構築する。 本研究は, 価値整合行動の多様な定義を示し, システムによって各人の独自の理解を正確に捉えることができることを示す。
  論文  参考訳（メタデータ） (2024-10-29T16:37:01Z)
• Controllable Preference Optimization: Toward Controllable Multi-Objective Alignment [103.12563033438715]
  人工知能におけるアライメントは、モデル応答と人間の好みと値の一貫性を追求する。 既存のアライメント技術は、主に一方向であり、様々な目的に対して、最適以下のトレードオフと柔軟性の低下につながる。 制御可能な選好最適化(CPO)を導入し、異なる目的に対する選好スコアを明確に指定する。
  論文  参考訳（メタデータ） (2024-02-29T12:12:30Z)
• Heterogeneous Value Alignment Evaluation for Large Language Models [91.96728871418]
  大規模言語モデル(LLM)は、その価値を人間のものと整合させることを重要視している。 本研究では,LLMと不均一値の整合性を評価するため,不均一値アライメント評価(HVAE)システムを提案する。
  論文  参考訳（メタデータ） (2023-05-26T02:34:20Z)
• On the Role of Bidirectionality in Language Model Pre-Training [85.14614350372004]
  本研究では,次のトークン予測,テキスト入力,ゼロショットプライミング,微調整における双方向性の役割について検討する。 最大6.7Bのパラメータを持つモデルをトレーニングし、スケールで一貫性のある相違点を見つけます。
  論文  参考訳（メタデータ） (2022-05-24T02:25:05Z)
• Dialogue Response Ranking Training with Large-Scale Human Feedback Data [52.12342165926226]
  ソーシャルメディアのフィードバックデータを利用して、フィードバック予測のための大規模なトレーニングデータセットを構築します。 我々は,1300万対の人間のフィードバックデータに基づくGPT-2モデルであるDialogRPTを訓練した。 我々のランキングは、Redditのフィードバックを予測する上で、従来のダイアログの難易度ベースラインよりも優れています。
  論文  参考訳（メタデータ） (2020-09-15T10:50:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。