論文の概要: LLMs Contain Multitudes: How Deployment Context Reshapes Model-Level Preferences and Values
- arxiv url: http://arxiv.org/abs/2606.13944v1
- Date: Thu, 11 Jun 2026 22:09:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-15 16:00:42.665726
- Title: LLMs Contain Multitudes: How Deployment Context Reshapes Model-Level Preferences and Values
- Title(参考訳): マルチタスクを含むLLM: デプロイコンテキストがモデルレベルの前提と価値をどう改善するか
- Authors: Filip Trhlik, Aoife O'Flynn, Angela Yu, Arduin Findeis, Paula Buttery,
- Abstract要約: 大規模言語モデル(LLM)は、安定的でモデルレベルの嗜好と価値システムを持つものとして、最近の評価作業でますます特徴付けられている。
我々は、国家の選好のランク付けとユーティリティ判断の2つの確立されたペアワイズパラダイムを直接テストする。
- 参考スコア(独自算出の注目度): 3.52299670434098
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) are increasingly characterised in recent evaluation work as having stable, model-level preference and value systems. However, accompanying robustness checks are limited to incidental prompt perturbations such as syntax variation and option reordering. This leaves open whether the measured properties survive when the surrounding task context changes, as it does in most real deployments. We test this directly across two established pairwise paradigms: ranking country preferences and eliciting utility judgements. In both, we make the deployment context -- the high-level task the model is performing while making concrete value-dependent choices -- our controlled variable, varied across framings such as writing a Reddit post or a news article. Across five LLMs and over 1.2M pairwise decisions, deployment context produces variation far larger than prompt paraphrasing and temperature controls. In country preference rankings over 15 countries, context induces widespread, statistically significant rank shifts; the aggregate Global North favouritism reported in prior work is itself context-dependent, with each model's bias shifting systematically across contexts. In utility elicitation over 50 outcomes, broad cross-category ordering is preserved, but fine-grained rankings within domains vary substantially, and cardinal exchange rates between outcomes (e.g. how many lives in one region equal one in another) shift by a factor of 2.47 at the median. Reported model-level preferences and utilities are therefore better understood as context-conditioned measurements than fixed model-level properties: safety guarantees obtained under one framing provide limited assurance in another.
- Abstract(参考訳): 大規模言語モデル(LLM)は、安定的でモデルレベルの嗜好と価値システムを持つものとして、最近の評価作業でますます特徴付けられている。
しかし、それに伴うロバスト性チェックは、構文の変化やオプションの並べ替えといった、偶発的な急激な摂動に限られる。
これにより、ほとんどの実際のデプロイで行われているように、周囲のタスクコンテキストが変化したときに測定済みのプロパティが存続するかどうかが明らかになる。
我々は、国家の選好のランク付けとユーティリティ判断の2つの確立されたペアワイズパラダイムを直接テストする。
両方に、デプロイコンテキスト -- モデルが実行している高レベルなタスク -- を、具体的な値依存の選択 -- にします。
5つの LLM と 1.2M 以上のペアによる決定により、配置コンテキストは、迅速なパラフレージングや温度制御よりもはるかに大きく変化する。
15か国以上の国別選好ランキングでは、文脈は広く統計的に有意なランクシフトを誘導し、以前の研究で報告されたグローバル・ノースの選好は文脈依存であり、各モデルのバイアスは文脈全体にわたって体系的にシフトする。
50以上の効用エスカレーションでは、幅広いカテゴリの順序付けが保存されるが、ドメイン内のきめ細かいランク付けは著しく異なり、結果(例えば、ある領域の寿命が1つに等しい)間の基数交換レートは中央値2.47にシフトする。
報告されたモデルレベルの嗜好とユーティリティは、固定されたモデルレベルの特性よりも文脈条件による測定として理解されている。
関連論文リスト
- Agent-BRACE: Decoupling Beliefs from Actions in Long-Horizon Tasks via Verbalized State Uncertainty [70.43119366710778]
本稿では,Agens-BRACE: Agent Belief state Representation by Abstraction and Confidence Estimationを紹介する。
LLMエージェントを信頼状態モデルと政策モデルに分離し、強化学習を通じて協調的に最適化する手法である。
長期にわたる部分的に観察可能な言語環境において、平均して+14.5%の絶対的な改善を実現している。
論文 参考訳(メタデータ) (2026-05-12T02:37:04Z) - The A-R Behavioral Space: Execution-Level Profiling of Tool-Using Language Model Agents in Organizational Deployment [0.3823356975862005]
大規模言語モデル(LLM)は、システムレベルの操作を実行するツール拡張エージェントとして、ますます多くデプロイされている。
本研究では,行動速度 (A) と拒絶信号 (R) で定義される2次元A-R空間に基づく実行層型行動計測手法を提案する。
モデルは4つの規範的体制と3つの自律的構成で評価される。
論文 参考訳(メタデータ) (2026-04-13T22:50:21Z) - Evidence-based Distributional Alignment for Large Language Models [58.65469623911573]
LLM分布推定の忠実度とロバスト性を改善する証拠に基づくアライメント手法であるEvi-DAを提案する。
対象国が与えられた場合、Evi-DAは関連するWorld Values Survey項目とその回答分布を検索し、オプション毎に粗いヴェルツェル値シグネチャを予測し、国条件の回答分布を構造化形式で推測する。
論文 参考訳(メタデータ) (2026-03-03T03:34:06Z) - Revisiting LLM Value Probing Strategies: Are They Robust and Expressive? [81.49470136653665]
広範に利用されている3つの探索戦略における値表現の頑健さと表現性を評価する。
人口統計学的文脈は自由テキスト生成にはほとんど影響を与えず、モデルの値は値に基づく行動の好みと弱い相関しか示さない。
論文 参考訳(メタデータ) (2025-07-17T18:56:41Z) - PICASO: Permutation-Invariant Context Composition with State Space Models [98.91198288025117]
State Space Models (SSM) は、コンテキストのデータベースを固定次元の状態にマッピング可能にすることで、有望なソリューションを提供する。
本研究では,SSM力学から導かれる単純な数学的関係を,生のコンテキストトークンの連結効果を効率的に近似する複数の状態に構成する。
我々は,WikiText と MSMARCO をゼロショットと微調整の両方で評価し,平均5.4倍のスピードアップを楽しみながら最強の演奏ベースラインと一致できることを示す。
論文 参考訳(メタデータ) (2025-02-24T19:48:00Z) - Sample then Identify: A General Framework for Risk Control and Assessment in Multimodal Large Language Models [46.56041622514975]
リスク管理とアセスメントのための2段階のフレームワークであるTRONを紹介する。
TRONは、2つのユーザ特定リスクレベルに制限された所望のエラー率を達成する。
重複予測セットは適応性を維持しつつ、異なるリスクレベルのリスク評価に対してより効率的で安定である。
論文 参考訳(メタデータ) (2024-10-10T17:50:42Z) - How to Handle Different Types of Out-of-Distribution Scenarios in Computational Argumentation? A Comprehensive and Fine-Grained Field Study [59.13867562744973]
この研究は、オフ・オブ・ディストリビューション(OOD)シナリオにおけるLMの能力を体系的に評価する。
このような学習パラダイムの有効性は,OODの種類によって異なることがわかった。
具体的には、ICLはドメインシフトに優れているが、プロンプトベースの微調整はトピックシフトに勝っている。
論文 参考訳(メタデータ) (2023-09-15T11:15:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。