論文の概要: ContextAdapt: Evaluating Contextual Adaptation and Value Alignment in LLMs

• arxiv url: http://arxiv.org/abs/2609.38260v1
• Date: Tue, 29 Sep 2026 11:52:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.43022
• Title: ContextAdapt: Evaluating Contextual Adaptation and Value Alignment in LLMs
• Title（参考訳）: ContextAdapt: LLMにおけるコンテキスト適応とバリューアライメントの評価
• Abstract要約: 誠実さ、自律性、機密性といった価値は、AIの整合性を支える一般的な原則とみなされることが多い。 これらの値に従って行動することの意味は、決定が下されるコンテキストによって異なります。 本稿では,大規模言語モデル (LLM) が専門的設定にまたがって値の適用を適切に適応するかどうかを問う。
• 参考スコア（独自算出の注目度）: 5.734448042909701
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Values such as honesty, autonomy, and confidentiality are often regarded as general principles underpinning AI alignment. However, what it means to act in accordance with these values can depend on the context in which a decision is made. In this paper, we ask whether large language models (LLMs) appropriately adapt the application of a value across professional settings, while remaining consistent when contextual changes do not alter the relevant professional norm. To study this, we introduce ContextAdapt, an evaluation framework covering honesty, autonomy, and confidentiality across medicine, law, finance, and national security. Drawing on primary-source professional and regulatory documents, we construct a value x domain framework and use this to develop scenarios testing both default professional rules and recognised exceptions. We evaluate 12 LLMs on both the actions they recommend and the justifications they provide. In our main experiment, models achieve 95.6% mean appropriateness, although the use of the correct domain-specific justification varies substantially across models, from 25.6% to 76.9%. In a separate factorial experiment, explicitly naming the professional domain and changing the role of the model have limited effect on behaviour. Varying stakes, however, reveals severe but localised failures: in some cases, models alter their responses even though the underlying professional obligation remains unchanged. In particular, perceived severity appears to act as a cue for disclosure across both honesty and confidentiality scenarios. These results show that evaluating value alignment requires us to consider not only whether models follow abstract principles, but whether they apply them appropriately across different contexts.
• Abstract（参考訳）: 誠実さ、自律性、機密性といった価値は、AIの整合性を支える一般的な原則とみなされることが多い。 しかし、これらの値に従って行動することの意味は、決定が下されるコンテキストに依存する可能性がある。 本稿では,大規模言語モデル (LLM) が,コンテキスト変化が関連する専門的規範を変えない場合に一貫性を維持しつつも,プロフェッショナルな設定に価値の適用を適切に適応するかどうかを問う。 そこで本研究では,医療,法律,財務,国家安全保障を対象とする,誠実さ,自律性,機密性を考慮した評価フレームワークであるContextAdaptを紹介する。 プライマリソースのプロフェッショナルおよび規制文書に基づいて、バリューxドメインフレームワークを構築し、これをデフォルトのプロフェッショナルルールと認識された例外の両方をテストするシナリオの開発に使用します。 私たちは、推奨する行動と、それらが提供する正当化の両方について、12のLCMを評価します。 主な実験では、モデルは95.6%の平均的適切性を達成するが、正しいドメイン固有の正当性の使用は25.6%から76.9%の範囲で大きく異なる。 別個のファクター実験では、プロのドメインを明示的に命名し、モデルの役割を変更することは行動に限られた影響を及ぼす。 しかし、Varying stakesは厳しいが局所的な失敗を露呈する。いくつかのケースでは、基礎となる専門的義務が変更されていないにもかかわらず、モデルが応答を変更する。 特に、認識された重大さは、誠実さと機密性の両方のシナリオにおける開示の手がかりとして機能しているように見える。 これらの結果は、モデルが抽象原則に従うかどうかだけでなく、異なる文脈で適切に適用されるかどうかを検討する必要があることを示している。

関連論文リスト

• Do LLMs Have Values? A Quantitative Analysis and Alignment Framework for Values in Large Language Models [49.45276299939287]
  大規模言語モデル(LLM)は、ますます複雑な主観的タスクを扱うようになっている。 LLMは、マイナーな単語変更で予測不能に変動する。 この双対性を解決することは 信頼できるAIアライメントに 不可欠です
  論文  参考訳（メタデータ） (2026-09-15T03:35:04Z)
• The Shadow Self: Intrinsic Value Misalignment in Large Language Model Agents [37.75212140218036]
  コントロの損失リスクを定式化し、これまで過小評価されていた内因性価値の相違(内因性VM)を識別する。 次に、このリスクを体系的に評価するシナリオ駆動フレームワークであるIMPRESSを紹介します。 我々は,21種類のLLMエージェント上での固有のVMの評価を行い,モデル間での安全性のリスクが広く見られることを発見した。
  論文  参考訳（メタデータ） (2026-01-24T07:09:50Z)
• HALF: Harm-Aware LLM Fairness Evaluation Aligned with Deployment [52.374772443536045]
  HALF(Harm-Aware LLM Fairness)は、現実的なアプリケーションにおけるモデルバイアスを評価し、有害度によって結果を評価するフレームワークである。 HALFは、以前のベンチマークの成功とデプロイメントの準備の整合性の間に明らかなギャップがあることを示します。
  論文  参考訳（メタデータ） (2025-10-14T07:13:26Z)
• Expert Preference-based Evaluation of Automated Related Work Generation [54.29459509574242]
  本稿では,従来の作業評価基準と専門家固有の嗜好を統合したマルチターン評価フレームワークGREPを提案する。 より優れたアクセシビリティを実現するため、我々はGREPの2つの変種を設計する: プロプライエタリなLLMを評価対象とするより正確な変種と、オープンウェイトなLLMをより安価な代替品である。
  論文  参考訳（メタデータ） (2025-08-11T13:08:07Z)
• Marginal Fairness: Fair Decision-Making under Risk Measures [24.99817090886293]
  本稿では,保護属性の存在下での公平な意思決定のための新しい個人的公正概念である限界公正について紹介する。 我々は、高度に規制された産業(保険や金融など)におけるビジネス意思決定を2段階のプロセスとしてモデル化する。 自己保険データセットを用いた数値的研究と経験的実装は、このフレームワークを実際にどのように適用できるかを実証する。
  論文  参考訳（メタデータ） (2025-05-24T22:44:35Z)
• The simulation of judgment in LLMs [32.57692724251287]
  大規模言語モデル(LLM)は、情報フィルタリングから説明と信頼性の判断を通じて知識ギャップの評価と対処に至るまで、評価プロセスに組み込まれている。 これにより、このような評価がどのように構築されるのか、どのような仮定に依存しているのか、その戦略が人間のものとどのように異なるのかを調べる必要が生じる。 我々は、専門家の評価に対して、6つのLCM(NewsGuardとMedia Bias/Fact Check)と、制御された実験を通して収集された人間の判断に対してベンチマークを行った。
  論文  参考訳（メタデータ） (2025-02-06T18:52:10Z)
• Evaluating the Fairness of Discriminative Foundation Models in Computer Vision [51.176061115977774]
  本稿では,CLIP (Contrastive Language-Pretraining) などの差別基盤モデルのバイアス評価のための新しい分類法を提案する。 そして、これらのモデルにおけるバイアスを緩和するための既存の手法を分類学に関して体系的に評価する。 具体的には,ゼロショット分類,画像検索,画像キャプションなど,OpenAIのCLIPとOpenCLIPモデルをキーアプリケーションとして評価する。
  論文  参考訳（メタデータ） (2023-10-18T10:32:39Z)
• Towards a multi-stakeholder value-based assessment framework for algorithmic systems [76.79703106646967]
  我々は、価値間の近さと緊張を可視化する価値に基づくアセスメントフレームワークを開発する。 我々は、幅広い利害関係者に評価と検討のプロセスを開放しつつ、それらの運用方法に関するガイドラインを提示する。
  論文  参考訳（メタデータ） (2022-05-09T19:28:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。