論文の概要: Reading the Room: Foundations, Design, and Challenges of Normative Competence in LLMs

• arxiv url: http://arxiv.org/abs/2610.10906v2
• Date: Mon, 12 Oct 2026 21:13:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-14 23:39:49.627459
• Title: Reading the Room: Foundations, Design, and Challenges of Normative Competence in LLMs
• Title（参考訳）: 部屋を読む: LLMにおける規範的能力の基礎, 設計, 課題
• Abstract要約: 我々は,合成規範に支配される議論において,規範的能力について研究する。 ベースラインエージェントは,その精度が向上しても,規範を学習できないことがわかった。 我々の研究は LLM における規範的能力の運用と評価を初めて行ったものである。
• 参考スコア（独自算出の注目度）: 13.611697118785896
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human communities are governed by normative systems: shared standards that produce \textit{norms} dictating acceptable behavior, enforced through community sanctioning. Aligning increasingly autonomous AI systems with these norms is a central alignment challenge, complicated by the fact that norms are vast in number, change quickly, and are often arbitrary (e.g., dress or language conventions). Thus, alignment requires \textit{normative competence}: the ability to discern from interaction alone what norms a community enforces without relying on static pretrained knowledge. We introduce a multi-agent community debate setting, where access to debate is governed by synthetic norms, to study normative competence in isolation from pretraining exposure. We show that baseline LLM agents fail to learn norms even when doing so would improve their accuracy. We then experiment with various \textit{normative modules} -- architectural components for norm inference -- finding that norm-following is highly sensitive to both the style of norm and the model powering the normative module, suggesting a lack of generalizability. Furthermore, when idiosyncratic, non-normative behaviors accompany the true norm, LLM agents exhibit an unselective attribution failure: they indiscriminately copy idiosyncratic noise alongside enforced rules, a pattern that persists even when imitating unnecessary behaviors is explicitly penalized. To the best of our knowledge, our work is the first to operationalize and evaluate normative competence in LLMs, demonstrating that current AI systems excel at behavioral mimicry but lack the capacity to discern socially enforced order.
• Abstract（参考訳）: 人間のコミュニティは規範的なシステムによって統治されている: コミュニティの制裁によって強制される許容可能な行動を規定する「textit{norms}」を作成する共有標準である。 これらの規範でますます自律的なAIシステムを適応させることは、標準が膨大な数であり、急速に変化し、しばしば任意であるという事実によって、中心的なアライメントの課題である(例えば、ドレスや言語規則)。 したがって、アライメントには‘textit{normative competence}: 静的事前訓練された知識に頼らずに、コミュニティが強制する規範のみを識別する能力が必要である。 我々は,事前学習から分離して規範的能力を研究するために,総合的な規範によって議論へのアクセスが支配されるマルチエージェントコミュニティの議論環境を紹介した。 ベースラインLLMエージェントは,その精度が向上しても,規範を学習できないことを示す。 次に、様々な \textit{normative module} -- ノルム推論のためのアーキテクチャコンポーネント -- を実験し、ノルムフォローがノルムのスタイルとノルムモジュールを駆動するモデルの両方に非常に敏感であることを発見し、一般化性の欠如を示唆する。 さらに、慣用的、非ノルム的行動が真の規範に付随する場合、LLMエージェントは非選択的帰属的帰属的障害を示し、不必要な振る舞いを模倣しても持続するパターンが明示的に罰せられる。 我々の知識を最大限に活用するために、我々の研究は、LLMにおける規範的能力の運用と評価を初めて行い、現在のAIシステムが行動模倣に優れているが、社会的に強制された秩序を識別する能力がないことを実証した。

関連論文リスト

• Where Norms and References Collide: Evaluating LLMs on Normative Reasoning [3.8431932182760296]
  ロボットのような身体的エージェントは、コミュニケーションの成功が社会的規範の推論に依存することが多い場所にいる環境で対話する必要がある。 大規模な言語モデル(LLM)がこのような推論をサポートできるかどうかは不明だ。 SNIC(Situated Norms in Context)は,最先端のLCMがNBRRに関連する規範的原則をいかに抽出し,活用できるかを探索する,有能な診断テストベッドである。
  論文  参考訳（メタデータ） (2026-02-03T01:23:22Z)
• EgoNormia: Benchmarking Physical Social Norm Understanding [52.87904722234434]
  EGONORMIAは、安全性、プライバシ、プロキシ、丁寧さ、協力性、コーディネーション/プロアクティビティ、コミュニケーション/レポータビリティの7つの標準カテゴリにまたがる。 我々の研究は、現在の最先端のビジョン言語モデル(VLM)は、堅固な標準理解が欠如していることを示し、EGONORMIAでは最大54%、EGONORMIAでは65%と評価された。
  論文  参考訳（メタデータ） (2025-02-27T19:54:16Z)
• Learning and Sustaining Shared Normative Systems via Bayesian Rule Induction in Markov Games [2.307051163951559]
  私たちは、組み込まれた人間の機関と柔軟に協力する学習エージェントを構築します。 共有規範を仮定することにより、新しく導入されたエージェントは、コンプライアンスと違反の観察から既存の人口の規範を推測することができる。 エージェントは規範に関する共通の知識をブートストラップできるため、このことは規範を広く定着させ、新しい参加者がこれらの規範を迅速に学習することを可能にする。
  論文  参考訳（メタデータ） (2024-02-20T21:58:40Z)
• NormSAGE: Multi-Lingual Multi-Cultural Norm Discovery from Conversations On-the-Fly [61.77957329364812]
  本稿では,対話型多言語・多文化規範発見の新たな課題に対処する枠組みを提案する。 NormSAGEはノルム発見タスクと会話コンテキストを表す有向質問を通じてノルムに関する知識を導き出す。 さらに、発見される規範が正しいことを保証する自己検証メカニズムにより、言語モデル幻覚のリスクに対処する。
  論文  参考訳（メタデータ） (2022-10-16T18:30:05Z)
• Socially Intelligent Genetic Agents for the Emergence of Explicit Norms [0.0]
  我々は、規範違反の説明を提供し、推論するエージェントを開発することによって、明示的な規範の出現に対処する。 これらのエージェントは遺伝的アルゴリズムを用いてノルムを生成し、強化学習を行い、これらのノルムの価値を学習する。 説明を適用すれば,エージェントの結束性や目標満足度が向上する規範が導かれることがわかった。
  論文  参考訳（メタデータ） (2022-08-07T18:48:48Z)
• A Norm Emergence Framework for Normative MAS -- Position Paper [0.90238471756546]
  本稿では,規範的マルチエージェントシステムにおける規範の出現のための枠組みを提案する。 同様に、エージェントのパーセンテージがノルムを採用すると、ノルムがノルムMASに出現する。 我々は、規範的MAS内での規範の出現のための枠組みを提唱し、特殊目的シンセサイザーエージェントは、これらの要求に応じて新しい規範や修正を定式化する。
  論文  参考訳（メタデータ） (2020-04-06T11:42:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。