論文の概要: Polite but Misaligned: Evaluating LLM Politeness Judgments Against Human Pragmatic Norms

• arxiv url: http://arxiv.org/abs/2609.29001v1
• Date: Thu, 24 Sep 2026 04:08:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.71055
• Title: Polite but Misaligned: Evaluating LLM Politeness Judgments Against Human Pragmatic Norms
• Title（参考訳）: ポリトとミスアライメント: LLMポリトネス判断の人間プラグマティックノルムに対する評価
• Abstract要約: モデル間合意は、丁寧な判断におけるモデル間合意よりも強い。 戦略レベルの分析は、モデル-人間のアライメントが明示的な言語的手がかりと関連していることを示唆している。
• 参考スコア（独自算出の注目度）: 21.700043114488324
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Despite strong performance on standard benchmarks, it remains unclear whether large language models (LLMs) evaluate social pragmatics in ways that align with human judgments. We evaluate LLM politeness judgments using two English-language datasets with complementary annotation formats: continuous human ratings and three-way categorical labels. Across the seven evaluated models, we find that inter-model agreement is stronger than model--human agreement. Strategy-level analyses suggest that model--human alignment is associated with explicit linguistic cues, while some rapport-building strategies occur more frequently in misaligned cases. In the categorical task, model predictions exhibit systematic neutral compression, characterized by the overproduction of Neutral labels and the underprediction of Impolite labels. This pattern persists when expert consensus is used as the reference on a diagnostic subset. Our findings highlight the need for pragmatic evaluations that go beyond aggregate agreement metrics by examining directional patterns of model--human disagreement across different human references.
• Abstract（参考訳）: 標準ベンチマークの性能は高いが、大きな言語モデル(LLM)が人間の判断に合わせた社会的実用性を評価するかどうかは不明だ。 連続的な人格評価と3方向分類ラベルという,補完的なアノテーション形式を持つ2つの英語データセットを用いてLCMの丁寧さ判定を評価する。 7つの評価モデル全体で、モデル間合意はモデル間合意よりも強いことが判明した。 戦略レベルの分析は、モデル-ヒトのアライメントが明示的な言語的手がかりと結びついていることを示唆している。 カテゴリー的タスクでは、モデル予測は、ニュートラルラベルの過剰生産とインポライトラベルの過小評価を特徴とする、体系的な中性圧縮を示す。 このパターンは、専門家のコンセンサスを診断サブセットのリファレンスとして使用する場合に継続する。 本研究は, 人事異同の方向性パターンを調べることにより, 合意基準を超える実用的評価の必要性を浮き彫りにした。

関連論文リスト

• To Compare, or Not to Compare: On Methodological Practices in Evaluating Social Bias [61.40435736418359]
  異質なベンチマークを標準化する統一的なフレームワークを導入し、孤立した人口統計評価と強制選択比較設定を対比する。 比較設定は、主に不特定文脈によって引き起こされる潜在識別のアグレッシブな触媒として機能することを示す。 最後に、この比較偏見はモデルサイズと正にスケールする一般化された現象であることを示す。
  論文  参考訳（メタデータ） (2026-06-23T13:53:50Z)
• Rethinking Ground Truth: A Case Study on Human Label Variation in MLLM Benchmarking [0.03219669032304847]
  ヒトラベル変量(HLV)は、大規模な言語モデルの開発が急速に進んでいるにもかかわらず、ベンチマークでは未熟である。 本研究では,(1) ラベルの一致と(2) 意見の不一致の2つの条件を明示的に考慮したマルチモーダルな大規模言語モデルベンチマークの評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2026-03-20T08:29:05Z)
• On the Fallacy of Global Token Perplexity in Spoken Language Model Evaluation [88.77441715819366]
  大規模生音声で事前訓練された生成音声言語モデルは、適切な内容で音声プロンプトを継続することができる。 本稿では,グローバルトークンの難易度に代えて,多種多様な可能性・生成的評価手法を提案する。
  論文  参考訳（メタデータ） (2026-01-09T22:01:56Z)
• Bridging Human and Model Perspectives: A Comparative Analysis of Political Bias Detection in News Media Using Large Language Models [0.3227658251731014]
  本研究では,人間のアノテーションと複数の言語モデルによる政治的偏見の検出を評価するための比較枠組みを提案する。 我々は,手動でアノテートしたニュース記事のデータセットを構築し,アノテート一貫性,バイアス極性,モデル間合意を評価する。 実験の結果,従来のトランスフォーマーベースモデルでは,RoBERTaが最も高いアライメントを達成していることがわかった。
  論文  参考訳（メタデータ） (2025-11-18T15:58:04Z)
• Bias in Language Models: Beyond Trick Tests and Toward RUTEd Evaluation [49.3814117521631]
  大規模言語モデル(LLM)におけるバイアスと公平性の標準ベンチマークは、プロンプトによって記述されたユーザー属性とインプットの関係を測定する。 本研究では, 子どもの就寝時間, ユーザ・ペルソナ, 英語学習演習の3つの文脈から, RUTEdの類似性を評価する。 標準偏差指標は、より現実的な偏差指標と有意な相関関係がないことがわかった。
  論文  参考訳（メタデータ） (2024-02-20T01:49:15Z)
• Social Bias Probing: Fairness Benchmarking for Language Models [38.180696489079985]
  本稿では,社会的偏見を考慮した言語モデル構築のための新しい枠組みを提案する。 既存のフェアネスコレクションの制限に対処するために設計された大規模なベンチマークであるSoFaをキュレートする。 我々は、言語モデル内のバイアスが認識されるよりもニュアンスが高いことを示し、これまで認識されていたよりもより広く符号化されたバイアスの範囲を示している。
  論文  参考訳（メタデータ） (2023-11-15T16:35:59Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)
• Social Biases in Automatic Evaluation Metrics for NLG [53.76118154594404]
  本稿では,単語埋め込みアソシエーションテスト(WEAT)と文埋め込みアソシエーションテスト(SEAT)に基づく評価手法を提案する。 我々は、画像キャプションやテキスト要約タスクにおける性別バイアスの影響を調査するために、性別対応メタ評価データセットを構築した。
  論文  参考訳（メタデータ） (2022-10-17T08:55:26Z)
• SMURF: SeMantic and linguistic UndeRstanding Fusion for Caption Evaluation via Typicality Analysis [20.026835809227283]
  情報理論に根ざした評価の新しい定式化である「定型性」を導入する。 これらの分割された意味論と流布の次元が、キャプタの違いに関するシステムレベルの洞察をいかに与えているかを示す。 提案手法とそれらの組み合わせであるSMURFは,他のルールベース評価指標と比較した場合,人間の判断と最先端の相関が得られた。
  論文  参考訳（メタデータ） (2021-06-02T19:58:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。