論文の概要: Deontological Keyword Bias: The Impact of Modal Expressions on Normative Judgments of Language Models

• arxiv url: http://arxiv.org/abs/2506.11068v1
• Date: Sun, 01 Jun 2025 05:04:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-22 23:32:14.541368
• Title: Deontological Keyword Bias: The Impact of Modal Expressions on Normative Judgments of Language Models
• Title（参考訳）: Deontological Keyword Bias: モーダル表現が言語モデルの規範的判断に及ぼす影響
• Authors: Bumjin Park, Jinsil Lee, Jaesik Choi,
• Abstract要約: 本研究は,LLMにおいて,モーダル表現でプロンプトが強化された場合の義務として非拘束的文脈を判断する傾向が強いことを示す。 モーダル表現が存在する場合、LLMはコモンセンスシナリオの90%以上を義務と判断する。 DKB を緩和するために,少数ショット例と推論プロンプトを統合した判定戦略を提案する。
• 参考スコア（独自算出の注目度）: 20.117685116205333
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly engaging in moral and ethical reasoning, where criteria for judgment are often unclear, even for humans. While LLM alignment studies cover many areas, one important yet underexplored area is how LLMs make judgments about obligations. This work reveals a strong tendency in LLMs to judge non-obligatory contexts as obligations when prompts are augmented with modal expressions such as must or ought to. We introduce this phenomenon as Deontological Keyword Bias (DKB). We find that LLMs judge over 90\% of commonsense scenarios as obligations when modal expressions are present. This tendency is consist across various LLM families, question types, and answer formats. To mitigate DKB, we propose a judgment strategy that integrates few-shot examples with reasoning prompts. This study sheds light on how modal expressions, as a form of linguistic framing, influence the normative decisions of LLMs and underscores the importance of addressing such biases to ensure judgment alignment.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、人間の判断基準が不明確である場合、道徳的および倫理的推論にますます関与している。 LLMアライメント研究は、多くの分野をカバーするが、LLMが義務についてどのように判断するかは、未解明領域として重要である。 この研究は、LLMにおいて、必要やすべきことといったモダル表現でプロンプトが強化された場合の義務として非オブリーブな文脈を判断する傾向が強いことを示している。 この現象をDKB(Deontological Keyword Bias)と呼ぶ。 LLMは、モダル表現が存在する場合の義務として、90%以上のコモンセンスシナリオを判断する。 この傾向は、様々なLLMファミリー、質問タイプ、回答形式で構成されている。 DKB を緩和するために,少数ショット例と推論プロンプトを統合した判定戦略を提案する。 この研究は、言語的フレーミングの一形態として、モーダル表現がLLMの規範的決定にどのように影響するかについて光を当て、判断の整合性を確保するためにそのようなバイアスに対処することの重要性を浮き彫りにしている。

関連論文リスト

• Comparing human and LLM politeness strategies in free production [8.709788354490238]
  大規模言語モデル(LLM)におけるポリット音声の基本的なアライメントの課題 我々は,LLM が,制約された作業とオープンな作業の両方において,人間と LLM の応答を比較することによって,同様に文脈に敏感なレパートリーを採用できるかどうかを検討する。 大規模モデルでは計算実用学の文献から重要な選好を再現することができ、人間の評価者は驚くほどオープンな文脈でLLM生成の応答を好んでいる。
  論文  参考訳（メタデータ） (2025-06-11T04:44:46Z)
• Alignment Revisited: Are Large Language Models Consistent in Stated and Revealed Preferences? [5.542420010310746]
  批判的だが、未調査の問題は、LLMが明記した嗜好と明らかにした嗜好との潜在的な相違である。 この研究は正式に定義され、この選好偏差を測定する方法を提案する。 我々の研究は、LDMをサービス、特に人間と直接対話するサービスに統合するために不可欠です。
  論文  参考訳（メタデータ） (2025-05-31T23:38:48Z)
• LLMs' Reading Comprehension Is Affected by Parametric Knowledge and Struggles with Hypothetical Statements [59.71218039095155]
  言語モデルの自然言語理解(NLU)能力を評価するための主要な手段として、読解理解(RC)があげられる。 文脈がモデルの内部知識と一致している場合、モデルの回答がコンテキスト理解に由来するのか、あるいは内部情報から生じるのかを識別することは困難である。 この問題に対処するために、架空の事実や実体に基づいて、想像上のデータにRCを使うことを提案する。
  論文  参考訳（メタデータ） (2024-04-09T13:08:56Z)
• A Theory of LLM Sampling: Part Descriptive and Part Prescriptive [53.08398658452411]
  大規模言語モデル(LLM)は、自律的な意思決定にますます活用されている。 このサンプリング行動が人間の意思決定と類似していることが示される。 統計的ノルムから規範的成分へのサンプルの偏りは、様々な現実世界の領域にまたがる概念に一貫して現れることを示す。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。