論文の概要: Deontological Keyword Bias: The Impact of Modal Expressions on Normative Judgments of Language Models

• arxiv url: http://arxiv.org/abs/2506.11068v1
• Date: Sun, 01 Jun 2025 05:04:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-22 23:32:14.541368
• Title: Deontological Keyword Bias: The Impact of Modal Expressions on Normative Judgments of Language Models
• Title（参考訳）: Deontological Keyword Bias: モーダル表現が言語モデルの規範的判断に及ぼす影響
• Authors: Bumjin Park, Jinsil Lee, Jaesik Choi,
• Abstract要約: 本研究は,LLMにおいて,モーダル表現でプロンプトが強化された場合の義務として非拘束的文脈を判断する傾向が強いことを示す。 モーダル表現が存在する場合、LLMはコモンセンスシナリオの90%以上を義務と判断する。 DKB を緩和するために,少数ショット例と推論プロンプトを統合した判定戦略を提案する。
• 参考スコア（独自算出の注目度）: 20.117685116205333
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly engaging in moral and ethical reasoning, where criteria for judgment are often unclear, even for humans. While LLM alignment studies cover many areas, one important yet underexplored area is how LLMs make judgments about obligations. This work reveals a strong tendency in LLMs to judge non-obligatory contexts as obligations when prompts are augmented with modal expressions such as must or ought to. We introduce this phenomenon as Deontological Keyword Bias (DKB). We find that LLMs judge over 90\% of commonsense scenarios as obligations when modal expressions are present. This tendency is consist across various LLM families, question types, and answer formats. To mitigate DKB, we propose a judgment strategy that integrates few-shot examples with reasoning prompts. This study sheds light on how modal expressions, as a form of linguistic framing, influence the normative decisions of LLMs and underscores the importance of addressing such biases to ensure judgment alignment.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、人間の判断基準が不明確である場合、道徳的および倫理的推論にますます関与している。 LLMアライメント研究は、多くの分野をカバーするが、LLMが義務についてどのように判断するかは、未解明領域として重要である。 この研究は、LLMにおいて、必要やすべきことといったモダル表現でプロンプトが強化された場合の義務として非オブリーブな文脈を判断する傾向が強いことを示している。 この現象をDKB(Deontological Keyword Bias)と呼ぶ。 LLMは、モダル表現が存在する場合の義務として、90%以上のコモンセンスシナリオを判断する。 この傾向は、様々なLLMファミリー、質問タイプ、回答形式で構成されている。 DKB を緩和するために,少数ショット例と推論プロンプトを統合した判定戦略を提案する。 この研究は、言語的フレーミングの一形態として、モーダル表現がLLMの規範的決定にどのように影響するかについて光を当て、判断の整合性を確保するためにそのようなバイアスに対処することの重要性を浮き彫りにしている。

関連論文リスト

• Comparing human and LLM politeness strategies in free production [8.709788354490238]
  大規模言語モデル(LLM)におけるポリット音声の基本的なアライメントの課題 我々は,LLM が,制約された作業とオープンな作業の両方において,人間と LLM の応答を比較することによって,同様に文脈に敏感なレパートリーを採用できるかどうかを検討する。 大規模モデルでは計算実用学の文献から重要な選好を再現することができ、人間の評価者は驚くほどオープンな文脈でLLM生成の応答を好んでいる。
  論文  参考訳（メタデータ） (2025-06-11T04:44:46Z)
• Alignment Revisited: Are Large Language Models Consistent in Stated and Revealed Preferences? [5.542420010310746]
  批判的だが、未調査の問題は、LLMが明記した嗜好と明らかにした嗜好との潜在的な相違である。 この研究は正式に定義され、この選好偏差を測定する方法を提案する。 我々の研究は、LDMをサービス、特に人間と直接対話するサービスに統合するために不可欠です。
  論文  参考訳（メタデータ） (2025-05-31T23:38:48Z)
• Probing Association Biases in LLM Moderation Over-Sensitivity [42.191744175730726]
  大規模言語モデルは、コンテンツモデレーションに広く使用されるが、しばしば良心的なコメントを有毒と誤分類する。 トピック・アソシエーション・アナリティクス(トピック・アソシエーション・アナリティクス)は,LLMが特定のトピックと毒性をどう関連づけるかを定量化するセマンティック・レベルのアプローチである。 より高度なモデル(例えば、GPT-4 Turbo)は、全体的な偽陽性率が低いにもかかわらず、より強力なトピックステレオタイプを示す。
  論文  参考訳（メタデータ） (2025-05-29T18:07:48Z)
• Arbiters of Ambivalence: Challenges of Using LLMs in No-Consensus Tasks [52.098988739649705]
  本研究では, LLMのバイアスと限界について, 応答生成器, 判定器, 討論器の3つの役割について検討した。 我々は、様々な先行的曖昧なシナリオを含む例をキュレートすることで、合意なしのベンチマークを開発する。 以上の結果から, LLMは, オープンエンドの回答を生成する際に, 曖昧な評価を行うことができる一方で, 審査員や討論者として採用する場合は, 合意なしのトピックにスタンスを取る傾向が示唆された。
  論文  参考訳（メタデータ） (2025-05-28T01:31:54Z)
• Disparities in LLM Reasoning Accuracy and Explanations: A Case Study on African American English [66.97110551643722]
  本研究では,Large Language Models (LLMs) 推論タスクにおける方言の相違について検討する。 LLMは、AAE入力に対するより正確な応答とより単純な推論チェーンと説明を生成する。 これらの知見は、LLMの処理方法と異なる言語品種の理由の体系的差異を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-03-06T05:15:34Z)
• Diagnosing Moral Reasoning Acquisition in Language Models: Pragmatics and Generalization [9.650922370722476]
  大規模言語モデル(LLM)は、道徳的認識を必要とするタスクで満足に機能しないことが多い。 現在の学習パラダイムは、LLMが十分な道徳的推論能力を得ることができるか? 性能改善は意味レベルの課題に類似したメカニズムを踏襲し,言論における潜在道徳の実践的性質の影響を受け続けることを示す。
  論文  参考訳（メタデータ） (2025-02-23T15:00:53Z)
• Actions Speak Louder than Words: Agent Decisions Reveal Implicit Biases in Language Models [10.565316815513235]
  大規模言語モデル(LLM)は、人間の振る舞いをシミュレートする際にも暗黙の偏見を示すことがある。 ほぼすべてのシミュレーションにおいて,最先端のLDMは社会デマトグラフィーの相違が顕著であることを示す。 実験結果と実世界の格差を比較すると、我々が発見したバイアスは方向整列されているが、顕著に増幅されていることがわかった。
  論文  参考訳（メタデータ） (2025-01-29T05:21:31Z)
• Evaluating the Correctness of Inference Patterns Used by LLMs for Judgment [53.17596274334017]
  我々は,LLMの詳細な推論パターンの正確さを,その正しい出力の裏側で評価した。 実験により、言語生成結果が正しそうであっても、LLMが法的な判断に用いた推論パターンのかなりの部分は、誤解を招く論理や無関係な論理を表す可能性があることが示された。
  論文  参考訳（メタデータ） (2024-10-06T08:33:39Z)
• LLMs' Reading Comprehension Is Affected by Parametric Knowledge and Struggles with Hypothetical Statements [59.71218039095155]
  言語モデルの自然言語理解(NLU)能力を評価するための主要な手段として、読解理解(RC)があげられる。 文脈がモデルの内部知識と一致している場合、モデルの回答がコンテキスト理解に由来するのか、あるいは内部情報から生じるのかを識別することは困難である。 この問題に対処するために、架空の事実や実体に基づいて、想像上のデータにRCを使うことを提案する。
  論文  参考訳（メタデータ） (2024-04-09T13:08:56Z)
• A Theory of LLM Sampling: Part Descriptive and Part Prescriptive [53.08398658452411]
  大規模言語モデル(LLM)は、自律的な意思決定にますます活用されている。 このサンプリング行動が人間の意思決定と類似していることが示される。 統計的ノルムから規範的成分へのサンプルの偏りは、様々な現実世界の領域にまたがる概念に一貫して現れることを示す。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。