論文の概要: Are Humans as Brittle as Large Language Models?

• arxiv url: http://arxiv.org/abs/2509.07869v2
• Date: Fri, 07 Nov 2025 16:21:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-10 16:56:01.066862
• Title: Are Humans as Brittle as Large Language Models?
• Title（参考訳）: 人間は大きな言語モデルと同じくらい脆弱か?
• Authors: Jiahui Li, Sean Papay, Roman Klinger,
• Abstract要約: 提案手法は,大規模言語モデル (LLM) に対する即時修正の効果と,ヒトアノテータに対する同一命令修正との比較である。 以上の結果から,ヒトとLDMの両者は,特定の種類の即時修飾に応答して脆度が増大したことが示唆された。
• 参考スコア（独自算出の注目度）: 9.467418013202282
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The output of large language models (LLMs) is unstable, due both to non-determinism of the decoding process as well as to prompt brittleness. While the intrinsic non-determinism of LLM generation may mimic existing uncertainty in human annotations through distributional shifts in outputs, it is largely assumed, yet unexplored, that the prompt brittleness effect is unique to LLMs. This raises the question: do human annotators show similar sensitivity to prompt changes? If so, should prompt brittleness in LLMs be considered problematic? One may alternatively hypothesize that prompt brittleness correctly reflects human annotation variances. To fill this research gap, we systematically compare the effects of prompt modifications on LLMs and identical instruction modifications for human annotators, focusing on the question of whether humans are similarly sensitive to prompt perturbations. To study this, we prompt both humans and LLMs for a set of text classification tasks conditioned on prompt variations. Our findings indicate that both humans and LLMs exhibit increased brittleness in response to specific types of prompt modifications, particularly those involving the substitution of alternative label sets or label formats. However, the distribution of human judgments is less affected by typographical errors and reversed label order than that of LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)の出力は不安定であり、デコードプロセスの非決定性と脆さの促進の両方のためである。 LLM生成の本質的な非決定論は、出力の分布シフトによる人間のアノテーションの既存の不確かさを模倣する可能性があるが、迅速な脆性効果はLLMに固有のものであると広く推測されている。 これは、人間のアノテーターが変化を促すのと同じような感度を示すかという疑問を提起する。 もしそうなら、LSMの脆性は問題視されるべきだろうか? むしろ、脆さが人間のアノテーションのばらつきを正しく反映していると仮説を立てることもある。 本研究のギャップを埋めるために,人間のアノテータに対するLLMに対する即時修正と同一の指示修正の効果を体系的に比較し,ヒトが即時摂動に対して同様に敏感であるかどうかを問う。 そこで本研究では,人間とLLMの両方に,迅速な変化を条件としたテキスト分類タスクのセットを指示する。 以上の結果から,人間とLDMの両者は,特に代替ラベルやラベルフォーマットの代替など,特定の種類の即時修正に応答して脆度が増大していることが示唆された。 しかし, 人的判断の分布は, LLMよりもタイポグラフィ上の誤りやラベル順の逆の影響を受けない。

関連論文リスト

• Can LLMs Evaluate What They Cannot Annotate? Revisiting LLM Reliability in Hate Speech Detection [5.731621080995591]
  ヘイトスピーチはオンラインで広く普及し、個人やコミュニティを害し、大規模なモデレーションに欠かせない自動検出を可能にしている。 問題の一部は主観性にある: ある人が憎しみの言葉としてフラグを付けることは、別の人が良心と見なすかもしれない。 大規模言語モデル(LLM)は拡張性のあるアノテーションを約束するが、以前の研究では、人間の判断を完全に置き換えることはできないことが示されている。
  論文  参考訳（メタデータ） (2025-12-10T14:00:48Z)
• Large Language Model Hacking: Quantifying the Hidden Risks of Using LLMs for Text Annotation [66.84286617519258]
  大規模言語モデルは、データアノテーションやテキスト分析といった労働集約的なタスクの自動化を可能にすることで、社会科学の研究を変革している。 このような変異は、系統的なバイアスやランダムなエラーを導入し、下流の分析に伝播し、タイプI(偽陽性)、タイプII(偽陰性)、タイプS(重み付け効果)、タイプM(誇張効果)のエラーを引き起こす。 意図的なLSMハッキングは驚くほど単純であることがわかった。21の社会科学研究から37のデータアノテーションタスクを複製することで、ほんのわずかのプロンプトの言い回しで、事実上何であれ統計的に重要なものとして表現できることがわかりました。
  論文  参考訳（メタデータ） (2025-09-10T17:58:53Z)
• Flaw or Artifact? Rethinking Prompt Sensitivity in Evaluating LLMs [34.51801559719707]
  ハイプロンプト感度は、大規模言語モデルのコアリミットとして広く受け入れられている。 広く報告されているハイプロンプト感度は、本当にLLMの本質的な弱点なのか、それとも、主に評価プロセスの成果物なのか? 即発感度の多くは,ログライクなスコアリングや厳密な回答マッチングなど,評価手法に起因していることがわかった。
  論文  参考訳（メタデータ） (2025-09-01T21:38:28Z)
• Can Reasoning Help Large Language Models Capture Human Annotator Disagreement? [84.32752330104775]
  ヒトのアノテーションの変化(つまり不一致)は、NLPでは一般的である。 異なる推論条件が大言語モデルの不一致モデルに与える影響を評価する。 意外なことに、RLVRスタイルの推論は不一致モデリングにおいて性能を低下させる。
  論文  参考訳（メタデータ） (2025-06-24T09:49:26Z)
• Do LLMs write like humans? Variation in grammatical and rhetorical styles [0.6303112417588329]
  大きな言語モデル(LLM)は、指示に従い、質問に答え、問題を解決する文法的なテキストを書くことができる。 進歩するにつれて、その出力を人文テキストと区別することは困難になっている。
  論文  参考訳（メタデータ） (2024-10-21T15:35:44Z)
• Hate Personified: Investigating the role of LLMs in content moderation [64.26243779985393]
  ヘイト検出などの主観的タスクでは,人々が嫌悪感を知覚する場合には,多様なグループを表現できるLarge Language Model(LLM)の能力は不明確である。 追加の文脈をプロンプトに含めることで、LLMの地理的プライミングに対する感受性、ペルソナ属性、数値情報を分析し、様々なグループのニーズがどの程度反映されているかを評価する。
  論文  参考訳（メタデータ） (2024-10-03T16:43:17Z)
• One vs. Many: Comprehending Accurate Information from Multiple Erroneous and Inconsistent AI Generations [47.669923625184644]
  大規模言語モデル(LLM)は非決定論的であり、同じ入力は異なる出力を生成することができる。 本研究では、ユーザがAIモデルをどのように認識し、複数の、潜在的に一貫性のない出力を受け取る際に生成された情報を理解するかを検討する。
  論文  参考訳（メタデータ） (2024-05-09T07:12:45Z)
• Scaling Data Diversity for Fine-Tuning Language Models in Human Alignment [84.32768080422349]
  人間の好みの調整は、大きな言語モデルが誤解を招くか有害なコンテンツを生成するのを防ぐ。 本研究では, 微調整後のLLMの最終性能と線形相関を示唆し, 即時多様性の新たな定式化を提案する。
  論文  参考訳（メタデータ） (2024-03-17T07:08:55Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。