Fugu-MT 論文翻訳(概要): LLMs Can Better Capture Human Judgments--With the Right Prompts

論文の概要: LLMs Can Better Capture Human Judgments--With the Right Prompts

arxiv url: http://arxiv.org/abs/2606.12754v1
Date: Wed, 10 Jun 2026 23:42:22 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-12 15:55:27.503348
Title: LLMs Can Better Capture Human Judgments--With the Right Prompts
Title（参考訳）: LLMは正しいプロンプトで人間の判断をより良くする
Abstract要約: 一般的に述べられている2つの制限は、大きな言語モデルは応答の完全な分布を捉えず、その判断は単語のバリエーションによって不安定であるということである。我々は、AIと人間のアライメントを改善するのに、いかにシンプルなエレケーション技術が役立つかを示す。
参考スコア（独自算出の注目度）: 7.957808148711568
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Are large language models (LLMs) bad at capturing human judgment? Two commonly stated limitations are that LLMs fail to capture full distributions of responses, and that their judgments are unstable across wording variations. We demonstrate simple prompting strategies that mitigate these limitations. Across two datasets--a U.S.-representative set of 144 moral scenarios and 38 moral beliefs from the International Social Survey Programme's Family and Changing Gender Roles module covering 32 countries--we show how simple elicitation techniques help improve AI-human alignment. First, prompting models to report standard deviations and response proportions recovers the full range of human responses better than common strategies. Second, ensuring scenarios are clear to human participants--as reflected in human confusion ratings--boosts model alignment, and LLMs can track human confusion ratings. At the same time, we find that LLMs' estimates of their own error are poorly calibrated, though they can predict human variability relatively well. These results suggest that asking better questions to LLMs can yield better answers.
Abstract（参考訳）: 大きな言語モデル(LLM)は人間の判断を捉えるのに悪いのか? 一般的に述べられている2つの制限は、LLMが応答の完全な分布を捉えず、その判断が単語のバリエーションによって不安定であることである。これらの制限を緩和する単純なプロンプト戦略を実証する。米国を代表する144の道徳的シナリオと、国際社会調査プログラムのファミリーと32カ国をカバーするジェンダーロールのモジュールの38の道徳的信念の2つのデータセットで、簡単な説明法がAIと人間のアライメントの改善にどのように役立つかを示している。第一に、標準偏差と応答率の報告をモデルに促すことは、一般的な戦略よりも人間の反応の完全な範囲を回復させる。第二に、シナリオの明確化は、人間の混乱評価を反映したものであり、モデルアライメントをブーストし、LLMは人間の混乱評価を追跡することができる。同時に、LSMの自己誤差推定は、人間の多様性を比較的よく予測できるが、校正が不十分であることが判明した。これらの結果は、LCMにより良い質問をすることで、より良い回答が得られることを示唆している。

関連論文リスト

Do LLMs Change Their Minds Like Humans? Diagnosing Human--LLM Divergence in Single-Turn Persuasion Judgments [10.717755637740948]
大規模言語モデル (LLMs) は、社会シミュレーションの参加者のためのプロキシとして、ますます多くデプロイされている。自然発生型オンライン説得コーパスを用いて体系的な比較を行う。以上の結果から,LSMは人間とわずかに一致していることがわかった。
論文参考訳（メタデータ） (2026-08-30T14:08:06Z)
Augmenting Human Evaluation with LLM Judges: How Many Human Reviews Do You Need? [1.111977509278551]
大規模言語モデル(LLM)は、ハイテイクなアプリケーションを含むAIシステムの自動評価手段として、ますます利用されている。専門家の人間格付けは高価でスケールが難しいが、LSM格付けは低コストで迅速に作成できる。本稿では,LLM審査員の役割を代用的から補助的へとシフトさせ,LLM-as-a-judgeパラダイムを人的評価の強化の1つとして定式化する。
論文参考訳（メタデータ） (2026-05-08T17:13:08Z)
Blind to the Human Touch: Overlap Bias in LLM-Based Summary Evaluation [89.52571224447111]
大規模言語モデル(LLM)の判断は、要約のようなタスクのために、伝統的なアルゴリズムベースのメトリクスと併用されることが多い。要約領域における人書き応答と重なる関数としてLLM判定バイアス分析を提案する。
論文参考訳（メタデータ） (2026-02-07T19:39:28Z)
Do LLMs Align Human Values Regarding Social Biases? Judging and Explaining Social Biases with LLMs [24.53996114318076]
大規模言語モデル(LLM)は、人間の値と不一致した場合、望ましくない結果をもたらす可能性がある。これまでの研究で、専門家が設計したかエージェントベースのエミュレートされたバイアスシナリオを用いて、LLMと人間の価値の相違を明らかにしてきた。本研究では,異なる種類のバイアスシナリオにおける社会的バイアス(HVSB)に関する人的価値とLLMのアライメントについて検討する。
論文参考訳（メタデータ） (2025-09-17T09:58:28Z)
Large Language Model Hacking: Quantifying the Hidden Risks of Using LLMs for Text Annotation [66.84286617519258]
大規模言語モデルは、データアノテーションやテキスト分析といった労働集約的なタスクの自動化を可能にすることで、社会科学の研究を変革している。このような変異は、系統的なバイアスやランダムなエラーを導入し、下流の分析に伝播し、タイプI(偽陽性)、タイプII(偽陰性)、タイプS(重み付け効果)、タイプM(誇張効果)のエラーを引き起こす。意図的なLSMハッキングは驚くほど単純であることがわかった。21の社会科学研究から37のデータアノテーションタスクを複製することで、ほんのわずかのプロンプトの言い回しで、事実上何であれ統計的に重要なものとして表現できることがわかりました。
論文参考訳（メタデータ） (2025-09-10T17:58:53Z)
Arbiters of Ambivalence: Challenges of Using LLMs in No-Consensus Tasks [52.098988739649705]
本研究では, LLMのバイアスと限界について, 応答生成器, 判定器, 討論器の3つの役割について検討した。我々は、様々な先行的曖昧なシナリオを含む例をキュレートすることで、合意なしのベンチマークを開発する。以上の結果から, LLMは, オープンエンドの回答を生成する際に, 曖昧な評価を行うことができる一方で, 審査員や討論者として採用する場合は, 合意なしのトピックにスタンスを取る傾向が示唆された。
論文参考訳（メタデータ） (2025-05-28T01:31:54Z)
Large Language Models are overconfident and amplify human bias [1.014221700787766]
我々は,大規模言語モデル(LLM)が最も広く普及している人間のバイアスの1つ、過信を継承するかどうかを評価する。私たちが研究している5つのLCMは、すべて過信であり、答えが20%から60%の間正しい確率を過信しています。人間はより高度なLSMと同様の精度を持つが、過信ははるかに低い。
論文参考訳（メタデータ） (2025-05-04T15:21:34Z)
Scaling Data Diversity for Fine-Tuning Language Models in Human Alignment [84.32768080422349]
人間の好みの調整は、大きな言語モデルが誤解を招くか有害なコンテンツを生成するのを防ぐ。本研究では, 微調整後のLLMの最終性能と線形相関を示唆し, 即時多様性の新たな定式化を提案する。
論文参考訳（メタデータ） (2024-03-17T07:08:55Z)
Are You Sure? Challenging LLMs Leads to Performance Drops in The FlipFlop Experiment [82.60594940370919]
大規模言語モデル(LLM)のマルチターン動作を研究するためのFlipFlop実験を提案する。モデルが平均46%の時間で回答を反転させ、全てのモデルが最初の予測と最終予測の間に精度を低下させ、平均17%の低下(FlipFlop効果)を示す。我々はオープンソースのLLMで微調整実験を行い、合成されたデータに対する微調整は、性能劣化を60%低減させることができるが、サイコファンティックな振る舞いを完全には解決できないことを発見した。
論文参考訳（メタデータ） (2023-11-14T23:40:22Z)
Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
論文参考訳（メタデータ） (2023-11-07T15:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。