論文の概要: Do LLMs Align Human Values Regarding Social Biases? Judging and Explaining Social Biases with LLMs
- arxiv url: http://arxiv.org/abs/2509.13869v1
- Date: Wed, 17 Sep 2025 09:58:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-18 18:41:50.81515
- Title: Do LLMs Align Human Values Regarding Social Biases? Judging and Explaining Social Biases with LLMs
- Title（参考訳）: LLMは社会的バイアスに関する人的価値を規定しているか? : LLMによる社会的バイアスの判断と説明
- Authors: Yang Liu, Chenhui Chu,
- Abstract要約: 大規模言語モデル(LLM)は、人間の値と不一致した場合、望ましくない結果をもたらす可能性がある。
これまでの研究で、専門家が設計したかエージェントベースのエミュレートされたバイアスシナリオを用いて、LLMと人間の価値の相違を明らかにしてきた。
本研究では,異なる種類のバイアスシナリオにおける社会的バイアス(HVSB)に関する人的価値とLLMのアライメントについて検討する。
- 参考スコア（独自算出の注目度）: 24.53996114318076
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) can lead to undesired consequences when misaligned with human values, especially in scenarios involving complex and sensitive social biases. Previous studies have revealed the misalignment of LLMs with human values using expert-designed or agent-based emulated bias scenarios. However, it remains unclear whether the alignment of LLMs with human values differs across different types of scenarios (e.g., scenarios containing negative vs. non-negative questions). In this study, we investigate the alignment of LLMs with human values regarding social biases (HVSB) in different types of bias scenarios. Through extensive analysis of 12 LLMs from four model families and four datasets, we demonstrate that LLMs with large model parameter scales do not necessarily have lower misalignment rate and attack success rate. Moreover, LLMs show a certain degree of alignment preference for specific types of scenarios and the LLMs from the same model family tend to have higher judgment consistency. In addition, we study the understanding capacity of LLMs with their explanations of HVSB. We find no significant differences in the understanding of HVSB across LLMs. We also find LLMs prefer their own generated explanations. Additionally, we endow smaller language models (LMs) with the ability to explain HVSB. The generation results show that the explanations generated by the fine-tuned smaller LMs are more readable, but have a relatively lower model agreeability.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、特に複雑で敏感な社会的偏見を伴うシナリオにおいて、人間の価値観と不一致した場合、望ましくない結果をもたらす可能性がある。
これまでの研究で、専門家が設計したかエージェントベースのエミュレートされたバイアスシナリオを用いて、LLMと人間の価値の相違を明らかにしてきた。
しかし、LLMと人的価値のアライメントが異なるシナリオ(例えば、負対非負の質問を含むシナリオ)で異なるかどうかは不明である。
本研究では,異なる種類のバイアスシナリオにおける社会的バイアス(HVSB)に関する人的価値とLLMのアライメントについて検討する。
4つのモデルファミリーと4つのデータセットから12個のLLMを広範囲に解析することにより、大きなモデルパラメータスケールを持つLLMは、必ずしもミスアライメント率を低くし、成功率を攻撃しないことを示した。
さらに、LLMは特定のシナリオに対して一定のアライメントの好みを示し、同じモデルファミリーのLLMは高い判定一貫性を持つ傾向にある。
さらに,LLMの理解能力について,HVSBの説明を用いて検討した。
LLM間のHVSB理解に有意な差はみられなかった。
また、LSMは独自の説明を好んでいる。
さらに、HVSBを説明する機能を備えた、より小さな言語モデル(LM)も提供しました。
生成結果から, 微調整された小型LMによる説明はより読みやすいが, モデル適合性は比較的低いことがわかった。
関連論文リスト
- Blind to the Human Touch: Overlap Bias in LLM-Based Summary Evaluation [89.52571224447111]
大規模言語モデル(LLM)の判断は、要約のようなタスクのために、伝統的なアルゴリズムベースのメトリクスと併用されることが多い。
要約領域における人書き応答と重なる関数としてLLM判定バイアス分析を提案する。
論文 参考訳（メタデータ） (2026-02-07T19:39:28Z) - Are LLMs Biased Like Humans? Causal Reasoning as a Function of Prior Knowledge, Irrelevant Information, and Reasoning Budget [0.9558392439655014]
大きな言語モデル (LLM) は、因果推論が重要な分野において、ますます使われている。
我々は,コライダー構造で定式化された11の因果判定課題に対して,一致した人体ベースラインに対して20以上のLSMをベンチマークした。
ほとんどのLSMは、確率判断において未解決の潜伏要因を考慮に入れているように見える人間よりも、ルールライクな推論戦略を示す。
論文 参考訳（メタデータ） (2026-02-03T01:43:09Z) - Large Language Model Hacking: Quantifying the Hidden Risks of Using LLMs for Text Annotation [66.84286617519258]
大規模言語モデル(LLM)は、労働集約的なタスクの自動化を可能にすることによって、社会科学の研究を急速に変革している。
LLMの出力は、研究者による実装選択によって大きく異なる。
このようなバリエーションは、下流の分析に伝播する系統的なバイアスやランダムなエラーを導入し、タイプI、タイプII、タイプS、タイプMのエラーを引き起こす。
論文 参考訳（メタデータ） (2025-09-10T17:58:53Z) - Applying Large Language Models to Travel Satisfaction Analysis [2.5105418815378555]
本研究は上海で収集された家庭調査データを用いて,大言語モデル(LLM)と人間との相違点の存在と原因を特定する。
LLMは文脈的理解と一般化において強力な能力を持ち、タスク固有のデータへの依存を著しく減少させる。
小さいサンプルサイズで旅行行動のモデル化に応用できるLCMに基づくモデリング手法を提案する。
論文 参考訳（メタデータ） (2025-05-29T09:11:58Z) - Arbiters of Ambivalence: Challenges of Using LLMs in No-Consensus Tasks [52.098988739649705]
本研究では, LLMのバイアスと限界について, 応答生成器, 判定器, 討論器の3つの役割について検討した。
我々は、様々な先行的曖昧なシナリオを含む例をキュレートすることで、合意なしのベンチマークを開発する。
以上の結果から, LLMは, オープンエンドの回答を生成する際に, 曖昧な評価を行うことができる一方で, 審査員や討論者として採用する場合は, 合意なしのトピックにスタンスを取る傾向が示唆された。
論文 参考訳（メタデータ） (2025-05-28T01:31:54Z) - DIF: A Framework for Benchmarking and Verifying Implicit Bias in LLMs [1.89915151018241]
我々は、Large Language Models(LLMs)における暗黙のバイアスは倫理的な問題であるだけでなく、技術的な問題でもあると主張している。
我々は、容易に解釈可能なベンチマークDIF(Demographic Implicit Fairness)の計算方法を開発した。
論文 参考訳（メタデータ） (2025-05-15T06:53:37Z) - A Simple Ensemble Strategy for LLM Inference: Towards More Stable Text Classification [0.0]
本研究では,大規模言語モデル(LLM)を用いた感情分析に簡単なアンサンブル戦略を導入する。
その結果,中規模のLLMを用いた多重推論のアンサンブルは,RMSEを18.6%削減する単一試みによる大規模モデルよりも,より堅牢で正確な結果が得られることを示した。
論文 参考訳（メタデータ） (2025-04-26T10:10:26Z) - Evaluating how LLM annotations represent diverse views on contentious topics [3.405231040967506]
生成型大規模言語モデル (LLM) は, 同一データセット内の同じ階層カテゴリーにおいて, 同一方向のバイアスを受ける傾向があることを示す。
自動データアノテーションタスクにLLMを用いた研究者や実践者にとっての意義について論じる。
論文 参考訳（メタデータ） (2025-03-29T22:53:15Z) - Preference Leakage: A Contamination Problem in LLM-as-a-judge [69.96778498636071]
審査員としてのLLM(Large Language Models)とLLMに基づくデータ合成は、2つの基本的なLLM駆動型データアノテーション法として登場した。
本研究では, 合成データ生成器とLCMに基づく評価器の関連性に起因するLCM-as-a-judgeの汚染問題である選好リークを明らかにする。
論文 参考訳（メタデータ） (2025-02-03T17:13:03Z) - From Distributional to Overton Pluralism: Investigating Large Language Model Alignment [82.99849359892112]
適応後の応答多様性の低下を以前報告した再検査を行った。
分析の結果,応答の多様性の明らかな低下は,品質管理と情報集約によって大きく説明できることがわかった。
発見は、現在のアライメント技術はキャプチャーされるが、アシスタントライクなベースLLM動作の有用なサブセットを拡張するものではないことを示している。
論文 参考訳（メタデータ） (2024-06-25T16:32:33Z) - A Theory of Response Sampling in LLMs: Part Descriptive and Part Prescriptive [53.08398658452411]
大規模言語モデル(LLM)は、自律的な意思決定にますます活用されている。
このサンプリング行動が人間の意思決定と類似していることが示される。
統計的ノルムから規範的成分へのサンプルの偏りは、様々な現実世界の領域にまたがる概念に一貫して現れることを示す。
論文 参考訳（メタデータ） (2024-02-16T18:28:43Z) - On Learning to Summarize with Large Language Models as References [101.79795027550959]
大型言語モデル (LLM) は、一般的な要約データセットにおける元の参照要約よりも人間のアノテーションに好まれる。
より小さなテキスト要約モデルに対するLLM-as-reference学習設定について検討し,その性能が大幅に向上するかどうかを検討する。
論文 参考訳（メタデータ） (2023-05-23T16:56:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。