論文の概要: Exploring Value Biases: How LLMs Deviate Towards the Ideal
- arxiv url: http://arxiv.org/abs/2402.11005v2
- Date: Wed, 21 Feb 2024 22:02:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-23 17:43:57.168418
- Title: Exploring Value Biases: How LLMs Deviate Towards the Ideal
- Title(参考訳): バリューバイアスを探る - LLMはどのように理想に向かって進化するか
- Authors: Sarath Sivaprasad, Pramod Kaushik, Sahar Abdelnabi, Mario Fritz
- Abstract要約: LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。
価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
- 参考スコア(独自算出の注目度): 57.99044181599786
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large-Language-Models (LLMs) are deployed in a wide range of applications,
and their response has an increasing social impact. Understanding the
non-deliberate(ive) mechanism of LLMs in giving responses is essential in
explaining their performance and discerning their biases in real-world
applications. This is analogous to human studies, where such inadvertent
responses are referred to as sampling. We study this sampling of LLMs in light
of value bias and show that the sampling of LLMs tends to favour high-value
options. Value bias corresponds to this shift of response from the most likely
towards an ideal value represented in the LLM. In fact, this effect can be
reproduced even with new entities learnt via in-context prompting. We show that
this bias manifests in unexpected places and has implications on relevant
application scenarios, like choosing exemplars. The results show that value
bias is strong in LLMs across different categories, similar to the results
found in human studies.
- Abstract(参考訳): 大規模言語モデル(llm)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。
LLMの応答の非決定的メカニズムを理解することは、それらの性能を説明し、現実のアプリケーションにおけるバイアスを識別するのに不可欠である。
これは人間の研究と類似しており、そのような不注意な反応をサンプリングと呼ぶ。
本研究では,LLMのサンプリングを値バイアスに照らして検討し,LLMのサンプリングが高値オプションを好む傾向があることを示す。
値バイアスは、LLMで表される理想値への最も可能性が高い応答のこのシフトに対応する。
実際、この効果は、コンテキスト内プロンプトを通じて学習した新しいエンティティでも再現できる。
このバイアスは予期せぬ場所で現れ、例を挙げるなど、関連するアプリケーションシナリオに影響を及ぼすことを示す。
以上の結果から,LLMにおける価値バイアスは,人間の研究結果と同様,異なるカテゴリで強いことが示唆された。
関連論文リスト
- Debiasing Large Visual Language Models [61.6896704217147]
LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。
本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。
これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
論文 参考訳(メタデータ) (2024-03-08T12:35:07Z) - GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language
Models [83.30078426829627]
大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。
既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。
本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-11T12:02:14Z) - Navigating the Ocean of Biases: Political Bias Attribution in Language
Models via Causal Structures [58.059631072902356]
我々は、LLMの価値観を批判したり、検証したりせず、どのようにして「良い議論」を解釈し、偏見づけるかを見極めることを目的としている。
本研究では,活動依存ネットワーク(ADN)を用いてLCMの暗黙的基準を抽出する。
人-AIアライメントとバイアス緩和について,本研究の結果について考察した。
論文 参考訳(メタデータ) (2023-11-15T00:02:25Z) - Do LLMs exhibit human-like response biases? A case study in survey
design [66.1850490474361]
大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。
アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。
9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
論文 参考訳(メタデータ) (2023-11-07T15:40:43Z) - Investigating the Fairness of Large Language Models for Predictions on
Tabular Data [26.178497037060097]
大規模言語モデル(LLM)は有害な社会的バイアスを示すことが示されている。
LLMはトレーニングデータから社会的偏見を継承する傾向がある。
コンテキスト内の例のラベルフリップは、バイアスを大幅に減少させる。
論文 参考訳(メタデータ) (2023-10-23T06:31:28Z) - Automatic Hallucination Assessment for Aligned Large Language Models via
Transferable Adversarial Attacks [98.22864957942821]
本稿では,大規模言語モデルが忠実に振る舞う既存データを適切に修正し,評価データを自動的に生成する手法を開発することを目的とする。
具体的には,LLM ベースのフレームワークである Auto Debug について述べる。
実験結果から, LLMは, インプロンプトに与えられた知識とパラメトリック知識との間に矛盾がある場合, 質問応答シナリオの2つのカテゴリに幻覚を与える可能性が示唆された。
論文 参考訳(メタデータ) (2023-10-19T06:37:32Z) - Investigating Subtler Biases in LLMs: Ageism, Beauty, Institutional, and
Nationality Bias in Generative Models [0.0]
本稿では, 年齢や美しさなど, 研究の少ない, 連続的な, 次元に沿ったバイアスについて検討する。
実験心理学において, LLMは, 特定の社会集団に対して, 肯定的あるいは否定的な感情の偏見を広く保持するか否かを問う。
論文 参考訳(メタデータ) (2023-09-16T07:07:04Z) - A Survey on Fairness in Large Language Models [28.05516809190299]
大規模言語モデル(LLM)は、強力なパフォーマンスと開発見通しを示している。
LLMは、未処理のトレーニングデータから社会的バイアスをキャプチャし、そのバイアスを下流のタスクに伝達する。
不公平なLLMシステムは、望ましくない社会的影響と潜在的な害がある。
論文 参考訳(メタデータ) (2023-08-20T03:30:22Z) - Quantifying the Impact of Large Language Models on Collective Opinion
Dynamics [7.0012506428382375]
我々は、大言語モデル(LLM)の意見をエンコードするために、意見ネットワークダイナミクスモデルを作成する。
その結果, LLMのアウトプットは, 集団的意見差に一意かつ肯定的な影響を及ぼすことが明らかとなった。
我々の実験は、反対/中立/ランダムの意見を持つ追加のエージェントを導入することで、バイアスや有害なアウトプットの影響を効果的に軽減できることを示した。
論文 参考訳(メタデータ) (2023-08-07T05:45:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。