論文の概要: What does ChatGPT return about human values? Exploring value bias in
ChatGPT using a descriptive value theory
- arxiv url: http://arxiv.org/abs/2304.03612v1
- Date: Fri, 7 Apr 2023 12:20:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-10 12:07:03.392949
- Title: What does ChatGPT return about human values? Exploring value bias in
ChatGPT using a descriptive value theory
- Title（参考訳）: ChatGPTは人間の価値観に何を返すのか?
記述値理論を用いたChatGPTにおける値バイアスの探索
- Authors: Ronald Fischer, Markus Luczak-Roesch and Johannes A Karl
- Abstract要約: 心理学的価値理論を用いてChatGPTの可能な値バイアスを検証した。
明確な価値バイアスの証拠はほとんど見つからなかった。
社会志向の価値観が統合されることは、これらの価値が言語レベルで明確に区別されていないことを示唆するかもしれない。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: There has been concern about ideological basis and possible discrimination in
text generated by Large Language Models (LLMs). We test possible value biases
in ChatGPT using a psychological value theory. We designed a simple experiment
in which we used a number of different probes derived from the Schwartz basic
value theory (items from the revised Portrait Value Questionnaire, the value
type definitions, value names). We prompted ChatGPT via the OpenAI API
repeatedly to generate text and then analyzed the generated corpus for value
content with a theory-driven value dictionary using a bag of words approach.
Overall, we found little evidence of explicit value bias. The results showed
sufficient construct and discriminant validity for the generated text in line
with the theoretical predictions of the psychological model, which suggests
that the value content was carried through into the outputs with high fidelity.
We saw some merging of socially oriented values, which may suggest that these
values are less clearly differentiated at a linguistic level or alternatively,
this mixing may reflect underlying universal human motivations. We outline some
possible applications of our findings for both applications of ChatGPT for
corporate usage and policy making as well as future research avenues. We also
highlight possible implications of this relatively high-fidelity replication of
motivational content using a linguistic model for the theorizing about human
values.
- Abstract（参考訳）: 大規模言語モデル(LLM)が生成するテキストのイデオロギー的基礎と差別の可能性については懸念されている。
心理学的価値理論を用いてChatGPTの可能な値バイアスをテストする。
そこで我々は,シュワルツ基本値理論(改訂されたポートレート値アンケート,値型定義,値名)から導出した多数の異なるプローブを用いた簡易な実験を考案した。
そこで我々は,OpenAI APIを介してChatGPTに繰り返しテキストを生成し,単語の袋を用いた理論駆動値辞書を用いて生成した値内容のコーパスを解析した。
全体として、明確な価値バイアスの証拠はほとんど見つからなかった。
その結果,生成したテキストに対する十分な構成と識別妥当性が心理モデルの理論的予測と一致し,その価値内容が高い忠実度で出力に伝達されたことが示唆された。
社会的指向の価値観の融合は、これらの価値が言語レベルで明確に区別されていないか、あるいは、この混合が人間のモチベーションの基盤を反映している可能性があることを示唆している。
企業利用と政策立案におけるchatgptの応用と今後の研究動向について,本研究の応用可能性について概説する。
また,人間の価値を理論的に論じる言語モデルを用いて,モチベーションコンテンツの比較的高忠実な再現の可能性を強調した。
関連論文リスト
- Detecting value-expressive text posts in Russian social media [0.0]
我々は、ロシアのソーシャルメディアVKontakteで価値表現ポストを正確に検出できるモデルを見つけることを目指していた。
5,035ポストのトレーニングデータセットは、3人の専門家、304人のクラウドワーカー、ChatGPTによって注釈付けされた。
ChatGPTはより一貫性があったが、スパム検出に苦労した。
論文 参考訳（メタデータ） (2023-12-14T14:18:27Z) - SOUL: Towards Sentiment and Opinion Understanding of Language [96.74878032417054]
我々は、言語感覚とオピニオン理解(SOUL)と呼ばれる新しいタスクを提案する。
SOULは2つのサブタスクを通して感情理解を評価することを目的としている:レビュー(RC)と正当化生成(JG)。
論文 参考訳（メタデータ） (2023-10-27T06:48:48Z) - Value Kaleidoscope: Engaging AI with Pluralistic Human Values, Rights, and Duties [68.66719970507273]
価値多元性とは、複数の正しい値が互いに緊張して保持されるという考え方である。
統計的学習者として、AIシステムはデフォルトで平均に適合する。
ValuePrismは、218kの値、権利、義務の大規模なデータセットで、31kの人間が記述した状況に関連付けられています。
論文 参考訳（メタデータ） (2023-09-02T01:24:59Z) - ChatGPT as a Factual Inconsistency Evaluator for Text Summarization [17.166794984161964]
ゼロショット設定下において,ChatGPTは事実整合性を評価することができることを示す。
一般的に、二項関係推論、要約ランク付け、一貫性評価に関する以前の評価指標よりも優れています。
しかし、ChatGPTの出力を綿密に検査すると、より語彙的に類似した候補を好むこと、誤った推論、指示の不十分な理解など、一定の制限が示される。
論文 参考訳（メタデータ） (2023-03-27T22:30:39Z) - KPEval: Towards Fine-Grained Semantic-Based Keyphrase Evaluation [69.57018875757622]
KPEvalは、参照合意、忠実性、多様性、有用性という4つの重要な側面からなる総合的な評価フレームワークである。
KPEvalを用いて、23のキーフレーズシステムを再評価し、確立されたモデル比較結果に盲点があることを発見した。
論文 参考訳（メタデータ） (2023-03-27T17:45:38Z) - Is ChatGPT a Good NLG Evaluator? A Preliminary Study [121.77986688862302]
NLG測定値として信頼性を示すため,ChatGPTのメタ評価を行った。
実験の結果,ChatGPTは従来の自動測定値と比較して,人間の判断と最先端あるいは競合的な相関を達成できた。
我々の予備研究は、汎用的な信頼性のあるNLGメトリックの出現を促すことを願っている。
論文 参考訳（メタデータ） (2023-03-07T16:57:20Z) - ChatGPT or Human? Detect and Explain. Explaining Decisions of Machine
Learning Model for Detecting Short ChatGPT-generated Text [2.0378492681344493]
機械学習モデルを効果的に訓練することにより、本来の人間と一見人間(すなわちChatGPT生成)のテキストを正確に区別できるかどうかを検討する。
我々は、ChatGPT生成テキストと人文生成テキストを区別するために訓練されたモデルの背後にある理由を理解するために、説明可能な人工知能フレームワークを使用している。
本研究は,人間生成テキストとChatGPT生成テキストを比較した2つの実験を行い,短いオンラインレビューに焦点を当てた。
論文 参考訳（メタデータ） (2023-01-30T08:06:08Z) - Enabling Classifiers to Make Judgements Explicitly Aligned with Human
Values [73.82043713141142]
性差別/人種差別の検出や毒性検出などの多くのNLP分類タスクは、人間の値に基づいている。
本稿では,コマンド内で明示的に記述された人間の値に基づいて予測を行う,値整合型分類のためのフレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-14T09:10:49Z) - COFFEE: Counterfactual Fairness for Personalized Text Generation in
Explainable Recommendation [56.520470678876656]
ユーザ記述テキストに固有のバイアスは、言語品質の異なるレベルとユーザの保護された属性を関連付けることができる。
説明生成における測度特異的な対実的公正性を実現するための一般的な枠組みを提案する。
論文 参考訳（メタデータ） (2022-10-14T02:29:10Z) - Polling Latent Opinions: A Method for Computational Sociolinguistics
Using Transformer Language Models [4.874780144224057]
我々は,Yelp レビューのより大きなコーパス内で,トランスフォーマー言語モデルの記憶と外挿の能力を用いて,サブグループの言語的振る舞いを学習する。
トレーニングコーパスに特定のキーワードが制限されたり、全く存在しない場合においても、GPTは正しい感情を持つ大量のテキストを正確に生成できることを示す。
論文 参考訳（メタデータ） (2022-04-15T14:33:58Z) - The Ghost in the Machine has an American accent: value conflict in GPT-3 [0.0]
言語と文化的価値の共創が大きな言語モデルに与える影響について論じる。
我々は、いくつかの言語や国を表す様々な価値豊富なテキストでGPT-3をテストした。
入力テキストに埋め込まれた値が生成された出力に変異されているのを観察した。
論文 参考訳（メタデータ） (2022-03-15T11:06:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。