論文の概要: Prototyping Theories with ChatGPT: Experiment with the Technology
Acceptance Model
- arxiv url: http://arxiv.org/abs/2307.05488v1
- Date: Sun, 4 Jun 2023 23:55:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 17:43:04.685636
- Title: Prototyping Theories with ChatGPT: Experiment with the Technology
Acceptance Model
- Title(参考訳): chatgptによる理論のプロトタイピング:技術受容モデルによる実験
- Authors: Tiong-Thye Goh
- Abstract要約: この研究の目的は、ChatGPTが理論的概念を理解し、構成物を区別する能力を評価することである。
実験の結果,ChatGPTはアクセプタンス・テクノロジー・モデル(TAM)の構成に整合した応答を生成できることが示唆された。
実験では、生成したサンプルの潜在的なバイアス、特に性別や使用経験について明らかにした。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This research paper presents the findings of two experimental studies that
explore the use of ChatGPT as a tool for theory prototyping. The objective of
the studies is to assess ChatGPT's ability to comprehend theoretical concepts
and differentiate between constructs. During the experiments, duplicated
responses were identified in both Study 1 and Study 2, with duplicate response
rates of 26.25% and 40% respectively. The results of the experiments indicate
that ChatGPT can generate responses aligned with the constructs of the
Technology Acceptance Model (TAM). The loading and reliability coefficients
demonstrate the validity of the models, with Study 1 achieving an R-squared
value of 82% and Study 2 achieving 71%. In Study 2, two items with negative
wording exhibited low loadings and were subsequently removed from the model.
Both studies exhibit reasonable discriminant validity despite high correlations
among the TAM constructs. The experiments reveal potential biases in the
generated samples, particularly regarding gender and usage experiences. These
biases may impact the responses of constructs and should be considered when
interpreting ChatGPT's conceptual capabilities. In sum, ChatGPT shows promise
as a tool for theory prototyping, generating relevant responses aligned with
theoretical constructs. However, further investigation is needed to address
limitations such as duplicated responses, variations in prompts, and the
generalizability of findings to different contexts.
- Abstract(参考訳): 本研究は,ChatGPTを理論プロトタイピングのツールとして用いた2つの実験結果について述べる。
研究の目的は、chatgptが理論的概念を理解し、構成を区別する能力を評価することである。
実験では、それぞれ26.25%と40%の重複反応率で、研究1と研究2の両方で重複反応が同定された。
実験の結果,ChatGPTは,TAM(Technology Acceptance Model)の構成要素に沿った応答を生成できることが示唆された。
負荷係数と信頼性係数はモデルの妥当性を示し,研究1ではR2乗値が82%,研究2では71%であった。
研究2では, 負の単語を持つ2項目が低負荷を示し, その後, モデルから除去された。
どちらの研究もtam構成物間の相関が高いにもかかわらず、合理的な判別的妥当性を示している。
実験は、特に性別と使用経験に関して、生成されたサンプルの潜在的なバイアスを明らかにする。
これらのバイアスは構造体の応答に影響を与える可能性があり、ChatGPTの概念的能力を解釈する際に考慮すべきである。
まとめると、chatgptはpromiseを理論のプロトタイピングのツールとして示し、理論的な構成と一致した関連する応答を生成する。
しかし、重複した応答、プロンプトのバリエーション、異なるコンテキストに対する発見の一般化可能性といった制限に対処するためには、さらなる調査が必要である。
関連論文リスト
- SOUL: Towards Sentiment and Opinion Understanding of Language [96.74878032417054]
我々は、言語感覚とオピニオン理解(SOUL)と呼ばれる新しいタスクを提案する。
SOULは2つのサブタスクを通して感情理解を評価することを目的としている:レビュー(RC)と正当化生成(JG)。
論文 参考訳(メタデータ) (2023-10-27T06:48:48Z) - A Double Machine Learning Approach to Combining Experimental and Observational Data [59.29868677652324]
実験と観測を組み合わせた二重機械学習手法を提案する。
我々の枠組みは、より軽度の仮定の下で、外部の妥当性と無知の違反を検査する。
論文 参考訳(メタデータ) (2023-07-04T02:53:11Z) - OPT-R: Exploring the Role of Explanations in Finetuning and Prompting
for Reasoning Skills of Large Language Models [48.412284346337344]
我々はLarge Language Models(LLMs)の推論能力について徹底的な調査を行っている。
本研究は,Open Pretrained Transformers (OPT) の3つの異なるサイズを微調整する。
次に、SUPER-NATURALINSTRUCTIONSベンチマークから引き出された57の領域外タスクについて、全てのモデルを評価する。
論文 参考訳(メタデータ) (2023-05-19T20:58:22Z) - An Empirical Study on the Language Modal in Visual Question Answering [31.692905677913068]
ドメイン内エクスペリエンスからアウト・オブ・ディストリビューションデータへの一般化は、AIドメインにおいて最重要事項である。
本稿では,VQAの性能に及ぼす言語モダリティの影響について,新たな知見を提供する。
論文 参考訳(メタデータ) (2023-05-17T11:56:40Z) - Testing Occupational Gender Bias in Language Models: Towards Robust Measurement and Zero-Shot Debiasing [98.07536837448293]
大規模言語モデル(LLM)は、様々な人口層に対して有害で人間らしいバイアスを示すことが示されている。
生成言語モデルにおけるバイアスを頑健に測定するためのdesiderataのリストを紹介する。
次に、このベンチマークを使用して、Llama、Mistral、およびそれらの命令チューニングバージョンを含む、最先端のオープンソースLLMをテストします。
論文 参考訳(メタデータ) (2022-12-20T22:41:24Z) - Neural Causal Models for Counterfactual Identification and Estimation [62.30444687707919]
本稿では,ニューラルモデルによる反事実文の評価について検討する。
まず、神経因果モデル(NCM)が十分に表現可能であることを示す。
第2に,反事実分布の同時同定と推定を行うアルゴリズムを開発する。
論文 参考訳(メタデータ) (2022-09-30T18:29:09Z) - A Causal Research Pipeline and Tutorial for Psychologists and Social
Scientists [7.106986689736828]
因果関係は世界を理解する科学的努力の基本的な部分である。
残念なことに、因果関係は心理学や社会科学の多くの分野においていまだに曖昧である。
研究に因果的アプローチを採用することの重要性に対する多くの勧告によって、我々は、必然的に因果的理論を研究パイプラインの他の部分と調和させるために、心理学における研究の典型的なアプローチを再構築する。
論文 参考訳(メタデータ) (2022-06-10T15:11:57Z) - Insights into performance evaluation of com-pound-protein interaction
prediction methods [0.0]
複合タンパク質相互作用(CPI)の機械学習による予測は、薬物設計、スクリーニング、再資源化研究において重要である。
我々は、モデル性能の楽観的な推定に繋がる実験設計において、多くの基本的な問題を観察してきた。
論文 参考訳(メタデータ) (2022-01-28T20:07:19Z) - Interactive Model with Structural Loss for Language-based Abductive
Reasoning [36.02450824915494]
帰納的自然言語推論タスク(alpha$NLI)は、原因と事象の間の最も明確な説明を推測するために提案される。
我々はこの新モデルを$alpha$NLI: Interactive Model with Structure Loss (IMSL) と命名する。
IMSL は RoBERTa-large Pretrained model で最高性能を達成し,ACC と AUC はそれぞれ約1%,AUC は5% 向上した。
論文 参考訳(メタデータ) (2021-12-01T05:21:07Z) - Exploring Lexical Irregularities in Hypothesis-Only Models of Natural
Language Inference [5.283529004179579]
自然言語推論(NLI)またはテキスト関連認識(RTE)は、文のペア間の関係を予測するタスクです。
包含を理解するモデルは前提と仮説の両方をエンコードするべきである。
Poliakらによる実験。
仮説でのみ観察されたパターンに対するこれらのモデルの強い好みを明らかにした。
論文 参考訳(メタデータ) (2021-01-19T01:08:06Z) - Correct block-design experiments mitigate temporal correlation bias in
EEG classification [68.85562949901077]
[1]の主主張は極めて過大評価されており、他の分析は間違った方法論的選択によって深刻な欠陥を負っていることを示す。
脳波の時間相関が2つの実験環境で同じモデルをテストすることによって分類精度に及ぼす影響について検討した。
論文 参考訳(メタデータ) (2020-11-25T22:25:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。