論文の概要: 'Simulacrum of Stories': Examining Large Language Models as Qualitative Research Participants
- arxiv url: http://arxiv.org/abs/2409.19430v1
- Date: Sat, 28 Sep 2024 18:28:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-01 22:05:55.357782
- Title: 'Simulacrum of Stories': Examining Large Language Models as Qualitative Research Participants
- Title(参考訳): 「物語のシミュラム」:質的研究参加者としての大規模言語モデルの検討
- Authors: Shivani Kapania, William Agnew, Motahhare Eslami, Hoda Heidari, Sarah Fox,
- Abstract要約: 生産モデルに関する最近の興奮は、研究開発における人間の参加と労働の置き換えを示唆する提案の波を引き起こしている。
我々は,このパラダイムシフトの視点を理解するために,19人の定性的な研究者にインタビューを行った。
- 参考スコア(独自算出の注目度): 13.693069737188859
- License:
- Abstract: The recent excitement around generative models has sparked a wave of proposals suggesting the replacement of human participation and labor in research and development--e.g., through surveys, experiments, and interviews--with synthetic research data generated by large language models (LLMs). We conducted interviews with 19 qualitative researchers to understand their perspectives on this paradigm shift. Initially skeptical, researchers were surprised to see similar narratives emerge in the LLM-generated data when using the interview probe. However, over several conversational turns, they went on to identify fundamental limitations, such as how LLMs foreclose participants' consent and agency, produce responses lacking in palpability and contextual depth, and risk delegitimizing qualitative research methods. We argue that the use of LLMs as proxies for participants enacts the surrogate effect, raising ethical and epistemological concerns that extend beyond the technical limitations of current models to the core of whether LLMs fit within qualitative ways of knowing.
- Abstract(参考訳): 生成モデルに関する最近の興奮は、大規模言語モデル(LLM)によって生成された合成研究データを用いて、例えば、調査、実験、インタビューを通じて、研究と開発における人間の参加と労働の置き換えを提案する提案の波を引き起こしている。
我々は,このパラダイムシフトの視点を理解するために,19人の定性的な研究者にインタビューを行った。
当初懐疑的だった研究者たちは、LLMが生成したデータに同様の物語が現れるのを見て驚きました。
しかし、いくつかの会話のターンにおいて、LLMが参加者の同意や代理店を閉ざす方法、触覚や文脈の深さに欠ける応答を生成する方法、質的な研究方法のリスク軽減など、基本的な制限を特定した。
参加者のプロキシとしてのLLMの使用は代理効果を行使し、現在のモデルの技術的な限界を超えて、LLMが質的な知識の方法に適合するかどうかのコアにまで広がる倫理的・認識論的懸念を提起する。
関連論文リスト
- Retrieval-Enhanced Machine Learning: Synthesis and Opportunities [60.34182805429511]
検索エンハンスメントは機械学習(ML)の幅広い範囲に拡張できる
この研究は、MLの様々な領域の文献を、現在の文献から欠落している一貫した表記で合成することで、このパラダイムの正式なフレームワークであるRetrieval-Enhanced Machine Learning (REML)を導入する。
本研究の目的は、様々な分野の研究者に対して、検索強化モデルの包括的、正式に構造化された枠組みを付与し、学際的な将来の研究を促進することである。
論文 参考訳(メタデータ) (2024-07-17T20:01:21Z) - GPT-ology, Computational Models, Silicon Sampling: How should we think about LLMs in Cognitive Science? [4.242435932138821]
GPT-ology, LLMs-as-computational-models, Silicon sample など,いくつかの新しい研究パラダイムについてレビューする。
我々は、科学を前進させるために対処しなければならないLCMに関するいくつかの際立った問題を強調します。
論文 参考訳(メタデータ) (2024-06-13T04:19:17Z) - Concerns on Bias in Large Language Models when Creating Synthetic Personae [0.0]
本稿では,HCI研究に合成人格を取り入れることのメリット,欠点,倫理的考察について考察する。
この研究は、これらのモデルにかかわる課題を理解するための基盤を確立することを目的としており、それらを利用して合成人格を作成する前に徹底的なテストの必要性を強調している。
論文 参考訳(メタデータ) (2024-05-08T14:24:11Z) - Apprentices to Research Assistants: Advancing Research with Large Language Models [0.0]
大規模言語モデル(LLM)は、様々な研究領域において強力なツールとして登場した。
本稿では,文献レビューと手動実験を通じてその可能性について考察する。
論文 参考訳(メタデータ) (2024-04-09T15:53:06Z) - Characterizing Truthfulness in Large Language Model Generations with
Local Intrinsic Dimension [63.330262740414646]
大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。
モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
論文 参考訳(メタデータ) (2024-02-28T04:56:21Z) - Quantitative knowledge retrieval from large language models [4.155711233354597]
大規模言語モデル(LLM)は、説得力のある自然言語配列を生成する能力について広く研究されている。
本稿では,データ解析作業を支援するための定量的知識検索のメカニズムとして,LLMの実現可能性について検討する。
論文 参考訳(メタデータ) (2024-02-12T16:32:37Z) - Exploring the Potential of Large Language Models in Computational Argumentation [54.85665903448207]
大規模言語モデル (LLM) は、文脈を理解し、自然言語を生成するという印象的な能力を実証している。
この研究は、ChatGPT、Flanモデル、LLaMA2モデルなどのLLMをゼロショットと少数ショットの両方で評価することを目的としている。
論文 参考訳(メタデータ) (2023-11-15T15:12:15Z) - Framework-Based Qualitative Analysis of Free Responses of Large Language
Models: Algorithmic Fidelity [1.7947441434255664]
大規模生成言語モデル(LLM)は、質的研究手法を用いて伝統的に分析されたようなインタビュー質問に対する自由応答をシミュレートすることができる。
本稿では, LLMが生成する人工シリコン参加者について, 定性的手法を用いて生産的に研究できるかどうかを考察する。
論文 参考訳(メタデータ) (2023-09-06T15:00:44Z) - Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。
まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。
次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文 参考訳(メタデータ) (2023-09-02T00:32:55Z) - ChatEval: Towards Better LLM-based Evaluators through Multi-Agent Debate [57.71597869337909]
われわれはChatEvalと呼ばれるマルチエージェントの審判チームを構築し、異なるモデルから生成された応答の品質を自律的に議論し評価する。
分析の結果,ChatEvalは単なるテキストスコアリングを超越し,信頼性評価のための人間模倣評価プロセスを提供することがわかった。
論文 参考訳(メタデータ) (2023-08-14T15:13:04Z) - Aligning Large Language Models with Human: A Survey [53.6014921995006]
広範囲なテキストコーパスで訓練されたLarge Language Models (LLM) は、幅広い自然言語処理(NLP)タスクの先導的なソリューションとして登場した。
その顕著な性能にもかかわらず、これらのモデルは、人間の指示を誤解したり、偏見のあるコンテンツを生成したり、事実的に誤った情報を生成するといった、ある種の制限を受ける傾向にある。
本調査では,これらのアライメント技術の概要について概観する。
論文 参考訳(メタデータ) (2023-07-24T17:44:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。