論文の概要: Supporting Qualitative Analysis with Large Language Models: Combining
Codebook with GPT-3 for Deductive Coding
- arxiv url: http://arxiv.org/abs/2304.10548v1
- Date: Mon, 17 Apr 2023 04:52:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-30 08:13:12.122704
- Title: Supporting Qualitative Analysis with Large Language Models: Combining
Codebook with GPT-3 for Deductive Coding
- Title(参考訳): 大規模言語モデルを用いた定性的解析支援:コードブックとGPT-3を併用して導出符号化
- Authors: Ziang Xiao, Xingdi Yuan, Q. Vera Liao, Rania Abdelghani, Pierre-Yves
Oudeyer
- Abstract要約: 本研究は,大言語モデル (LLM) を用いた帰納的符号化支援について検討する。
タスク固有のモデルを訓練する代わりに、事前訓練されたLLMは、素早い学習を通じて微調整することなく、様々なタスクに直接使用することができる。
好奇心駆動型問合せコーディングタスクをケーススタディとして, GPT-3とエキスパートドラフトコードブックを組み合わせることで, 提案手法は有意な一致を達成し, 有能な結果を得た。
- 参考スコア(独自算出の注目度): 45.5690960017762
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Qualitative analysis of textual contents unpacks rich and valuable
information by assigning labels to the data. However, this process is often
labor-intensive, particularly when working with large datasets. While recent
AI-based tools demonstrate utility, researchers may not have readily available
AI resources and expertise, let alone be challenged by the limited
generalizability of those task-specific models. In this study, we explored the
use of large language models (LLMs) in supporting deductive coding, a major
category of qualitative analysis where researchers use pre-determined codebooks
to label the data into a fixed set of codes. Instead of training task-specific
models, a pre-trained LLM could be used directly for various tasks without
fine-tuning through prompt learning. Using a curiosity-driven questions coding
task as a case study, we found, by combining GPT-3 with expert-drafted
codebooks, our proposed approach achieved fair to substantial agreements with
expert-coded results. We lay out challenges and opportunities in using LLMs to
support qualitative coding and beyond.
- Abstract(参考訳): テキスト内容の質的分析は、ラベルをデータに割り当てることで、豊かで価値のある情報を解き放つ。
しかし、特に大規模なデータセットを扱う場合、このプロセスは労働集約的です。
最近のAIベースのツールは実用性を示しているが、研究者たちはAIのリソースや専門知識を手軽に利用できなかったかもしれない。
本研究では,事前決定されたコードブックを用いてデータを固定されたコード集合にラベル付けする,定性解析の主要なカテゴリである帰納的符号化をサポートするために,大規模言語モデル(llm)の利用を検討した。
タスク固有のモデルをトレーニングする代わりに、事前訓練されたllmは、プロンプト・ラーニングを通じて微調整することなく、さまざまなタスクに直接使用できる。
好奇心駆動型問合せコーディングタスクをケーススタディとして, GPT-3とエキスパートドラフトコードブックを組み合わせることで, 提案手法は, 専門家コーディング結果との相当な合意を達成できた。
質的なコーディングなどをサポートするために,LSMを使用する上での課題と機会を概説する。
関連論文リスト
- Creating a Trajectory for Code Writing: Algorithmic Reasoning Tasks [0.923607423080658]
本稿では,楽器とその検証に用いる機械学習モデルについて述べる。
我々は,学期最後の週に導入プログラミングコースで収集したデータを用いてきた。
先行研究は、ARTタイプの楽器を特定の機械学習モデルと組み合わせて効果的な学習軌道として機能させることができることを示唆している。
論文 参考訳(メタデータ) (2024-04-03T05:07:01Z) - DataAgent: Evaluating Large Language Models' Ability to Answer Zero-Shot, Natural Language Queries [0.0]
OpenAIのGPT-3.5をLanguage Data Scientist(LDS)として評価する
このモデルは、さまざまなベンチマークデータセットでテストされ、そのパフォーマンスを複数の標準で評価した。
論文 参考訳(メタデータ) (2024-03-29T22:59:34Z) - Knowledge Plugins: Enhancing Large Language Models for Domain-Specific
Recommendations [50.81844184210381]
本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。
このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
論文 参考訳(メタデータ) (2023-11-16T07:09:38Z) - Exploring the Potential of Large Language Models in Generating
Code-Tracing Questions for Introductory Programming Courses [6.43363776610849]
大規模言語モデル(LLM)は、プログラミングコースでコードトレースの質問を生成するために使用することができる。
我々は,教育とNLP研究コミュニティの双方にとって貴重な資源として,人間とLLMが生成するトレーシング質問のデータセットを提示する。
論文 参考訳(メタデータ) (2023-10-23T19:35:01Z) - LLM-in-the-loop: Leveraging Large Language Model for Thematic Analysis [18.775126929754833]
Thematic Analysis (TA)は、多くの分野や分野における定性的データを解析するために広く使われている。
ヒューマンコーダはデータの解釈とコーディングを複数のイテレーションで開発し、より深くする。
In-context Learning (ICL) を用いたTAを実現するための人間-LLM協調フレームワーク(LLM-in-the-loop)を提案する。
論文 参考訳(メタデータ) (2023-10-23T17:05:59Z) - LLM-Assisted Content Analysis: Using Large Language Models to Support
Deductive Coding [0.3149883354098941]
大規模言語モデル(LLM)は、自然言語処理や推論タスクを多岐にわたって実行するAIツールである。
本研究では,従来のコンテンツ分析の柔軟性を保ちながら,帰納的符号化に要する時間を削減するため,LLMの使用について検討する。
GPT-3.5は、人間のコーダに匹敵するレベルの合意で、しばしば演能的な符号化を行うことができる。
論文 参考訳(メタデータ) (2023-06-23T20:57:32Z) - Pre-training Multi-task Contrastive Learning Models for Scientific
Literature Understanding [52.723297744257536]
事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。
文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
論文 参考訳(メタデータ) (2023-05-23T16:47:22Z) - Multi-Task Instruction Tuning of LLaMa for Specific Scenarios: A
Preliminary Study on Writing Assistance [60.40541387785977]
小さな基礎モデルは、命令駆動データを用いて微調整された場合、多様なタスクに対処する際、顕著な習熟度を示すことができる。
本研究は, 汎用的な指導よりも, 1つないし数つの特定のタスクに主眼を置いている, 実践的な問題設定について検討する。
実験結果から,命令データに対する微調整LLaMAは,タスクの記述能力を大幅に向上することが示された。
論文 参考訳(メタデータ) (2023-05-22T16:56:44Z) - AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。
本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。
我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
論文 参考訳(メタデータ) (2023-03-29T17:03:21Z) - KnowDA: All-in-One Knowledge Mixture Model for Data Augmentation in
Few-Shot NLP [68.43279384561352]
既存のデータ拡張アルゴリズムはタスク非依存のルールや微調整の汎用事前訓練言語モデルを利用する。
これらの手法は、簡単なタスク固有の知識を持ち、単純なタスクにおいて弱いベースラインのための低品質な合成データを得るに限られる。
我々は,様々なNLPタスクを予め学習したエンコーダ/デコーダLMの知識混合データ拡張モデル(KnowDA)を提案する。
論文 参考訳(メタデータ) (2022-06-21T11:34:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。