論文の概要: Supporting Qualitative Analysis with Large Language Models: Combining Codebook with GPT-3 for Deductive Coding

• arxiv url: http://arxiv.org/abs/2304.10548v1
• Date: Mon, 17 Apr 2023 04:52:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-30 08:13:12.122704
• Title: Supporting Qualitative Analysis with Large Language Models: Combining Codebook with GPT-3 for Deductive Coding
• Title（参考訳）: 大規模言語モデルを用いた定性的解析支援:コードブックとGPT-3を併用して導出符号化
• Authors: Ziang Xiao, Xingdi Yuan, Q. Vera Liao, Rania Abdelghani, Pierre-Yves Oudeyer
• Abstract要約: 本研究は,大言語モデル (LLM) を用いた帰納的符号化支援について検討する。 タスク固有のモデルを訓練する代わりに、事前訓練されたLLMは、素早い学習を通じて微調整することなく、様々なタスクに直接使用することができる。 好奇心駆動型問合せコーディングタスクをケーススタディとして, GPT-3とエキスパートドラフトコードブックを組み合わせることで, 提案手法は有意な一致を達成し, 有能な結果を得た。
• 参考スコア（独自算出の注目度）: 45.5690960017762
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Qualitative analysis of textual contents unpacks rich and valuable information by assigning labels to the data. However, this process is often labor-intensive, particularly when working with large datasets. While recent AI-based tools demonstrate utility, researchers may not have readily available AI resources and expertise, let alone be challenged by the limited generalizability of those task-specific models. In this study, we explored the use of large language models (LLMs) in supporting deductive coding, a major category of qualitative analysis where researchers use pre-determined codebooks to label the data into a fixed set of codes. Instead of training task-specific models, a pre-trained LLM could be used directly for various tasks without fine-tuning through prompt learning. Using a curiosity-driven questions coding task as a case study, we found, by combining GPT-3 with expert-drafted codebooks, our proposed approach achieved fair to substantial agreements with expert-coded results. We lay out challenges and opportunities in using LLMs to support qualitative coding and beyond.
• Abstract（参考訳）: テキスト内容の質的分析は、ラベルをデータに割り当てることで、豊かで価値のある情報を解き放つ。 しかし、特に大規模なデータセットを扱う場合、このプロセスは労働集約的です。 最近のAIベースのツールは実用性を示しているが、研究者たちはAIのリソースや専門知識を手軽に利用できなかったかもしれない。 本研究では,事前決定されたコードブックを用いてデータを固定されたコード集合にラベル付けする,定性解析の主要なカテゴリである帰納的符号化をサポートするために,大規模言語モデル(llm)の利用を検討した。 タスク固有のモデルをトレーニングする代わりに、事前訓練されたllmは、プロンプト・ラーニングを通じて微調整することなく、さまざまなタスクに直接使用できる。 好奇心駆動型問合せコーディングタスクをケーススタディとして, GPT-3とエキスパートドラフトコードブックを組み合わせることで, 提案手法は, 専門家コーディング結果との相当な合意を達成できた。 質的なコーディングなどをサポートするために,LSMを使用する上での課題と機会を概説する。

関連論文リスト

• Thematic Analysis with Open-Source Generative AI and Machine Learning: A New Method for Inductive Qualitative Codebook Development [0.0]
  本稿では,GATOS(Generative AI- enabled Theme Organization and Structuring)ワークフローを紹介する。 オープンソースの機械学習技術、自然言語処理ツール、および生成テキストモデルを使用して、テーマ分析を容易にする。 GATOSのワークフローは、元の合成データセットを生成するのに使われたテキストのテーマを識別できることを示す。
  論文  参考訳（メタデータ） (2024-09-28T18:52:16Z)
• SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
  本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。 英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
  論文  参考訳（メタデータ） (2024-08-28T06:33:03Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• Knowledge Tagging System on Math Questions via LLMs with Flexible Demonstration Retriever [48.5585921817745]
  大きな言語モデル(LLM)は知識タグ付けタスクを自動化するために使われる。 算数問題における知識タグ付けタスクに対するゼロショットと少数ショットの結果の強い性能を示す。 強化学習に基づくデモレトリバーの提案により,異なるサイズのLLMの潜在能力を活用できた。
  論文  参考訳（メタデータ） (2024-06-19T23:30:01Z)
• AlchemistCoder: Harmonizing and Eliciting Code Capability by Hindsight Tuning on Multi-source Data [64.69872638349922]
  本稿では、マルチソースデータに微調整されたコード生成と一般化機能を備えたコードLLMのシリーズであるAlchemistCoderを紹介する。 本稿では,データ構築過程を微調整データに組み込んで,命令の進化,データフィルタリング,コードレビューなどのコード理解タスクを提案する。
  論文  参考訳（メタデータ） (2024-05-29T16:57:33Z)
• DataAgent: Evaluating Large Language Models' Ability to Answer Zero-Shot, Natural Language Queries [0.0]
  OpenAIのGPT-3.5をLanguage Data Scientist(LDS)として評価する このモデルは、さまざまなベンチマークデータセットでテストされ、そのパフォーマンスを複数の標準で評価した。
  論文  参考訳（メタデータ） (2024-03-29T22:59:34Z)
• Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations [50.81844184210381]
  本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。 このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
  論文  参考訳（メタデータ） (2023-11-16T07:09:38Z)
• Exploring the Potential of Large Language Models in Generating Code-Tracing Questions for Introductory Programming Courses [6.43363776610849]
  大規模言語モデル(LLM)は、プログラミングコースでコードトレースの質問を生成するために使用することができる。 我々は,教育とNLP研究コミュニティの双方にとって貴重な資源として,人間とLLMが生成するトレーシング質問のデータセットを提示する。
  論文  参考訳（メタデータ） (2023-10-23T19:35:01Z)
• LLM-in-the-loop: Leveraging Large Language Model for Thematic Analysis [18.775126929754833]
  Thematic Analysis (TA)は、多くの分野や分野における定性的データを解析するために広く使われている。 ヒューマンコーダはデータの解釈とコーディングを複数のイテレーションで開発し、より深くする。 In-context Learning (ICL) を用いたTAを実現するための人間-LLM協調フレームワーク(LLM-in-the-loop)を提案する。
  論文  参考訳（メタデータ） (2023-10-23T17:05:59Z)
• LLM-Assisted Content Analysis: Using Large Language Models to Support Deductive Coding [0.3149883354098941]
  大規模言語モデル(LLM)は、自然言語処理や推論タスクを多岐にわたって実行するAIツールである。 本研究では,従来のコンテンツ分析の柔軟性を保ちながら,帰納的符号化に要する時間を削減するため,LLMの使用について検討する。 GPT-3.5は、人間のコーダに匹敵するレベルの合意で、しばしば演能的な符号化を行うことができる。
  論文  参考訳（メタデータ） (2023-06-23T20:57:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。