Fugu-MT 論文翻訳(概要): LLM-Assisted Content Analysis: Using Large Language Models to Support Deductive Coding

論文の概要: LLM-Assisted Content Analysis: Using Large Language Models to Support Deductive Coding

arxiv url: http://arxiv.org/abs/2306.14924v1
Date: Fri, 23 Jun 2023 20:57:32 GMT
ステータス: 処理完了
システム内更新日: 2023-06-28 16:09:27.949992
Title: LLM-Assisted Content Analysis: Using Large Language Models to Support Deductive Coding
Title（参考訳）: LLM支援コンテンツ分析:デダクティブ符号化を支援する大言語モデル
Authors: Robert Chew, John Bollenbacher, Michael Wenger, Jessica Speer, Annice Kim
Abstract要約: 大規模言語モデル(LLM)は、自然言語処理や推論タスクを多岐にわたって実行するAIツールである。本研究では,従来のコンテンツ分析の柔軟性を保ちながら,帰納的符号化に要する時間を削減するため,LLMの使用について検討する。 GPT-3.5は、人間のコーダに匹敵するレベルの合意で、しばしば演能的な符号化を行うことができる。
参考スコア（独自算出の注目度）: 0.3149883354098941
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Deductive coding is a widely used qualitative research method for determining the prevalence of themes across documents. While useful, deductive coding is often burdensome and time consuming since it requires researchers to read, interpret, and reliably categorize a large body of unstructured text documents. Large language models (LLMs), like ChatGPT, are a class of quickly evolving AI tools that can perform a range of natural language processing and reasoning tasks. In this study, we explore the use of LLMs to reduce the time it takes for deductive coding while retaining the flexibility of a traditional content analysis. We outline the proposed approach, called LLM-assisted content analysis (LACA), along with an in-depth case study using GPT-3.5 for LACA on a publicly available deductive coding data set. Additionally, we conduct an empirical benchmark using LACA on 4 publicly available data sets to assess the broader question of how well GPT-3.5 performs across a range of deductive coding tasks. Overall, we find that GPT-3.5 can often perform deductive coding at levels of agreement comparable to human coders. Additionally, we demonstrate that LACA can help refine prompts for deductive coding, identify codes for which an LLM is randomly guessing, and help assess when to use LLMs vs. human coders for deductive coding. We conclude with several implications for future practice of deductive coding and related research methods.
Abstract（参考訳）: デダクティブコーディングは、文書間でのテーマの有病率を決定するために広く使われている定性的な研究手法である。有益ではあるが、復調的なコーディングは、研究者が大量の非構造化テキスト文書を読み、解釈し、確実に分類する必要があるため、しばしば負担と時間を要する。 chatgptのような大規模な言語モデル(llm)は、さまざまな自然言語処理や推論タスクを実行できる、急速に進化するaiツールのクラスである。本研究では,従来のコンテンツ分析の柔軟性を保ちながら,帰納的符号化に要する時間を短縮するLLMの利用について検討する。提案手法である llm-assisted content analysis (laca) を概説するとともに,laca の gpt-3.5 を用いた詳細なケーススタディを行った。さらに, LACAを4つの公開データセット上に使用して, GPT-3.5が多種多様な演能的符号化タスクに対してどの程度うまく動作するかというより広範な問題を評価する。全体として、GPT-3.5は、人間のコーダに匹敵するレベルの合意で演能的な符号化を行うことができる。さらに、LACAは、帰納的符号化のプロンプトを洗練させ、LLMがランダムに推測するコードを特定し、LLMと人間コーダをデダクティブ符号化にいつ使用するかを評価するのに役立ちます。提案手法は,導出的符号化と関連する研究手法の今後の実践にいくつかの意味を持つ。

関連論文リスト

Automatic deductive coding in discourse analysis: an application of large language models in learning analytics [5.606202114848633]
GPTのような大規模言語モデルの出現は、自動演能符号化のための新たな道を開いた。我々は、異なる人工知能技術によって駆動される3つの異なる分類手法を採用した。その結果,GPTは両方のデータセットにおいて,トレーニングサンプル数に制限のある他の2つの手法よりも優れていた。
論文参考訳（メタデータ） (2024-10-02T05:04:06Z)
Case2Code: Learning Inductive Reasoning with Synthetic Data [105.89741089673575]
プログラムの表現性と正確性を利用したtextbfCase2Code タスクを提案する。まず、合成したCase2Codeタスクにおける代表LLMを評価し、LLMにおいてケース・ツー・コード誘導が困難であることを実証する。実験結果から,このような帰納的学習は,Case2Codeの性能だけでなく,学習用LLMの各種符号化能力の向上にも寄与することがわかった。
論文参考訳（メタデータ） (2024-07-17T11:35:00Z)
What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
論文参考訳（メタデータ） (2024-07-08T17:27:17Z)
InfiBench: Evaluating the Question-Answering Capabilities of Code Large Language Models [56.723509505549536]
InfiBenchは、私たちの知識に合ったコードのための、最初の大規模フリーフォーム質問回答(QA)ベンチマークです。慎重に選択された234の高品質なStack Overflow質問で構成されており、15のプログラミング言語にまたがっている。 InfiBench上で100以上の最新のコードLLMに対して,系統的評価を行い,新しい知見と洞察に富んだ結果を得た。
論文参考訳（メタデータ） (2024-03-11T02:06:30Z)
Scalable Qualitative Coding with LLMs: Chain-of-Thought Reasoning Matches Human Performance in Some Hermeneutic Tasks [0.0]
GPT-4は人間と等価な解釈が可能であるのに対して、GPT-3.5はそうではない。以上の結果から,一部のコードブックでは,現在最先端のLCMが大規模コンテンツ解析に有効であることが示唆された。
論文参考訳（メタデータ） (2024-01-26T19:25:43Z)
Code Prompting Elicits Conditional Reasoning Abilities in Text+Code LLMs [65.2379940117181]
自然言語の問題をコードに変換する一連のプロンプトであるコードプロンプトを導入します。コードプロンプトは複数のLLMに対して高速に向上することがわかった。 GPT 3.5を解析した結果,入力問題のコードフォーマッティングが性能向上に不可欠であることが判明した。
論文参考訳（メタデータ） (2024-01-18T15:32:24Z)
LLM-in-the-loop: Leveraging Large Language Model for Thematic Analysis [18.775126929754833]
Thematic Analysis (TA)は、多くの分野や分野における定性的データを解析するために広く使われている。ヒューマンコーダはデータの解釈とコーディングを複数のイテレーションで開発し、より深くする。 In-context Learning (ICL) を用いたTAを実現するための人間-LLM協調フレームワーク(LLM-in-the-loop)を提案する。
論文参考訳（メタデータ） (2023-10-23T17:05:59Z)
Large Language Models for Code Analysis: Do LLMs Really Do Their Job? [13.48555476110316]
大規模言語モデル(LLM)は、自然言語理解とプログラミングコード処理タスクの領域において大きな可能性を証明している。本稿では、コード解析タスクの実行におけるLLMの能力を総合的に評価する。
論文参考訳（メタデータ） (2023-10-18T22:02:43Z)
Large Language Model-Aware In-Context Learning for Code Generation [75.68709482932903]
大規模言語モデル(LLM)は、コード生成において印象的なコンテキスト内学習(ICL)能力を示している。コード生成のためのLAIL (LLM-Aware In-context Learning) という新しい学習ベース選択手法を提案する。
論文参考訳（メタデータ） (2023-10-15T06:12:58Z)
Supporting Qualitative Analysis with Large Language Models: Combining Codebook with GPT-3 for Deductive Coding [45.5690960017762]
本研究は,大言語モデル (LLM) を用いた帰納的符号化支援について検討する。タスク固有のモデルを訓練する代わりに、事前訓練されたLLMは、素早い学習を通じて微調整することなく、様々なタスクに直接使用することができる。好奇心駆動型問合せコーディングタスクをケーススタディとして, GPT-3とエキスパートドラフトコードブックを組み合わせることで, 提案手法は有意な一致を達成し, 有能な結果を得た。
論文参考訳（メタデータ） (2023-04-17T04:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。