論文の概要: Automatic deductive coding in discourse analysis: an application of large language models in learning analytics

• arxiv url: http://arxiv.org/abs/2410.01240v1
• Date: Wed, 2 Oct 2024 05:04:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 22:18:46.973170
• Title: Automatic deductive coding in discourse analysis: an application of large language models in learning analytics
• Title（参考訳）: 談話分析における自動帰納的符号化--学習分析における大規模言語モデルの応用
• Authors: Lishan Zhang, Han Wu, Xiaoshan Huang, Tengfei Duan, Hanxiang Du,
• Abstract要約: GPTのような大規模言語モデルの出現は、自動演能符号化のための新たな道を開いた。 我々は、異なる人工知能技術によって駆動される3つの異なる分類手法を採用した。 その結果,GPTは両方のデータセットにおいて,トレーニングサンプル数に制限のある他の2つの手法よりも優れていた。
• 参考スコア（独自算出の注目度）: 5.606202114848633
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deductive coding is a common discourse analysis method widely used by learning science and learning analytics researchers for understanding teaching and learning interactions. It often requires researchers to manually label all discourses to be analyzed according to a theoretically guided coding scheme, which is time-consuming and labor-intensive. The emergence of large language models such as GPT has opened a new avenue for automatic deductive coding to overcome the limitations of traditional deductive coding. To evaluate the usefulness of large language models in automatic deductive coding, we employed three different classification methods driven by different artificial intelligence technologies, including the traditional text classification method with text feature engineering, BERT-like pretrained language model and GPT-like pretrained large language model (LLM). We applied these methods to two different datasets and explored the potential of GPT and prompt engineering in automatic deductive coding. By analyzing and comparing the accuracy and Kappa values of these three classification methods, we found that GPT with prompt engineering outperformed the other two methods on both datasets with limited number of training samples. By providing detailed prompt structures, the reported work demonstrated how large language models can be used in the implementation of automatic deductive coding.
• Abstract（参考訳）: デダクティブ・コーディング(英: deductive coding)は、科学と学習分析研究者が教えと学習の相互作用を理解するために広く使われている一般的な談話分析手法である。 しばしば研究者は、時間と労働集約的な理論的に導かれたコーディングスキームに従って分析されるすべての言説を手動でラベル付けする必要がある。 GPTのような大規模言語モデルの出現は、従来の演典符号化の限界を克服するために、自動演典符号化のための新たな道を開いた。 自動推論符号化における大規模言語モデルの有用性を評価するため,テキスト特徴工学を用いた従来型テキスト分類法,BERT型事前学習言語モデル,GPT型事前学習型大規模言語モデル(LLM)など,異なる人工知能技術によって駆動される3つの異なる分類手法を用いた。 提案手法を2つの異なるデータセットに適用し,GPTの可能性を探究し,自動帰納的符号化におけるエンジニアリングの促進を図った。 これら3つの分類手法の精度とKappa値を解析・比較することにより,GPTと迅速なエンジニアリングにより,トレーニングサンプル数に制限のある両方のデータセットにおいて,他の2つの手法よりも優れた性能を示した。 詳細なプロンプト構造を提供することで、この報告された研究は、自動帰納的符号化の実装において、いかに大きな言語モデルを利用できるかを実証した。

関連論文リスト

• Thematic Analysis with Open-Source Generative AI and Machine Learning: A New Method for Inductive Qualitative Codebook Development [0.0]
  本稿では,GATOS(Generative AI- enabled Theme Organization and Structuring)ワークフローを紹介する。 オープンソースの機械学習技術、自然言語処理ツール、および生成テキストモデルを使用して、テーマ分析を容易にする。 GATOSのワークフローは、元の合成データセットを生成するのに使われたテキストのテーマを識別できることを示す。
  論文  参考訳（メタデータ） (2024-09-28T18:52:16Z)
• SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
  本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。 英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
  論文  参考訳（メタデータ） (2024-08-28T06:33:03Z)
• Automatic Generation of Behavioral Test Cases For Natural Language Processing Using Clustering and Prompting [6.938766764201549]
  本稿では,大規模言語モデルと統計的手法の力を活用したテストケースの自動開発手法を提案する。 4つの異なる分類アルゴリズムを用いて行動テストプロファイルを分析し、それらのモデルの限界と強みについて議論する。
  論文  参考訳（メタデータ） (2024-07-31T21:12:21Z)
• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• Large Language Models as Analogical Reasoners [155.9617224350088]
  CoT(Chain-of- Thought)は、言語モデルのプロンプトとして、推論タスク全体で素晴らしいパフォーマンスを示す。 そこで本稿では,大規模言語モデルの推論プロセスを自動的にガイドする,新たなプロンプト手法であるアナログプロンプトを導入する。
  論文  参考訳（メタデータ） (2023-10-03T00:57:26Z)
• LLM-Assisted Content Analysis: Using Large Language Models to Support Deductive Coding [0.3149883354098941]
  大規模言語モデル(LLM)は、自然言語処理や推論タスクを多岐にわたって実行するAIツールである。 本研究では,従来のコンテンツ分析の柔軟性を保ちながら,帰納的符号化に要する時間を削減するため,LLMの使用について検討する。 GPT-3.5は、人間のコーダに匹敵するレベルの合意で、しばしば演能的な符号化を行うことができる。
  論文  参考訳（メタデータ） (2023-06-23T20:57:32Z)
• Supporting Qualitative Analysis with Large Language Models: Combining Codebook with GPT-3 for Deductive Coding [45.5690960017762]
  本研究は,大言語モデル (LLM) を用いた帰納的符号化支援について検討する。 タスク固有のモデルを訓練する代わりに、事前訓練されたLLMは、素早い学習を通じて微調整することなく、様々なタスクに直接使用することができる。 好奇心駆動型問合せコーディングタスクをケーススタディとして, GPT-3とエキスパートドラフトコードブックを組み合わせることで, 提案手法は有意な一致を達成し, 有能な結果を得た。
  論文  参考訳（メタデータ） (2023-04-17T04:52:43Z)
• Detecting Text Formality: A Study of Text Classification Approaches [78.11745751651708]
  本研究は,統計的,ニューラルベース,トランスフォーマーベースの機械学習手法に基づく形式性検出手法の体系的研究を初めて行う。 単言語,多言語,言語横断の3種類の実験を行った。 本研究は,モノリンガルおよび多言語形式分類タスクのためのトランスフォーマーベースモデルに対するChar BiLSTMモデルの克服を示す。
  論文  参考訳（メタデータ） (2022-04-19T16:23:07Z)
• Generative Language Modeling for Automated Theorem Proving [94.01137612934842]
  この研究は、自動定理プロバーの人間に対する大きな制限が言語モデルから生成することで対処できる可能性によって動機づけられている。 本稿ではメタマス形式化言語のための自動証明と証明アシスタント GPT-f を提案し,その性能を解析する。
  論文  参考訳（メタデータ） (2020-09-07T19:50:10Z)
• Exploring Software Naturalness through Neural Language Models [56.1315223210742]
  ソフトウェア自然性仮説(Software Naturalness hypothesis)は、自然言語処理で使用されるのと同じ手法でプログラミング言語を理解することができると主張している。 この仮説は,事前学習されたトランスフォーマーベース言語モデルを用いて,コード解析タスクを実行することによって検討する。
  論文  参考訳（メタデータ） (2020-06-22T21:56:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。