論文の概要: How to Use Large Language Models for Text Coding: The Case of Fatherhood
Roles in Public Policy Documents
- arxiv url: http://arxiv.org/abs/2311.11844v1
- Date: Mon, 20 Nov 2023 15:34:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-21 18:13:37.904343
- Title: How to Use Large Language Models for Text Coding: The Case of Fatherhood
Roles in Public Policy Documents
- Title(参考訳): テキスト符号化における大規模言語モデルの利用方法:公共政策文書における父の役割を事例として
- Authors: Lorenzo Lupo, Oscar Magnusson, Dirk Hovy, Elin Naurin, Lena
W\"angnerud
- Abstract要約: 大規模言語モデル(LLM)は、政治科学におけるテキスト分析の新しい機会を開いた。
本研究では,非英語政治科学テキストの3つの元の符号化課題についてLLMを評価した。
- 参考スコア(独自算出の注目度): 21.090506974145566
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in large language models (LLMs) like GPT-3 and GPT-4 have
opened up new opportunities for text analysis in political science. They
promise automation with better results and less programming. In this study, we
evaluate LLMs on three original coding tasks of non-English political science
texts, and we provide a detailed description of a general workflow for using
LLMs for text coding in political science research. Our use case offers a
practical guide for researchers looking to incorporate LLMs into their research
on text analysis. We find that, when provided with detailed label definitions
and coding examples, an LLM can be as good as or even better than a human
annotator while being much faster (up to hundreds of times), considerably
cheaper (costing up to 60% less than human coding), and much easier to scale to
large amounts of text. Overall, LLMs present a viable option for most text
coding projects.
- Abstract(参考訳): GPT-3やGPT-4のような大規模言語モデル(LLM)の最近の進歩は、政治学におけるテキスト分析の新しい機会を開きつつある。
より良い結果と少ないプログラミングで自動化を約束している。
本研究では,非英語政治科学テキストの3つのオリジナルコーディングタスクについてllmを評価し,政治科学研究におけるテキストコーディングにllmを使用する一般的なワークフローの詳細な説明を行う。
我々のユースケースは、LLMをテキスト分析の研究に組み込もうとする研究者に実践的なガイドを提供する。
詳細なラベル定義やコーディング例が提供されれば、llmは、ずっと高速で(数百倍まで)、かなり安く(人間のコーディングよりも最大60%安くなる)、大規模テキストへのスケールがずっと簡単であると同時に、人間の注釈器と同じくらい、あるいはさらに優れたものになることが分かりました。
概して、llmはほとんどのテキストコーディングプロジェクトで実行可能な選択肢となります。
関連論文リスト
- Large Language Models: A Survey [69.72787936480394]
大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。
LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
論文 参考訳(メタデータ) (2024-02-09T05:37:09Z) - Scalable Qualitative Coding with LLMs: Chain-of-Thought Reasoning
Matches Human Performance in Some Hermeneutic Tasks [0.0]
GPT-4は人間と等価な解釈が可能であるのに対して、GPT-3.5はそうではない。
以上の結果から,一部のコードブックでは,現在最先端のLCMが大規模コンテンツ解析に有効であることが示唆された。
論文 参考訳(メタデータ) (2024-01-26T19:25:43Z) - Large Language Models on Graphs: A Comprehensive Survey [81.7684686396014]
グラフ上の大規模言語モデルに関連するシナリオとテクニックを体系的にレビューする。
まず,LLMをグラフに適用する可能性シナリオを,純グラフ,テキスト分散グラフ,テキストペアグラフの3つのカテゴリにまとめる。
本稿では,そのような手法の現実的な応用について論じ,オープンソースコードとベンチマークデータセットを要約する。
論文 参考訳(メタデータ) (2023-12-05T14:14:27Z) - LLM-in-the-loop: Leveraging Large Language Model for Thematic Analysis [18.775126929754833]
Thematic Analysis (TA)は、多くの分野や分野における定性的データを解析するために広く使われている。
ヒューマンコーダはデータの解釈とコーディングを複数のイテレーションで開発し、より深くする。
In-context Learning (ICL) を用いたTAを実現するための人間-LLM協調フレームワーク(LLM-in-the-loop)を提案する。
論文 参考訳(メタデータ) (2023-10-23T17:05:59Z) - Large Language Model-Aware In-Context Learning for Code Generation [75.68709482932903]
大規模言語モデル(LLM)は、コード生成において印象的なコンテキスト内学習(ICL)能力を示している。
コード生成のためのLAIL (LLM-Aware In-context Learning) という新しい学習ベース選択手法を提案する。
論文 参考訳(メタデータ) (2023-10-15T06:12:58Z) - How to use LLMs for Text Analysis [0.0]
本稿では,社会科学における多目的テキスト分析手法としてLarge Language Models (LLM)を紹介する。
LLMは使いやすく、安価で、高速で、幅広いテキスト分析タスクに適用できるため、多くの学者はLLMがテキスト解析の方法を変えると考えている。
論文 参考訳(メタデータ) (2023-07-24T19:54:15Z) - The potential of LLMs for coding with low-resource and domain-specific
programming languages [0.0]
本研究は,オープンソースソフトウェアGreetlのハンスル(Hansl)という,econometricスクリプティング言語に焦点を当てたものである。
この結果から, LLMはグレタブルコードの記述, 理解, 改善, 文書化に有用なツールであることが示唆された。
論文 参考訳(メタデータ) (2023-07-24T17:17:13Z) - Towards Coding Social Science Datasets with Language Models [4.280286557747323]
研究者はしばしば、大規模なテキストのセット(ラベル、注釈など)を人間に頼っている。
特定の種類の人工知能ツール(言語モデル(LM))の最近の進歩は、ソリューションを提供する。
GPT-3は、一般的な人間のコーダの性能と一致し、テキストをコーディングする他の機械学習手法よりも利点があることがわかった。
論文 参考訳(メタデータ) (2023-06-03T19:11:34Z) - LLM Paternity Test: Generated Text Detection with LLM Genetic Inheritance [58.63888295471187]
大きな言語モデル(LLM)は、様々な誤用のリスクを負うテキストを生成することができる。
モデル関連テキスト検出手法 LLM Paternity Test (LLM-Pat) を提案する。
高い類似性は、候補テキストが遺伝的特性に似た機械生成であることを示している。
論文 参考訳(メタデータ) (2023-05-21T17:26:16Z) - Low-code LLM: Graphical User Interface over Large Language Models [115.08718239772107]
本稿では,人間-LLMインタラクションフレームワークであるLow-code LLMを紹介する。
より制御可能で安定した応答を実現するために、6種類のシンプルなローコードビジュアルプログラミングインタラクションを組み込んでいる。
ユーザフレンドリなインタラクション,制御可能な生成,広い適用性という,低コード LLM の3つの利点を強調した。
論文 参考訳(メタデータ) (2023-04-17T09:27:40Z) - Can Large Language Models Transform Computational Social Science? [79.62471267510963]
大規模言語モデル(LLM)は、(トレーニングデータなしで)ゼロショットで多くの言語処理タスクを実行することができる
この研究は、計算社会科学ツールとしてLLMを使用するためのロードマップを提供する。
論文 参考訳(メタデータ) (2023-04-12T17:33:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。