論文の概要: LLM-in-the-loop: Leveraging Large Language Model for Thematic Analysis
- arxiv url: http://arxiv.org/abs/2310.15100v1
- Date: Mon, 23 Oct 2023 17:05:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 18:37:32.159040
- Title: LLM-in-the-loop: Leveraging Large Language Model for Thematic Analysis
- Title（参考訳）: LLM-in-the-loop:テーマ分析のための大規模言語モデルを活用する
- Authors: Shih-Chieh Dai, Aiping Xiong, Lun-Wei Ku
- Abstract要約: Thematic Analysis (TA)は、多くの分野や分野における定性的データを解析するために広く使われている。
ヒューマンコーダはデータの解釈とコーディングを複数のイテレーションで開発し、より深くする。
In-context Learning (ICL) を用いたTAを実現するための人間-LLM協調フレームワーク(LLM-in-the-loop)を提案する。
- 参考スコア（独自算出の注目度）: 18.775126929754833
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Thematic analysis (TA) has been widely used for analyzing qualitative data in
many disciplines and fields. To ensure reliable analysis, the same piece of
data is typically assigned to at least two human coders. Moreover, to produce
meaningful and useful analysis, human coders develop and deepen their data
interpretation and coding over multiple iterations, making TA labor-intensive
and time-consuming. Recently the emerging field of large language models (LLMs)
research has shown that LLMs have the potential replicate human-like behavior
in various tasks: in particular, LLMs outperform crowd workers on
text-annotation tasks, suggesting an opportunity to leverage LLMs on TA. We
propose a human-LLM collaboration framework (i.e., LLM-in-the-loop) to conduct
TA with in-context learning (ICL). This framework provides the prompt to frame
discussions with a LLM (e.g., GPT-3.5) to generate the final codebook for TA.
We demonstrate the utility of this framework using survey datasets on the
aspects of the music listening experience and the usage of a password manager.
Results of the two case studies show that the proposed framework yields similar
coding quality to that of human coders but reduces TA's labor and time demands.
- Abstract（参考訳）: Thematic Analysis (TA)は、多くの分野や分野における定性的データを解析するために広く使われている。
信頼性の高い解析を保証するため、通常、同じデータを少なくとも2人の人間コーダーに割り当てる。
さらに、有意義で有用な分析を行うために、人間のコーダはデータの解釈とコーディングを複数のイテレーションで開発し、深めていく。
近年,大規模言語モデル (LLMs) 研究の進展により, LLM は様々なタスクにおいて人間のような振る舞いを再現する可能性が示唆されている。
In-context Learning (ICL) を用いたTAを行うための人間-LLM協調フレームワーク(LLM-in-the-loop)を提案する。
このフレームワークは LLM (例えば GPT-3.5) と議論し、 TA の最終コードブックを生成するプロンプトを提供する。
本稿では,音楽聴取経験とパスワードマネージャの利用状況に関する調査データセットを用いて,このフレームワークの有用性を実証する。
2つのケーススタディの結果,提案手法は人間のコーダに類似したコーディング品質をもたらすが,taの労力と時間要求は減少することが示された。
関連論文リスト
- The LLM Effect: Are Humans Truly Using LLMs, or Are They Being Influenced By Them Instead? [60.01746782465275]
大規模言語モデル(LLM)は、様々な分析タスクにおいて、人間のパフォーマンスに近い能力を示している。
本稿では,Human-LLMパートナーシップに着目した構造化ユーザスタディにより,特殊作業におけるLLMの効率と精度について検討する。
論文 参考訳（メタデータ） (2024-10-07T02:30:18Z) - SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。
学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。
ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文 参考訳（メタデータ） (2024-07-16T04:41:58Z) - CIBench: Evaluating Your LLMs with a Code Interpreter Plugin [68.95137938214862]
データサイエンスタスクにコードインタプリタを利用するLLMの能力を総合的に評価する,CIBenchという対話型評価フレームワークを提案する。
評価データセットは,LLM-人的協調手法を用いて構築され,連続的かつ対話的なIPythonセッションを活用することによって,実際のワークフローをシミュレートする。
コードインタプリタの利用において, CIBench 上で 24 個の LLM の能力を解析し, 将来の LLM に対する貴重な洞察を提供するため, 広範囲にわたる実験を行った。
論文 参考訳（メタデータ） (2024-07-15T07:43:55Z) - Benchmarking Large Language Models for Molecule Prediction Tasks [7.067145619709089]
大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクの最前線にある。
LLMは分子予測タスクを効果的に扱えるのか?
6つの標準分子データセットの分類および回帰予測タスクを同定する。
テキストベースのモデルと、分子の幾何学的構造を分析するために特別に設計されたモデルを含む、既存の機械学習(ML)モデルと比較する。
論文 参考訳（メタデータ） (2024-03-08T05:59:56Z) - Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
InFO-RAG という情報改質訓練手法を提案する。
InFO-RAGは低コストで、様々なタスクにまたがっている。
LLaMA2の性能を平均9.39%向上させる。
論文 参考訳（メタデータ） (2024-02-28T08:24:38Z) - Benchmarking LLMs on the Semantic Overlap Summarization Task [9.656095701778975]
本稿では,セマンティック・オーバーラップ・サマリゼーション(SOS)タスクにおいて,Large Language Models (LLM) を包括的に評価する。
本稿では, ROUGE, BERTscore, SEM-F1$などの定評ある指標を, 2種類の代替物語のデータセット上で報告する。
論文 参考訳（メタデータ） (2024-02-26T20:33:50Z) - Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。
自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。
これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
論文 参考訳（メタデータ） (2024-01-30T17:38:54Z) - Under the Surface: Tracking the Artifactuality of LLM-Generated Data [21.002983022237604]
この研究は、人工データの生成において、大きな言語モデル(LLM)の役割を拡大するものである。
我々の知る限りでは、多種多様な LLM 生成テキストデータを収集する最初の研究である。
人工データの人間のパフォーマンスにマッチする能力にもかかわらず、本論文は重大な隠蔽格差を明らかにした。
論文 参考訳（メタデータ） (2024-01-26T07:53:27Z) - Large Language Models for Code Analysis: Do LLMs Really Do Their Job? [13.48555476110316]
大規模言語モデル(LLM)は、自然言語理解とプログラミングコード処理タスクの領域において大きな可能性を証明している。
本稿では、コード解析タスクの実行におけるLLMの能力を総合的に評価する。
論文 参考訳（メタデータ） (2023-10-18T22:02:43Z) - Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。
26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
論文 参考訳（メタデータ） (2023-05-24T10:45:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。