論文の概要: An AI-Powered Research Assistant in the Lab: A Practical Guide for Text Analysis Through Iterative Collaboration with LLMs
- arxiv url: http://arxiv.org/abs/2505.09724v1
- Date: Wed, 14 May 2025 18:32:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-16 22:29:06.07106
- Title: An AI-Powered Research Assistant in the Lab: A Practical Guide for Text Analysis Through Iterative Collaboration with LLMs
- Title（参考訳）: 研究室におけるAIを活用した研究アシスタント: LLMとの反復的なコラボレーションによるテキスト分析の実践的ガイド
- Authors: Gino Carmona-Díaz, William Jiménez-Leal, María Alejandra Grisales, Chandra Sripada, Santiago Amaya, Michael Inzlicht, Juan Pablo Bermúdez,
- Abstract要約: 本稿では,LLMを用いた非構造化データの効率的な開発,テスト,適用のためのステップバイステップチュートリアルを提案する。
我々は,データセットをレビューし,生命ドメインの分類を作成,即時かつ直接的な修正を通じて分類を評価・洗練し,分類を検証し,インターコーダ契約を評価し,データセット全体を高いインターコーダ信頼性で分類する手法を実証する。
- 参考スコア（独自算出の注目度）: 0.7255608805275865
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Analyzing texts such as open-ended responses, headlines, or social media posts is a time- and labor-intensive process highly susceptible to bias. LLMs are promising tools for text analysis, using either a predefined (top-down) or a data-driven (bottom-up) taxonomy, without sacrificing quality. Here we present a step-by-step tutorial to efficiently develop, test, and apply taxonomies for analyzing unstructured data through an iterative and collaborative process between researchers and LLMs. Using personal goals provided by participants as an example, we demonstrate how to write prompts to review datasets and generate a taxonomy of life domains, evaluate and refine the taxonomy through prompt and direct modifications, test the taxonomy and assess intercoder agreements, and apply the taxonomy to categorize an entire dataset with high intercoder reliability. We discuss the possibilities and limitations of using LLMs for text analysis.
- Abstract（参考訳）: オープンエンド応答、見出し、ソーシャルメディア投稿などのテキストを分析することは、偏見に非常に敏感で労働集約的なプロセスである。
LLMは、事前定義された(トップダウン)か、データ駆動の(ボットアップ)分類を使用して、品質を犠牲にすることなく、テキスト分析のための有望なツールである。
本稿では, 研究者とLLMの反復的・協調的なプロセスを通じて, 非構造化データの解析のための分類学を効率的に開発し, テストし, 適用するためのステップバイステップのチュートリアルを提案する。
参加者の個人目標を例として、データセットをレビューし、生命ドメインの分類を作成するためのプロンプトを書き、迅速かつ直接的な修正を通じて分類を評価・洗練し、分類を検証し、インターコーダ契約を評価し、その分類を高いインターコーダ信頼性でデータセット全体を分類するために適用する方法を示す。
テキスト分析にLLMを使うことの可能性と限界について論じる。
関連論文リスト
- Can LLMs Help Uncover Insights about LLMs? A Large-Scale, Evolving Literature Analysis of Frontier LLMs [32.48924329288906]
本研究では,LLMを用いたデータ抽出を高速化する文献解析のための半自動手法を提案する。
関連するarXiv論文を自動的に識別し、実験結果と関連する属性を抽出し、構造化データセットLLMEvalDBに編成する。
次に、フロンティアLCMの自動文献解析を行い、手動によるアプローチと比較して、紙調査とデータ抽出の労力を93%以上削減する。
論文 参考訳（メタデータ） (2025-02-26T03:56:34Z) - From Human Annotation to LLMs: SILICON Annotation Workflow for Management Research [13.818244562506138]
LLM(Large Language Models)は、人間のアノテーションに対する費用対効果と効率的な代替手段を提供する。
本稿では、SILICON (Systematic Inference with LLMs for Information Classification and Notation) ワークフローを紹介する。
このワークフローは、人間のアノテーションの確立した原則と、体系的な迅速な最適化とモデル選択を統合している。
論文 参考訳（メタデータ） (2024-12-19T02:21:41Z) - Systematic Task Exploration with LLMs: A Study in Citation Text Generation [63.50597360948099]
大規模言語モデル(LLM)は、複雑な創造的自然言語生成(NLG)タスクの定義と実行において、前例のない柔軟性をもたらす。
本稿では,系統的な入力操作,参照データ,出力測定からなる3成分研究フレームワークを提案する。
我々はこのフレームワークを用いて引用テキスト生成を探索する。これは一般的なNLPタスクであり、タスク定義と評価基準に関するコンセンサスを欠いている。
論文 参考訳（メタデータ） (2024-07-04T16:41:08Z) - Large Language Models for Data Annotation and Synthesis: A Survey [49.8318827245266]
本調査は,データアノテーションと合成のための大規模言語モデルの有用性に焦点を当てる。
LLMがアノテートできるデータタイプの詳細な分類、LLM生成アノテーションを利用したモデルの学習戦略のレビュー、データアノテーションと合成にLLMを使用する際の主な課題と制限に関する詳細な議論を含む。
論文 参考訳（メタデータ） (2024-02-21T00:44:04Z) - LLM-in-the-loop: Leveraging Large Language Model for Thematic Analysis [18.775126929754833]
Thematic Analysis (TA)は、多くの分野や分野における定性的データを解析するために広く使われている。
ヒューマンコーダはデータの解釈とコーディングを複数のイテレーションで開発し、より深くする。
In-context Learning (ICL) を用いたTAを実現するための人間-LLM協調フレームワーク(LLM-in-the-loop)を提案する。
論文 参考訳（メタデータ） (2023-10-23T17:05:59Z) - Instruction Tuning for Large Language Models: A Survey [52.86322823501338]
我々は、教師付き微調整(SFT)の一般的な方法論を含む、文献の体系的なレビューを行う。
また、既存の戦略の欠陥を指摘しながら、SFTの潜在的な落とし穴についても、それに対する批判とともに検討する。
論文 参考訳（メタデータ） (2023-08-21T15:35:16Z) - How to use LLMs for Text Analysis [0.0]
本稿では,社会科学における多目的テキスト分析手法としてLarge Language Models (LLM)を紹介する。
LLMは使いやすく、安価で、高速で、幅広いテキスト分析タスクに適用できるため、多くの学者はLLMがテキスト解析の方法を変えると考えている。
論文 参考訳（メタデータ） (2023-07-24T19:54:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。