論文の概要: The Risks of Using Large Language Models for Text Annotation in Social Science Research

• arxiv url: http://arxiv.org/abs/2503.22040v1
• Date: Thu, 27 Mar 2025 23:33:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-31 15:32:55.023808
• Title: The Risks of Using Large Language Models for Text Annotation in Social Science Research
• Title（参考訳）: 社会科学研究における大規模言語モデルを用いたテキストアノテーションのリスク
• Authors: Hao Lin, Yongjun Zhang,
• Abstract要約: 我々は,大規模言語モデル(LLM)をコーディングタスクに使用することの約束とリスクを体系的に評価する。 社会科学者がLLMをテキストアノテーションに組み込むためのフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 3.276333240221372
• License:
• Abstract: Generative artificial intelligence (GenAI) or large language models (LLMs) have the potential to revolutionize computational social science, particularly in automated textual analysis. In this paper, we conduct a systematic evaluation of the promises and risks of using LLMs for diverse coding tasks, with social movement studies serving as a case example. We propose a framework for social scientists to incorporate LLMs into text annotation, either as the primary coding decision-maker or as a coding assistant. This framework provides tools for researchers to develop the optimal prompt, and to examine and report the validity and reliability of LLMs as a methodological tool. Additionally, we discuss the associated epistemic risks related to validity, reliability, replicability, and transparency. We conclude with several practical guidelines for using LLMs in text annotation tasks, and how we can better communicate the epistemic risks in research.
• Abstract（参考訳）: 生成人工知能(GenAI)または大規模言語モデル(LLM)は、特に自動テキスト解析において、計算社会科学に革命をもたらす可能性がある。 本稿では,多種多様なコーディングタスクにLLMを使うことの約束とリスクを体系的に評価し,社会運動研究を事例として挙げる。 社会科学者がLLMをテキストアノテーションに組み込むためのフレームワークを提案する。 このフレームワークは、研究者が最適なプロンプトを開発し、LCMの妥当性と信頼性を方法論的なツールとして調査し報告するためのツールを提供する。 さらに、妥当性、信頼性、複製性、透明性に関連するてんかんのリスクについても論じる。 テキストアノテーションタスクにおけるLLMの使用に関する実践的ガイドラインと,研究における疫学的リスクの伝達方法についてまとめる。

関連論文リスト

• When Text Embedding Meets Large Language Model: A Comprehensive Survey [17.263184207651072]
  この調査は、大きな言語モデル(LLM)とテキスト埋め込みの相互作用に焦点を当てている。 様々な研究および応用分野からの貢献の、新しく体系的な概要を提供する。 この分析に基づいて,テキスト埋め込みの進化に向けた今後の方向性を概説する。
  論文  参考訳（メタデータ） (2024-12-12T10:50:26Z)
• Retrieval-Enhanced Machine Learning: Synthesis and Opportunities [60.34182805429511]
  検索エンハンスメントは機械学習(ML)の幅広い範囲に拡張できる この研究は、MLの様々な領域の文献を、現在の文献から欠落している一貫した表記で合成することで、このパラダイムの正式なフレームワークであるRetrieval-Enhanced Machine Learning (REML)を導入する。 本研究の目的は、様々な分野の研究者に対して、検索強化モデルの包括的、正式に構造化された枠組みを付与し、学際的な将来の研究を促進することである。
  論文  参考訳（メタデータ） (2024-07-17T20:01:21Z)
• Systematic Task Exploration with LLMs: A Study in Citation Text Generation [63.50597360948099]
  大規模言語モデル(LLM)は、複雑な創造的自然言語生成(NLG)タスクの定義と実行において、前例のない柔軟性をもたらす。 本稿では,系統的な入力操作,参照データ,出力測定からなる3成分研究フレームワークを提案する。 我々はこのフレームワークを用いて引用テキスト生成を探索する。これは一般的なNLPタスクであり、タスク定義と評価基準に関するコンセンサスを欠いている。
  論文  参考訳（メタデータ） (2024-07-04T16:41:08Z)
• Beyond Human Norms: Unveiling Unique Values of Large Language Models through Interdisciplinary Approaches [69.73783026870998]
  本研究では,大言語モデルの固有値システムをスクラッチから再構築する新しいフレームワークであるValueLexを提案する。 語彙仮説に基づいて、ValueLexは30以上のLLMから様々な値を引き出すための生成的アプローチを導入している。 我々は,3つのコア値次元,能力,キャラクタ,積分をそれぞれ特定の部分次元で同定し,LLMが非人間的だが構造化された価値体系を持っていることを明らかにした。
  論文  参考訳（メタデータ） (2024-04-19T09:44:51Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• Ocassionally Secure: A Comparative Analysis of Code Generation Assistants [8.573156248244695]
  本稿では,LLMを効果的かつ安全に展開できる状況と状況を特定し,理解することに焦点を当てる。 Google の ChatGPT と Bard と Gemini を用いた 4 つの高度な LLM--GPT-3.5 と GPT-4 の比較分析を行い,各モデルのコード生成能力を評価した。 61のコードアウトプットを収集し、機能、セキュリティ、パフォーマンス、複雑さ、信頼性など、さまざまな側面で分析しました。
  論文  参考訳（メタデータ） (2024-02-01T15:49:47Z)
• An Empirical Study on Usage and Perceptions of LLMs in a Software Engineering Project [1.433758865948252]
  大規模言語モデル(LLM)は人工知能の飛躍であり、人間の言語を用いたタスクに優れる。 本稿では、AI生成したコードを分析し、コード生成に使用するプロンプトと人間の介入レベルを分析し、コードをコードベースに統合する。 ソフトウェア開発の初期段階において,LSMが重要な役割を担っていることが示唆された。
  論文  参考訳（メタデータ） (2024-01-29T14:32:32Z)
• LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language Models [56.25156596019168]
  本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。 我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
  論文  参考訳（メタデータ） (2023-11-30T03:59:31Z)
• Large Language Models for Code Analysis: Do LLMs Really Do Their Job? [13.48555476110316]
  大規模言語モデル(LLM)は、自然言語理解とプログラミングコード処理タスクの領域において大きな可能性を証明している。 本稿では、コード解析タスクの実行におけるLLMの能力を総合的に評価する。
  論文  参考訳（メタデータ） (2023-10-18T22:02:43Z)
• Benchmarking and Explaining Large Language Model-based Code Generation: A Causality-Centric Approach [12.214585409361126]
  大規模言語モデル(LLM)ベースのコード生成は複雑で強力なブラックボックスモデルである。 本稿では,プロンプトと生成されたコードの因果グラフに基づく新しい表現を提案する。 我々は,12以上の迅速な調整戦略で3つの人気のあるLCMを研究することで,我々のフレームワークが提供できる洞察について説明する。
  論文  参考訳（メタデータ） (2023-10-10T14:56:26Z)
• Red Teaming Language Model Detectors with Language Models [114.36392560711022]
  大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。 近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。 1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
  論文  参考訳（メタデータ） (2023-05-31T10:08:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。