論文の概要: SCALE: Towards Collaborative Content Analysis in Social Science with Large Language Model Agents and Human Intervention

• arxiv url: http://arxiv.org/abs/2502.10937v1
• Date: Sun, 16 Feb 2025 00:19:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:15:05.421901
• Title: SCALE: Towards Collaborative Content Analysis in Social Science with Large Language Model Agents and Human Intervention
• Title（参考訳）: SCALE:大規模言語モデルエージェントと人間介入による社会科学における協調的コンテンツ分析を目指して
• Authors: Chengshuai Zhao, Zhen Tan, Chau-Wai Wong, Xinyan Zhao, Tianlong Chen, Huan Liu,
• Abstract要約: 我々は、効果的に機能する新しいマルチエージェントフレームワークを導入する。 Imulates $underlinetextbfC$ontent $underlinetextbfA$nalysis via。 underlinetextbfL$arge language model (LLM) agunderlinetextbfE$nts。 テキストコーディング、協調的な議論、動的コードブックの進化など、コンテンツ分析の重要なフェーズを模倣します。
• 参考スコア（独自算出の注目度）: 50.07342730395946
• License:
• Abstract: Content analysis breaks down complex and unstructured texts into theory-informed numerical categories. Particularly, in social science, this process usually relies on multiple rounds of manual annotation, domain expert discussion, and rule-based refinement. In this paper, we introduce SCALE, a novel multi-agent framework that effectively $\underline{\textbf{S}}$imulates $\underline{\textbf{C}}$ontent $\underline{\textbf{A}}$nalysis via $\underline{\textbf{L}}$arge language model (LLM) ag$\underline{\textbf{E}}$nts. SCALE imitates key phases of content analysis, including text coding, collaborative discussion, and dynamic codebook evolution, capturing the reflective depth and adaptive discussions of human researchers. Furthermore, by integrating diverse modes of human intervention, SCALE is augmented with expert input to further enhance its performance. Extensive evaluations on real-world datasets demonstrate that SCALE achieves human-approximated performance across various complex content analysis tasks, offering an innovative potential for future social science research.
• Abstract（参考訳）: コンテンツ分析は、複雑で非構造的なテキストを理論インフォームドの数値カテゴリーに分解する。 特に社会科学では、このプロセスは通常、複数の手動アノテーション、ドメインエキスパートの議論、ルールベースの洗練に頼っている。 本稿では,$\underline{\textbf{S}}$imulates $\underline{\textbf{C}}$ontent $\underline{\textbf{A}}$nalysis via $\underline{\textbf{L}}$arge language model (LLM) ag$\underline{\textbf{E}}$ntsという新しいマルチエージェントフレームワークであるSCALEを紹介する。 SCALEは、テキストコーディング、協調的な議論、動的コードブックの進化など、コンテンツ分析の重要なフェーズを模倣し、人間の研究者の反射深度と適応的な議論を捉えている。 さらに、多種多様な介入モードを統合することにより、SCALEは専門家の入力で強化され、その性能がさらに向上する。 実世界のデータセットに対する広範囲な評価は、SCALEが様々な複雑なコンテンツ分析タスクで人間に近似されたパフォーマンスを達成し、将来の社会科学研究に革新的な可能性をもたらすことを示している。

関連論文リスト

• Automating Bibliometric Analysis with Sentence Transformers and Retrieval-Augmented Generation (RAG): A Pilot Study in Semantic and Contextual Search for Customized Literature Characterization for High-Impact Urban Research [2.1728621449144763]
  文献分析は、都市科学における研究動向、スコープ、影響を理解するために不可欠である。 キーワード検索に依存する伝統的な手法は、記事のタイトルやキーワードに明記されていない価値ある洞察を明らかにするのに失敗することが多い。 我々は、生成AIモデル、特にトランスフォーマーとレトリーバル拡張生成(RAG)を活用して、バイオロメトリ分析の自動化と強化を行う。
  論文  参考訳（メタデータ） (2024-10-08T05:13:27Z)
• Retrieval-Enhanced Machine Learning: Synthesis and Opportunities [60.34182805429511]
  検索エンハンスメントは機械学習(ML)の幅広い範囲に拡張できる この研究は、MLの様々な領域の文献を、現在の文献から欠落している一貫した表記で合成することで、このパラダイムの正式なフレームワークであるRetrieval-Enhanced Machine Learning (REML)を導入する。 本研究の目的は、様々な分野の研究者に対して、検索強化モデルの包括的、正式に構造化された枠組みを付与し、学際的な将来の研究を促進することである。
  論文  参考訳（メタデータ） (2024-07-17T20:01:21Z)
• Peer Review as A Multi-Turn and Long-Context Dialogue with Role-Based Interactions [62.0123588983514]
  大規模言語モデル(LLM)は様々な分野にまたがる幅広い応用を実証してきた。 我々は、ピアレビュープロセスを多ターン長文対話として再構築し、著者、レビュアー、意思決定者に対して異なる役割を担っている。 複数の情報源から収集された92,017件のレビューを含む26,841件の論文を含む包括的データセットを構築した。
  論文  参考訳（メタデータ） (2024-06-09T08:24:17Z)
• Machine-assisted quantitizing designs: augmenting humanities and social sciences with artificial intelligence [0.0]
  大規模言語モデル(LLM)は、人文科学や社会科学におけるデータ分析をスケールアップする前例のない機会であることが示された。 設計原則を定量化し、変換し、言語学から特徴分析し、人間の専門知識と機械のスケーラビリティを透過的に統合する混合手法を構築します。 このアプローチは、1ダース以上のLDM支援ケーススタディで議論され、9つの多様な言語、複数の規律、タスクをカバーしている。
  論文  参考訳（メタデータ） (2023-09-24T14:21:50Z)
• Not Enough Labeled Data? Just Add Semantics: A Data-Efficient Method for Inferring Online Health Texts [0.0]
  低リソースの健康NLPタスクをモデル化する手段として,抽象表現(AMR)グラフを用いる。 AMRは、多文入力を表現し、複雑な用語から抽象化し、長距離関係をモデル化するため、オンラインの健康テキストをモデル化するのに適している。 本実験は,テキスト埋め込みをセマンティックグラフ埋め込みで拡張することにより,6つの低リソースなNLPタスクの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-09-18T15:37:30Z)
• Sequential annotations for naturally-occurring HRI: first insights [0.0]
  組込み会話エージェントによって達成されたインタラクションを改善するために開発した手法について説明する。 私たちは、自然に発生するインタラクションのコーパスを作成し、コミュニティに提供します。
  論文  参考訳（メタデータ） (2023-08-29T08:07:26Z)
• Multi-Dimensional Evaluation of Text Summarization with In-Context Learning [79.02280189976562]
  本稿では,テキスト内学習を用いた多次元評価器として,大規模言語モデルの有効性について検討する。 実験の結果,テキスト要約作業において,文脈内学習に基づく評価手法が学習評価フレームワークと競合していることが判明した。 次に、テキスト内サンプルの選択や数などの要因がパフォーマンスに与える影響を分析する。
  論文  参考訳（メタデータ） (2023-06-01T23:27:49Z)
• Large Language Models are Diverse Role-Players for Summarization Evaluation [82.31575622685902]
  文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。 BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。 目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-27T10:40:59Z)
• ConvFinQA: Exploring the Chain of Numerical Reasoning in Conversational Finance Question Answering [70.6359636116848]
  本稿では,対話型質問応答における数値推論の連鎖を研究するために,新しい大規模データセットConvFinQAを提案する。 我々のデータセットは、現実世界の会話において、長距離で複雑な数値推論パスをモデル化する上で大きな課題となる。
  論文  参考訳（メタデータ） (2022-10-07T23:48:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。