論文の概要: SCALE: Towards Collaborative Content Analysis in Social Science with Large Language Model Agents and Human Intervention
- arxiv url: http://arxiv.org/abs/2502.10937v1
- Date: Sun, 16 Feb 2025 00:19:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-18 20:34:44.74603
- Title: SCALE: Towards Collaborative Content Analysis in Social Science with Large Language Model Agents and Human Intervention
- Title（参考訳）: SCALE:大規模言語モデルエージェントと人間介入による社会科学における協調的コンテンツ分析を目指して
- Authors: Chengshuai Zhao, Zhen Tan, Chau-Wai Wong, Xinyan Zhao, Tianlong Chen, Huan Liu,
- Abstract要約: 我々は、効果的に機能する新しいマルチエージェントフレームワークを導入する。
Imulates $underlinetextbfC$ontent $underlinetextbfA$nalysis via。
underlinetextbfL$arge language model (LLM) agunderlinetextbfE$nts。
テキストコーディング、協調的な議論、動的コードブックの進化など、コンテンツ分析の重要なフェーズを模倣します。
- 参考スコア（独自算出の注目度）: 50.07342730395946
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Content analysis breaks down complex and unstructured texts into theory-informed numerical categories. Particularly, in social science, this process usually relies on multiple rounds of manual annotation, domain expert discussion, and rule-based refinement. In this paper, we introduce SCALE, a novel multi-agent framework that effectively $\underline{\textbf{S}}$imulates $\underline{\textbf{C}}$ontent $\underline{\textbf{A}}$nalysis via $\underline{\textbf{L}}$arge language model (LLM) ag$\underline{\textbf{E}}$nts. SCALE imitates key phases of content analysis, including text coding, collaborative discussion, and dynamic codebook evolution, capturing the reflective depth and adaptive discussions of human researchers. Furthermore, by integrating diverse modes of human intervention, SCALE is augmented with expert input to further enhance its performance. Extensive evaluations on real-world datasets demonstrate that SCALE achieves human-approximated performance across various complex content analysis tasks, offering an innovative potential for future social science research.
- Abstract（参考訳）: コンテンツ分析は、複雑で非構造的なテキストを理論インフォームドの数値カテゴリーに分解する。
特に社会科学では、このプロセスは通常、複数の手動アノテーション、ドメインエキスパートの議論、ルールベースの洗練に頼っている。
本稿では,$\underline{\textbf{S}}$imulates $\underline{\textbf{C}}$ontent $\underline{\textbf{A}}$nalysis via $\underline{\textbf{L}}$arge language model (LLM) ag$\underline{\textbf{E}}$ntsという新しいマルチエージェントフレームワークであるSCALEを紹介する。
SCALEは、テキストコーディング、協調的な議論、動的コードブックの進化など、コンテンツ分析の重要なフェーズを模倣し、人間の研究者の反射深度と適応的な議論を捉えている。
さらに、多種多様な介入モードを統合することにより、SCALEは専門家の入力で強化され、その性能がさらに向上する。
実世界のデータセットに対する広範囲な評価は、SCALEが様々な複雑なコンテンツ分析タスクで人間に近似されたパフォーマンスを達成し、将来の社会科学研究に革新的な可能性をもたらすことを示している。
関連論文リスト
- Evaluating LLM-based Agents for Multi-Turn Conversations: A Survey [64.08485471150486]
本研究では,大規模言語モデル(LLM)に基づくマルチターン対話環境におけるエージェントの評価手法について検討する。
我々は250近い学術資料を体系的にレビューし、様々な出版場所から芸術の状態を捉えた。
論文 参考訳（メタデータ） (2025-03-28T14:08:40Z) - Advancements in Natural Language Processing for Automatic Text Summarization [0.0]
著者らは抽出的手法と抽象的手法の両方を用いた既存のハイブリッド手法を探求した。
テキスト情報を要約するプロセスは、様々なテキストの複雑な書体によって著しく制約され続けている。
論文 参考訳（メタデータ） (2025-02-27T05:17:36Z) - BEYONDWORDS is All You Need: Agentic Generative AI based Social Media Themes Extractor [2.699900017799093]
ソーシャルメディア投稿のテーマ分析は、公開談話に対する大きな理解を提供する。
従来の手法は、構造化されていない大規模なテキストデータの複雑さとニュアンスを捉えるのに苦労することが多い。
本研究では,事前学習した言語モデルからツイートの埋め込みを統合したテーマ分析のための新しい手法を提案する。
論文 参考訳（メタデータ） (2025-02-26T18:18:37Z) - GeAR: Generation Augmented Retrieval [82.20696567697016]
文書検索技術は大規模情報システム開発の基礎となる。
一般的な手法は、バイエンコーダを構築し、セマンティックな類似性を計算することである。
我々は、よく設計された融合およびデコードモジュールを組み込んだ $textbfGe$neration という新しい手法を提案する。
論文 参考訳（メタデータ） (2025-01-06T05:29:00Z) - DEMO: Reframing Dialogue Interaction with Fine-grained Element Modeling [73.08187964426823]
大規模言語モデル(LLM)は、対話を人間と機械の相互作用における中心的なモードの1つにした。
多くの対話関連研究にもかかわらず、包括的な対話要素を含むベンチマークの欠如がある。
新しいリサーチタスクであるtextbfD$ialogue $textbfE$lement $textbfMO$delingを紹介します。
論文 参考訳（メタデータ） (2024-12-06T10:01:38Z) - Peer Review as A Multi-Turn and Long-Context Dialogue with Role-Based Interactions [62.0123588983514]
大規模言語モデル(LLM)は様々な分野にまたがる幅広い応用を実証してきた。
我々は、ピアレビュープロセスを多ターン長文対話として再構築し、著者、レビュアー、意思決定者に対して異なる役割を担っている。
複数の情報源から収集された92,017件のレビューを含む26,841件の論文を含む包括的データセットを構築した。
論文 参考訳（メタデータ） (2024-06-09T08:24:17Z) - QuaLLM: An LLM-based Framework to Extract Quantitative Insights from Online Forums [10.684484559041284]
本研究は,オンラインフォーラム上でテキストデータから量的洞察を分析し,抽出する新しいフレームワークであるQuaLLMを紹介する。
このフレームワークを適用して、Redditの2つのライドシェアワーカーコミュニティからの100万以上のコメントを分析しました。
AIとアルゴリズムのプラットフォーム決定に関する重要な労働者の懸念を明らかにし、労働者の洞察に関する規制の要求に応えました。
論文 参考訳（メタデータ） (2024-05-08T18:20:03Z) - Not Enough Labeled Data? Just Add Semantics: A Data-Efficient Method for
Inferring Online Health Texts [0.0]
低リソースの健康NLPタスクをモデル化する手段として,抽象表現(AMR)グラフを用いる。
AMRは、多文入力を表現し、複雑な用語から抽象化し、長距離関係をモデル化するため、オンラインの健康テキストをモデル化するのに適している。
本実験は,テキスト埋め込みをセマンティックグラフ埋め込みで拡張することにより,6つの低リソースなNLPタスクの性能を向上させることができることを示す。
論文 参考訳（メタデータ） (2023-09-18T15:37:30Z) - Sequential annotations for naturally-occurring HRI: first insights [0.0]
組込み会話エージェントによって達成されたインタラクションを改善するために開発した手法について説明する。
私たちは、自然に発生するインタラクションのコーパスを作成し、コミュニティに提供します。
論文 参考訳（メタデータ） (2023-08-29T08:07:26Z) - Multi-Dimensional Evaluation of Text Summarization with In-Context
Learning [79.02280189976562]
本稿では,テキスト内学習を用いた多次元評価器として,大規模言語モデルの有効性について検討する。
実験の結果,テキスト要約作業において,文脈内学習に基づく評価手法が学習評価フレームワークと競合していることが判明した。
次に、テキスト内サンプルの選択や数などの要因がパフォーマンスに与える影響を分析する。
論文 参考訳（メタデータ） (2023-06-01T23:27:49Z) - Large Language Models are Diverse Role-Players for Summarization
Evaluation [82.31575622685902]
文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。
BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。
目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-27T10:40:59Z) - ConvFinQA: Exploring the Chain of Numerical Reasoning in Conversational
Finance Question Answering [70.6359636116848]
本稿では,対話型質問応答における数値推論の連鎖を研究するために,新しい大規模データセットConvFinQAを提案する。
我々のデータセットは、現実世界の会話において、長距離で複雑な数値推論パスをモデル化する上で大きな課題となる。
論文 参考訳（メタデータ） (2022-10-07T23:48:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。