論文の概要: Stance Detection with Collaborative Role-Infused LLM-Based Agents
- arxiv url: http://arxiv.org/abs/2310.10467v1
- Date: Mon, 16 Oct 2023 14:46:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-17 13:34:49.762551
- Title: Stance Detection with Collaborative Role-Infused LLM-Based Agents
- Title（参考訳）: 協調型llmベースエージェントによる姿勢検出
- Authors: Xiaochong Lan, Chen Gao, Depeng Jin, Yong Li
- Abstract要約: スタンス検出は、ウェブおよびソーシャルメディア研究におけるコンテンツ分析に不可欠である。
しかし、姿勢検出には、著者の暗黙の視点を推測する高度な推論が必要である。
LLMを異なる役割に指定した3段階のフレームワークを設計する。
複数のデータセットにまたがって最先端のパフォーマンスを実現する。
- 参考スコア（独自算出の注目度）: 43.42514843863705
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Stance detection automatically detects the stance in a text towards a target,
vital for content analysis in web and social media research. Despite their
promising capabilities, LLMs encounter challenges when directly applied to
stance detection. First, stance detection demands multi-aspect knowledge, from
deciphering event-related terminologies to understanding the expression styles
in social media platforms. Second, stance detection requires advanced reasoning
to infer authors' implicit viewpoints, as stance are often subtly embedded
rather than overtly stated in the text. To address these challenges, we design
a three-stage framework COLA (short for Collaborative rOle-infused LLM-based
Agents) in which LLMs are designated distinct roles, creating a collaborative
system where each role contributes uniquely. Initially, in the multidimensional
text analysis stage, we configure the LLMs to act as a linguistic expert, a
domain specialist, and a social media veteran to get a multifaceted analysis of
texts, thus overcoming the first challenge. Next, in the reasoning-enhanced
debating stage, for each potential stance, we designate a specific LLM-based
agent to advocate for it, guiding the LLM to detect logical connections between
text features and stance, tackling the second challenge. Finally, in the stance
conclusion stage, a final decision maker agent consolidates prior insights to
determine the stance. Our approach avoids extra annotated data and model
training and is highly usable. We achieve state-of-the-art performance across
multiple datasets. Ablation studies validate the effectiveness of each design
role in handling stance detection. Further experiments have demonstrated the
explainability and the versatility of our approach. Our approach excels in
usability, accuracy, effectiveness, explainability and versatility,
highlighting its value.
- Abstract（参考訳）: スタンス検出は、テキスト中のターゲットに対する姿勢を自動的に検出し、ウェブおよびソーシャルメディア研究におけるコンテンツ分析に不可欠である。
有望な能力にもかかわらず、姿勢検出に直接適用されるとllmは課題に遭遇する。
まず、スタンス検出は、イベント関連用語の解読からソーシャルメディアプラットフォームにおける表現スタイルの理解まで、多視点の知識を必要とする。
第2に、スタンス検出は著者の暗黙の視点を推測するために高度な推論を必要とする。
これらの課題に対処するため,LLMがそれぞれ異なる役割を担っている3段階のフレームワーク COLA (Collaborative rOle-infused LLM-based Agents の略) を設計し,それぞれの役割が一意に貢献する協調システムを構築した。
まず,多次元テキスト分析の段階において,llmを言語専門家,ドメインスペシャリスト,ソーシャルメディアのベテランとして動作させ,テキストの多面的解析を行うように構成し,最初の課題を克服した。
次に、潜在的スタンスごとに、LLMに基づく特定のエージェントを指定し、LLMにテキストの特徴と姿勢の間の論理的関係を検知させ、第二の課題に取り組む。
最後に、スタンス結論段階において、最終決定者エージェントが事前の洞察を統合してスタンスを決定する。
我々のアプローチは、追加の注釈付きデータとモデルのトレーニングを避け、非常に有用である。
複数のデータセットにまたがって最先端のパフォーマンスを実現する。
アブレーション研究は、姿勢検出の処理における各設計の役割の有効性を検証する。
さらなる実験は、我々のアプローチの説明可能性と汎用性を実証した。
当社のアプローチは,ユーザビリティ,正確性,有効性,説明可能性,汎用性に優れ,その価値を強調しています。
関連論文リスト
- Rethinking stance detection: A theoretically-informed research agenda for user-level inference using language models [6.13550450196734]
スタンス検出は自然言語処理研究において一般的な課題となっている。
我々は,(i)スタンスの理論的概念化の欠如,(ii)個人レベルでのスタンス処理に関する重要なギャップを強調した。
論文 参考訳（メタデータ） (2025-02-04T07:52:20Z) - Semantic Consistency Regularization with Large Language Models for Semi-supervised Sentiment Analysis [20.503153899462323]
本稿では,半教師付き感情分析のためのフレームワークを提案する。
テキストを意味的に拡張する2つのプロンプト戦略を導入する。
実験により,従来の半教師付き手法よりも優れた性能が得られた。
論文 参考訳（メタデータ） (2025-01-29T12:03:11Z) - When Text Embedding Meets Large Language Model: A Comprehensive Survey [17.263184207651072]
テキスト埋め込みは、ディープラーニング時代に自然言語処理(NLP)の基礎技術となった。
大規模言語モデル(LLM)と3つの主題に埋め込まれたテキストの相互作用を分類する。
我々は,LLM 以前の言語モデル (PLM) を用いて,LLM 以前の未解決課題を強調し,LLM がもたらした新たな障害を探求する。
論文 参考訳（メタデータ） (2024-12-12T10:50:26Z) - LLM-Consensus: Multi-Agent Debate for Visual Misinformation Detection [26.84072878231029]
LLM-Consensusは誤情報検出のための新しいマルチエージェント討論システムである。
我々のフレームワークは、最先端の精度で説明可能な検出を可能にする。
論文 参考訳（メタデータ） (2024-10-26T10:34:22Z) - Beyond Binary: Towards Fine-Grained LLM-Generated Text Detection via Role Recognition and Involvement Measurement [51.601916604301685]
大規模言語モデル(LLM)は、オンライン談話における信頼を損なう可能性のあるコンテンツを生成する。
現在の手法はバイナリ分類に重点を置いており、人間とLLMのコラボレーションのような現実のシナリオの複雑さに対処できないことが多い。
バイナリ分類を超えてこれらの課題に対処するために,LLM生成コンテンツを検出するための新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2024-10-18T08:14:10Z) - Chain of Stance: Stance Detection with Large Language Models [3.528201746844624]
スタンス検出は自然言語処理(NLP)におけるアクティブタスクである
我々は、Stance (CoS) の textitChain と呼ばれる新しいプロンプト手法を提案する。
論文 参考訳（メタデータ） (2024-08-03T16:30:51Z) - Mixture of In-Context Experts Enhance LLMs' Long Context Awareness [51.65245442281049]
大規模言語モデル(LLM)は、異なる文脈の位置に対する不均一な認識を示す。
本稿では,この課題に対処するため,"Mixture of In-Context Experts" (MoICE) という新しい手法を提案する。
MoICEには2つの重要なコンポーネントがある: LLM内の各アテンションヘッドに統合されたルータと、軽量なルータのみのトレーニング最適化戦略である。
論文 参考訳（メタデータ） (2024-06-28T01:46:41Z) - Meta Reasoning for Large Language Models [58.87183757029041]
大規模言語モデル(LLM)の新規かつ効率的なシステムプロセッシング手法であるメタ推論プロンプト(MRP)を導入する。
MRPは、各タスクの特定の要求に基づいて異なる推論メソッドを動的に選択し、適用するようLLMに誘導する。
総合的なベンチマークによりMPPの有効性を評価する。
論文 参考訳（メタデータ） (2024-06-17T16:14:11Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳（メタデータ） (2023-09-07T01:35:24Z) - Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate [85.3444184685235]
複数のエージェントが"tit for tat"の状態で議論を表現するマルチエージェント議論(MAD)フレームワークを提案し、審査員が議論プロセスを管理して最終解を得る。
我々のフレームワークは、深い熟考を必要とするタスクに役立ちそうなLSMにおける散発的思考を奨励する。
論文 参考訳（メタデータ） (2023-05-30T15:25:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。