論文の概要: Stance Detection with Collaborative Role-Infused LLM-Based Agents
- arxiv url: http://arxiv.org/abs/2310.10467v1
- Date: Mon, 16 Oct 2023 14:46:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-17 13:34:49.762551
- Title: Stance Detection with Collaborative Role-Infused LLM-Based Agents
- Title(参考訳): 協調型llmベースエージェントによる姿勢検出
- Authors: Xiaochong Lan, Chen Gao, Depeng Jin, Yong Li
- Abstract要約: スタンス検出は、ウェブおよびソーシャルメディア研究におけるコンテンツ分析に不可欠である。
しかし、姿勢検出には、著者の暗黙の視点を推測する高度な推論が必要である。
LLMを異なる役割に指定した3段階のフレームワークを設計する。
複数のデータセットにまたがって最先端のパフォーマンスを実現する。
- 参考スコア(独自算出の注目度): 43.42514843863705
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Stance detection automatically detects the stance in a text towards a target,
vital for content analysis in web and social media research. Despite their
promising capabilities, LLMs encounter challenges when directly applied to
stance detection. First, stance detection demands multi-aspect knowledge, from
deciphering event-related terminologies to understanding the expression styles
in social media platforms. Second, stance detection requires advanced reasoning
to infer authors' implicit viewpoints, as stance are often subtly embedded
rather than overtly stated in the text. To address these challenges, we design
a three-stage framework COLA (short for Collaborative rOle-infused LLM-based
Agents) in which LLMs are designated distinct roles, creating a collaborative
system where each role contributes uniquely. Initially, in the multidimensional
text analysis stage, we configure the LLMs to act as a linguistic expert, a
domain specialist, and a social media veteran to get a multifaceted analysis of
texts, thus overcoming the first challenge. Next, in the reasoning-enhanced
debating stage, for each potential stance, we designate a specific LLM-based
agent to advocate for it, guiding the LLM to detect logical connections between
text features and stance, tackling the second challenge. Finally, in the stance
conclusion stage, a final decision maker agent consolidates prior insights to
determine the stance. Our approach avoids extra annotated data and model
training and is highly usable. We achieve state-of-the-art performance across
multiple datasets. Ablation studies validate the effectiveness of each design
role in handling stance detection. Further experiments have demonstrated the
explainability and the versatility of our approach. Our approach excels in
usability, accuracy, effectiveness, explainability and versatility,
highlighting its value.
- Abstract(参考訳): スタンス検出は、テキスト中のターゲットに対する姿勢を自動的に検出し、ウェブおよびソーシャルメディア研究におけるコンテンツ分析に不可欠である。
有望な能力にもかかわらず、姿勢検出に直接適用されるとllmは課題に遭遇する。
まず、スタンス検出は、イベント関連用語の解読からソーシャルメディアプラットフォームにおける表現スタイルの理解まで、多視点の知識を必要とする。
第2に、スタンス検出は著者の暗黙の視点を推測するために高度な推論を必要とする。
これらの課題に対処するため,LLMがそれぞれ異なる役割を担っている3段階のフレームワーク COLA (Collaborative rOle-infused LLM-based Agents の略) を設計し,それぞれの役割が一意に貢献する協調システムを構築した。
まず,多次元テキスト分析の段階において,llmを言語専門家,ドメインスペシャリスト,ソーシャルメディアのベテランとして動作させ,テキストの多面的解析を行うように構成し,最初の課題を克服した。
次に、潜在的スタンスごとに、LLMに基づく特定のエージェントを指定し、LLMにテキストの特徴と姿勢の間の論理的関係を検知させ、第二の課題に取り組む。
最後に、スタンス結論段階において、最終決定者エージェントが事前の洞察を統合してスタンスを決定する。
我々のアプローチは、追加の注釈付きデータとモデルのトレーニングを避け、非常に有用である。
複数のデータセットにまたがって最先端のパフォーマンスを実現する。
アブレーション研究は、姿勢検出の処理における各設計の役割の有効性を検証する。
さらなる実験は、我々のアプローチの説明可能性と汎用性を実証した。
当社のアプローチは,ユーザビリティ,正確性,有効性,説明可能性,汎用性に優れ,その価値を強調しています。
関連論文リスト
- Can Large Language Models Identify Authorship? [18.378744138365537]
大規模言語モデル(LLM)は、推論と問題解決に非常に優れた能力を示している。
本稿では,著者分析におけるLLMの包括的評価を行う。
論文 参考訳(メタデータ) (2024-03-13T03:22:02Z) - FAC$^2$E: Better Understanding Large Language Model Capabilities by
Dissociating Language and Cognition [57.747888532651]
大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。
FAC$2$E, FAC$2$Eについて述べる。
論文 参考訳(メタデータ) (2024-02-29T21:05:37Z) - Beyond the Known: Investigating LLMs Performance on Out-of-Domain Intent
Detection [34.135738700682055]
本稿では,ChatGPTで表される大規模言語モデル(LLM)を包括的に評価する。
LLMには強力なゼロショット機能と少数ショット機能があるが、フルリソースで微調整されたモデルに比べれば依然として不利である。
論文 参考訳(メタデータ) (2024-02-27T07:02:10Z) - Bridging Causal Discovery and Large Language Models: A Comprehensive
Survey of Integrative Approaches and Future Directions [10.226735765284852]
因果発見(CD)とLarge Language Models(LLM)は、人工知能に重要な意味を持つ2つの新しい研究分野を表す。
本稿では,CDタスクへのLPM(GPT4など)の統合に関する総合的な調査を行う。
論文 参考訳(メタデータ) (2024-02-16T20:48:53Z) - A Survey on Detection of LLMs-Generated Content [97.87912800179531]
LLMの生成する内容を検出する能力が最重要視されている。
既存の検出戦略とベンチマークの詳細な概要を提供する。
また、様々な攻撃から守るための多面的アプローチの必要性を示唆する。
論文 参考訳(メタデータ) (2023-10-24T09:10:26Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳(メタデータ) (2023-09-07T01:35:24Z) - LAMM: Language-Assisted Multi-Modal Instruction-Tuning Dataset,
Framework, and Benchmark [81.42376626294812]
本稿では,Language-Assisted Multi-Modalインストラクションチューニングデータセット,フレームワーク,ベンチマークを提案する。
我々の目標は、MLLMのトレーニングと評価のための成長するエコシステムとしてLAMMを確立することです。
本稿では,2次元および3次元視覚のための広範囲な視覚タスクをカバーする包括的データセットとベンチマークを提案する。
論文 参考訳(メタデータ) (2023-06-11T14:01:17Z) - Encouraging Divergent Thinking in Large Language Models through
Multi-Agent Debate [56.23037393834715]
複数のエージェントが"tit for tat"の状態で議論を表現するマルチエージェント議論(MAD)フレームワークを提案し、審査員が議論プロセスを管理して最終解を得る。
我々のフレームワークは、深い熟考を必要とするタスクに役立ちそうなLSMにおける散発的思考を奨励する。
論文 参考訳(メタデータ) (2023-05-30T15:25:45Z) - Few-Shot Stance Detection via Target-Aware Prompt Distillation [48.40269795901453]
本論文は,知識ベースや少人数の学習者を対象とした事前学習型言語モデル(PLM)の可能性に着想を得たものである。
PLMは、ターゲットに対して重要なコンテキスト情報を提供し、プロンプトを介して数発の学習を可能にする。
姿勢検出タスクにおいて,対象が重要な役割を担っていることを考慮し,目標認識プロンプトを設計し,新しい言語化手法を提案する。
論文 参考訳(メタデータ) (2022-06-27T12:04:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。