論文の概要: Can Large Language Models Address Open-Target Stance Detection?

• arxiv url: http://arxiv.org/abs/2409.00222v4
• Date: Mon, 30 Sep 2024 17:37:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 03:46:25.010976
• Title: Can Large Language Models Address Open-Target Stance Detection?
• Title（参考訳）: 大規模言語モデルはオープンターゲットスタンス検出に対処できるか?
• Authors: Abu Ubaida Akash, Ahmed Fahmy, Amine Trabelsi,
• Abstract要約: Open-Target Stance Detection (OTSD) は、トレーニング中にターゲットが見つからず、入力として提供されない、最も現実的なタスクである。 我々は,Large Language Models (LLMs) GPT-4o, GPT-3.5, Llama-3, Mistralの評価を行い,その性能を既存の作品であるTarget-Stance extract (TSE)と比較した。 実験の結果,実対象が明示的に記述され,テキストに明記されていない場合,LLMはターゲット生成においてTSEを上回っていることがわかった。
• 参考スコア（独自算出の注目度）: 0.7032245866317618
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Stance detection (SD) identifies a text's position towards a target, typically labeled as favor, against, or none. We introduce Open-Target Stance Detection (OTSD), the most realistic task where targets are neither seen during training nor provided as input. We evaluate Large Language Models (LLMs) GPT-4o, GPT-3.5, Llama-3, and Mistral, comparing their performance to the only existing work, Target-Stance Extraction (TSE), which benefits from predefined targets. Unlike TSE, OTSD removes the dependency of a predefined list, making target generation and evaluation more challenging. We also provide a metric for evaluating target quality that correlates well with human judgment. Our experiments reveal that LLMs outperform TSE in target generation when the real target is explicitly and not explicitly mentioned in the text. Likewise, for stance detection, LLMs excel in explicit cases with comparable performance in non-explicit in general.
• Abstract（参考訳）: スタンス検出(SD:Stance Detection)は、テキストの位置を目標に向けて識別する。 我々は、訓練中にターゲットが見つからず、入力として提供されない最も現実的なタスクである、Open-Target Stance Detection (OTSD)を紹介した。 我々は,Large Language Models (LLMs) GPT-4o,GPT-3.5,Llama-3,Mistralを評価し,その性能を,事前定義された目標の恩恵を受ける唯一の既存の作業であるTarget-Stance extract (TSE)と比較した。 TSEとは異なり、OTSDは事前に定義されたリストの依存関係を取り除き、ターゲット生成と評価をより困難にする。 また、人間の判断とよく相関する目標品質を評価するための指標も提供する。 実験の結果,LLMはターゲット生成において,実際のターゲットが明示的に記述され,テキストに明示的に言及されていない場合に,TSEよりも優れることがわかった。 同様に、姿勢検出においては、LLMは明示的な場合において、一般に非明示的な場合と同等の性能を持つ。

関連論文リスト

• A Framework for Evaluating LLMs Under Task Indeterminacy [49.298107503257036]
  大規模言語モデル(LLM)の評価は、評価コーパスの各項目に対して単一の正しい応答(ゴールドラベル)があると仮定することが多い。 タスク不確定性の下でLLMを評価するためのフレームワークを開発する。
  論文  参考訳（メタデータ） (2024-11-21T00:15:44Z)
• Stanceformer: Target-Aware Transformer for Stance Detection [59.69858080492586]
  スタンス検出は、テキストで表現されたスタンスを特定の主題やターゲットに向けて識別する。 以前の作業は、ターゲットを効果的に優先順位付けする能力に欠ける既存のトランスフォーマーモデルに依存していた。 本稿では,学習と推論の両方において,目標に対する注意を高めるターゲット対応トランスフォーマーモデルであるStanceformerを紹介する。
  論文  参考訳（メタデータ） (2024-10-09T17:24:28Z)
• LLM Detectors Still Fall Short of Real World: Case of LLM-Generated Short News-Like Posts [7.680851067579922]
  本稿では、中程度に洗練された攻撃者によって生成される短いニュースのような投稿という、情報操作における重要な設定に焦点を当てる。 既存のLCM検出器は、ゼロショットでも目的訓練でも、その環境での実際の使用準備が整っていないことを実証する。 LLMをまたいで汎用化された目的学習型検出器を開発し、見知らぬ攻撃を行うことができるが、新しい人文テキストへの一般化には失敗する。
  論文  参考訳（メタデータ） (2024-09-05T06:55:13Z)
• Chain of Stance: Stance Detection with Large Language Models [3.528201746844624]
  スタンス検出は自然言語処理(NLP)におけるアクティブタスクである 我々は、Stance (CoS) の textitChain と呼ばれる新しいプロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-08-03T16:30:51Z)
• Target Span Detection for Implicit Harmful Content [18.84674403712032]
  我々は、より微妙なヘイトスピーチを認識し、デジタルプラットフォーム上で有害なコンテンツを検出するために不可欠な、ヘイトスピーチの暗黙のターゲットを特定することに注力する。 我々は、SBIC、DynaHate、IHCの3つの顕著な暗黙のヘイトスピーチデータセットでターゲットを収集し、注釈付けする。 実験の結果,Implicit-Target-Spanはターゲットスパン検出法に挑戦的なテストベッドを提供することがわかった。
  論文  参考訳（メタデータ） (2024-03-28T21:15:15Z)
• The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。 LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。 以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-25T19:07:32Z)
• Don't Go To Extremes: Revealing the Excessive Sensitivity and Calibration Limitations of LLMs in Implicit Hate Speech Detection [29.138463029748547]
  本稿では,暗黙のヘイトスピーチを検出し,その応答に自信を表現できる大規模言語モデルを提案する。 1) LLMは, 公平性問題を引き起こす可能性のあるグループやトピックに対して過度な感受性を示し, ヘイトスピーチとして良心的発言を誤分類する。
  論文  参考訳（メタデータ） (2024-02-18T00:04:40Z)
• Sentiment Analysis through LLM Negotiations [58.67939611291001]
  感情分析の標準的なパラダイムは、単一のLCMに依存して、その決定を1ラウンドで行うことである。 本稿では,感情分析のためのマルチLLMネゴシエーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-03T12:35:29Z)
• Can We Identify Stance Without Target Arguments? A Study for Rumour Stance Classification [10.19051099694573]
  提案手法は,応答から直接自然に推定できる実世界のデータを含む,噂の姿勢分類データセットを示す。 2つのベンチマークデータセットで最先端のパフォーマンスを実現するため、ターゲットによる推論を強化するためのシンプルで効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-22T15:44:15Z)
• Few-Shot Stance Detection via Target-Aware Prompt Distillation [48.40269795901453]
  本論文は,知識ベースや少人数の学習者を対象とした事前学習型言語モデル(PLM)の可能性に着想を得たものである。 PLMは、ターゲットに対して重要なコンテキスト情報を提供し、プロンプトを介して数発の学習を可能にする。 姿勢検出タスクにおいて,対象が重要な役割を担っていることを考慮し,目標認識プロンプトを設計し,新しい言語化手法を提案する。
  論文  参考訳（メタデータ） (2022-06-27T12:04:14Z)
• Generative multitask learning mitigates target-causing confounding [61.21582323566118]
  マルチタスク学習のための因果表現学習のためのシンプルでスケーラブルなアプローチを提案する。 改善は、目標を狙うが入力はしない、観測されていない共同ファウンダーを緩和することによる。 人の属性とタスクノミーのデータセットに対する我々の結果は、事前の確率シフトに対するロバストネスの概念的改善を反映している。
  論文  参考訳（メタデータ） (2022-02-08T20:42:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。