論文の概要: Can Large Language Models Address Open-Target Stance Detection?

• arxiv url: http://arxiv.org/abs/2409.00222v4
• Date: Mon, 30 Sep 2024 17:37:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 22:00:13.447054
• Title: Can Large Language Models Address Open-Target Stance Detection?
• Title（参考訳）: 大規模言語モデルはオープンターゲットスタンス検出に対処できるか?
• Authors: Abu Ubaida Akash, Ahmed Fahmy, Amine Trabelsi,
• Abstract要約: Open-Target Stance Detection (OTSD) は、トレーニング中にターゲットが見つからず、入力として提供されない、最も現実的なタスクである。 我々は,Large Language Models (LLMs) GPT-4o, GPT-3.5, Llama-3, Mistralの評価を行い,その性能を既存の作品であるTarget-Stance extract (TSE)と比較した。 実験の結果,実対象が明示的に記述され,テキストに明記されていない場合,LLMはターゲット生成においてTSEを上回っていることがわかった。
• 参考スコア（独自算出の注目度）: 0.7032245866317618
• License:
• Abstract: Stance detection (SD) identifies a text's position towards a target, typically labeled as favor, against, or none. We introduce Open-Target Stance Detection (OTSD), the most realistic task where targets are neither seen during training nor provided as input. We evaluate Large Language Models (LLMs) GPT-4o, GPT-3.5, Llama-3, and Mistral, comparing their performance to the only existing work, Target-Stance Extraction (TSE), which benefits from predefined targets. Unlike TSE, OTSD removes the dependency of a predefined list, making target generation and evaluation more challenging. We also provide a metric for evaluating target quality that correlates well with human judgment. Our experiments reveal that LLMs outperform TSE in target generation when the real target is explicitly and not explicitly mentioned in the text. Likewise, for stance detection, LLMs excel in explicit cases with comparable performance in non-explicit in general.
• Abstract（参考訳）: スタンス検出(SD:Stance Detection)は、テキストの位置を目標に向けて識別する。 我々は、訓練中にターゲットが見つからず、入力として提供されない最も現実的なタスクである、Open-Target Stance Detection (OTSD)を紹介した。 我々は,Large Language Models (LLMs) GPT-4o,GPT-3.5,Llama-3,Mistralを評価し,その性能を,事前定義された目標の恩恵を受ける唯一の既存の作業であるTarget-Stance extract (TSE)と比較した。 TSEとは異なり、OTSDは事前に定義されたリストの依存関係を取り除き、ターゲット生成と評価をより困難にする。 また、人間の判断とよく相関する目標品質を評価するための指標も提供する。 実験の結果,LLMはターゲット生成において,実際のターゲットが明示的に記述され,テキストに明示的に言及されていない場合に,TSEよりも優れることがわかった。 同様に、姿勢検出においては、LLMは明示的な場合において、一般に非明示的な場合と同等の性能を持つ。

関連論文リスト

• AutoDetect: Towards a Unified Framework for Automated Weakness Detection in Large Language Models [95.09157454599605]
  大規模言語モデル(LLM)はますます強力になってきていますが、それでも顕著ですが微妙な弱点があります。 従来のベンチマークアプローチでは、特定のモデルの欠陥を徹底的に特定することはできない。 さまざまなタスクにまたがるLLMの弱点を自動的に露呈する統合フレームワークであるAutoDetectを導入する。
  論文  参考訳（メタデータ） (2024-06-24T15:16:45Z)
• Are you still on track!? Catching LLM Task Drift with Activations [55.75645403965326]
  大規模言語モデル(LLM)は、ユーザや他のソースからの入力を処理したり、タスクを編成したりするための検索拡張されたアプリケーションで日常的に使用される。 これにより、LDMがデータのみのソースからの命令を受け取り、作用するインジェクション攻撃を誘導する扉が開き、ユーザーの元の命令から逸脱する。 我々はこれをタスクドリフトと定義し、LCMのアクティベーションをスキャンして解析することでこれをキャッチすることを提案する。 このアプローチは、これらの攻撃に対してトレーニングを受けることなく、インジェクションやジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化することを示す。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)
• The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。 LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。 以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-25T19:07:32Z)
• TRAP: Targeted Random Adversarial Prompt Honeypot for Black-Box Identification [41.25887364156612]
  ブラックボックス認証(BBIV)の新たな指紋認証問題について述べる。 目標は、サードパーティアプリケーションがチャット機能を通じて特定のLLMを使用するかどうかを判断することである。 本稿では,TRAP (Targeted Random Adversarial Prompt) と呼ばれる,特定のLPMを識別する手法を提案する。
  論文  参考訳（メタデータ） (2024-02-20T13:20:39Z)
• Machine Unlearning in Large Language Models [8.14992136443131]
  本稿では,大規模言語モデルに新しい機械学習フレームワークを導入する。 我々の目標は、LSMが有害、幻覚、あるいはプライバシーを侵害する応答を生じさせないようにすることです。 実験結果から,本手法はモデル性能を実質的に損なうことなく,学習対象を効果的に満たすことが示唆された。
  論文  参考訳（メタデータ） (2024-02-03T05:14:56Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)
• Practical Membership Inference Attacks against Fine-tuned Large Language Models via Self-prompt Calibration [32.15773300068426]
  メンバーシップ推論攻撃(MIA)は、対象のデータレコードがモデルトレーニングに使用されたかどうかを推測することを目的としている。 自己校正確率変動(SPV-MIA)に基づくメンバーシップ推論攻撃を提案する。 具体的には、LLMの記憶はトレーニングプロセス中に必然的に必要であり、オーバーフィッティング前に発生するので、より信頼性の高いメンバーシップ信号を導入する。
  論文  参考訳（メタデータ） (2023-11-10T13:55:05Z)
• LLM-augmented Preference Learning from Natural Language [19.700169351688768]
  大規模言語モデル(LLM)は、より大きな文脈長を扱う。 LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。 ゼロショット学習よりもパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-10-12T17:17:27Z)
• Selective In-Context Data Augmentation for Intent Detection using Pointwise V-Information [100.03188187735624]
  PLMとPVI(pointwise V-information)に基づく新しい手法を導入し,モデル学習におけるデータポイントの有用性を計測する。 提案手法はまず,学習データの小さなシード上でPLMを微調整し,与えられた意図に対応する発話を新たに生成する。 そこで本手法は,大規模言語モデルの表現力を活用し,多様な学習データを生成する。
  論文  参考訳（メタデータ） (2023-02-10T07:37:49Z)
• ExaASC: A General Target-Based Stance Detection Corpus in Arabic Language [0.0]
  本研究は、ソースツイートにおいて、最も重要かつ議論の的となるターゲットに対する応答のスタンスを用いて、ターゲットベースのスタンス検出に向けた新しい手法を提案する。 我々の提案した新しい態度は、この分野の低資源言語の一つであるアラビア語のための ExaASC という新しいコーパスを生み出した。
  論文  参考訳（メタデータ） (2022-04-29T10:03:51Z)
• Meta-Learning with Context-Agnostic Initialisations [86.47040878540139]
  メタ学習プロセスにコンテキスト・逆成分を導入する。 これにより、コンテキストに依存しないタスクを一般化したターゲットへの微調整の初期化が実現される。 我々は,3つのメタ学習アルゴリズムと2つの問題に対するアプローチを評価した。
  論文  参考訳（メタデータ） (2020-07-29T08:08:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。