論文の概要: Is External Information Useful for Stance Detection with LLMs?

• arxiv url: http://arxiv.org/abs/2507.01543v1
• Date: Wed, 02 Jul 2025 09:53:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:23:00.139828
• Title: Is External Information Useful for Stance Detection with LLMs?
• Title（参考訳）: LLMを用いたスタンス検出に外部情報は有用か?
• Authors: Quang Minh Nguyen, Taegyoon Kim,
• Abstract要約: 以前の研究は、ウィキペディアからの抜粋など外部情報の使用が姿勢検出性能を向上させることを示唆していた。 我々はWikipediaとWeb検索の外部情報がどのように姿勢検出に影響を及ぼすかを体系的に評価する。 このような情報がほとんどの場合性能を低下させ、マクロF1スコアは27.9%まで低下する。
• 参考スコア（独自算出の注目度）: 1.0610707915233728
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the stance detection task, a text is classified as either favorable, opposing, or neutral towards a target. Prior work suggests that the use of external information, e.g., excerpts from Wikipedia, improves stance detection performance. However, whether or not such information can benefit large language models (LLMs) remains an unanswered question, despite their wide adoption in many reasoning tasks. In this study, we conduct a systematic evaluation on how Wikipedia and web search external information can affect stance detection across eight LLMs and in three datasets with 12 targets. Surprisingly, we find that such information degrades performance in most cases, with macro F1 scores dropping by up to 27.9\%. We explain this through experiments showing LLMs' tendency to align their predictions with the stance and sentiment of the provided information rather than the ground truth stance of the given text. We also find that performance degradation persists with chain-of-thought prompting, while fine-tuning mitigates but does not fully eliminate it. Our findings, in contrast to previous literature on BERT-based systems which suggests that external information enhances performance, highlight the risks of information biases in LLM-based stance classifiers. Code is available at https://github.com/ngqm/acl2025-stance-detection.
• Abstract（参考訳）: 姿勢検出タスクでは、テキストは、対象に向かって好意的、反対的、中立的のいずれかに分類される。 以前の研究は、ウィキペディアからの抜粋など外部情報の使用が姿勢検出性能を向上させることを示唆していた。 しかし、そのような情報が大きな言語モデル(LLM)の恩恵を受けるかどうかは、多くの推論タスクで広く採用されているにもかかわらず、未解決の問題である。 本研究では,Wikipedia と Web 検索の外部情報が 8 個の LLM および 12 個のターゲットを持つ 3 つのデータセットにおける姿勢検出にどう影響するかを,系統的に評価する。 驚いたことに、そのような情報がほとんどのケースでパフォーマンスを低下させ、マクロF1スコアは27.9\%まで低下する。 本稿は, LLMの予測を, 与えられたテキストの真理的なスタンスではなく, 提供された情報のスタンスや感情と整合させる傾向を示す実験を通して説明する。 また、性能劣化はチェーン・オブ・シント・プロンプトによって継続するが、微調整は緩和するが、完全には排除しない。 LLMを用いた姿勢分類器において,外部情報が性能を高めることを示唆するBERTベースのシステムに関する以前の文献とは対照的に,情報バイアスのリスクが強調される。 コードはhttps://github.com/ngqm/acl2025-stance-detectionで公開されている。

関連論文リスト

• Small Encoders Can Rival Large Decoders in Detecting Groundedness [45.13986921082049]
  大規模言語モデル(LLM)を外部コンテキストで拡張することで、自然言語処理(NLP)タスクのパフォーマンスが大幅に向上する。 本研究は,LLMによるコストのかかる回答生成の前に,与えられたクエリがコンテキストで提供されるドキュメントにグラウンドドされているかを検出することに焦点を当てる。 我々は,RoBERTa や NomicBERT などの軽量なタスク固有エンコーダモデルにおいて,キュレートされたデータセットを微調整することで,最先端の LLM に匹敵する精度が得られることを示す。
  論文  参考訳（メタデータ） (2025-06-26T14:09:41Z)
• Verifying the Verifiers: Unveiling Pitfalls and Potentials in Fact Verifiers [59.168391398830515]
  我々は,14のファクトチェックベンチマークのサンプルを用いて,12の事前学習LDMと1つの特殊ファクト検証器を評価した。 データセットにおけるアノテーションエラーとあいまいさに対処することの重要性を強調します。 最上位のパフォーマンスを実現するために、前作でしばしば見落とされがちな、数ショットのインコンテキストの例を持つフロンティアLSM。
  論文  参考訳（メタデータ） (2025-06-16T10:32:10Z)
• How does Misinformation Affect Large Language Model Behaviors and Preferences? [37.06385727015972]
  大きな言語モデル(LLM)は、知識集約的なタスクにおいて顕著な能力を示している。 我々は,LLMの行動と誤情報に対する知識嗜好を評価するための,現在最大かつ最も包括的なベンチマークであるMisBenchを紹介する。 実証的な結果から、LLMは誤報を識別する能力に匹敵する能力を示すが、知識の衝突やスタイルのバリエーションの影響を受けやすいままであることが明らかとなった。
  論文  参考訳（メタデータ） (2025-05-27T17:57:44Z)
• RAEmoLLM: Retrieval Augmented LLMs for Cross-Domain Misinformation Detection Using In-Context Learning Based on Emotional Information [36.059869205457815]
  クロスドメイン誤情報検出の方法は、努力とリソース集約的な微調整と複雑なモデル構造に依存している。 RAEmoLLMは、感情情報に基づくテキスト内学習を用いたクロスドメイン誤情報検出のための、最初の検索拡張(RAG)LLMフレームワークである。 RAEmoLLMは、3つのデータセットの他の数ショットメソッドと比較して大幅に改善されている。
  論文  参考訳（メタデータ） (2024-06-16T22:49:11Z)
• Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。