論文の概要: Exploring the Performance of Large Language Models on Subjective Span Identification Tasks
- arxiv url: http://arxiv.org/abs/2601.00736v1
- Date: Fri, 02 Jan 2026 16:30:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-05 15:04:33.602987
- Title: Exploring the Performance of Large Language Models on Subjective Span Identification Tasks
- Title(参考訳): 主観的スパン識別課題における大規模言語モデルの性能探索
- Authors: Alphaeus Dmonte, Roland Oruche, Tharindu Ranasinghe, Marcos Zampieri, Prasad Calyam,
- Abstract要約: 本稿では,3つのNLPタスクにおけるテキストスパン識別におけるLLM(Large Language Models)の評価について述べる。
命令チューニングや文脈内学習,思考の連鎖など,LLMの戦略について検討する。
以上の結果から, テキストスパンの特定において, LLM の基盤となる関係性が示唆された。
- 参考スコア(独自算出の注目度): 21.931193759012725
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Identifying relevant text spans is important for several downstream tasks in NLP, as it contributes to model explainability. While most span identification approaches rely on relatively smaller pre-trained language models like BERT, a few recent approaches have leveraged the latest generation of Large Language Models (LLMs) for the task. Current work has focused on explicit span identification like Named Entity Recognition (NER), while more subjective span identification with LLMs in tasks like Aspect-based Sentiment Analysis (ABSA) has been underexplored. In this paper, we fill this important gap by presenting an evaluation of the performance of various LLMs on text span identification in three popular tasks, namely sentiment analysis, offensive language identification, and claim verification. We explore several LLM strategies like instruction tuning, in-context learning, and chain of thought. Our results indicate underlying relationships within text aid LLMs in identifying precise text spans.
- Abstract(参考訳): 関係するテキストスパンの同定は、モデル説明可能性に寄与するため、NLPの下流タスクにおいて重要である。
ほとんどのスパン識別アプローチはBERTのような比較的小さな事前訓練された言語モデルに依存しているが、最近のアプローチでは、タスクに最新のLarge Language Models(LLM)を活用している。
現在の研究は、名前付きエンティティ認識(NER)のような明示的なスパン識別に重点を置いている一方で、アスペクトベースのセンチメント分析(ABSA)のようなタスクにおいて、より主観的なスパン識別は過小評価されている。
本稿では、感情分析、攻撃的言語識別、クレーム検証という3つの一般的なタスクにおいて、テキストスパン識別における様々なLLMの性能評価を行うことにより、この重要なギャップを埋める。
命令チューニングや文脈内学習,思考の連鎖など,LLMの戦略について検討する。
以上の結果から, テキストスパンの特定において, LLM の基盤となる関係性が示唆された。
関連論文リスト
- Two Birds with One Stone: Multi-Task Detection and Attribution of LLM-Generated Text [4.753395401707132]
DA-MTLは、テキスト検出と著者の属性を同時に扱うマルチタスク学習フレームワークである。
DA-MTLを9つのデータセットと4つのバックボーンモデルで評価し、複数の言語で高い性能を示す。
論文 参考訳(メタデータ) (2025-08-19T18:23:30Z) - Zero-Shot Keyphrase Generation: Investigating Specialized Instructions and Multi-Sample Aggregation on Large Language Models [52.829293635314194]
キーフレーズ生成(英: Keyphrase generation)とは、ある文書のキーフレーズを自動的に生成する、長期にわたるNLPタスクである。
本稿では,オープンソースの命令調整型LDM (Phi-3, Llama-3) のゼロショット機能と,このタスクのためのクローズドソース GPT-4o に着目した。
論文 参考訳(メタデータ) (2025-03-01T19:38:57Z) - Towards Reliable Detection of LLM-Generated Texts: A Comprehensive Evaluation Framework with CUDRT [9.682499180341273]
大規模言語モデル(LLM)はテキスト生成が大幅に進歩しているが、その出力の人間的な品質は大きな課題を呈している。
中国語と英語の総合的な評価フレームワークとバイリンガルベンチマークであるCUDRTを提案する。
このフレームワークは、スケーラブルで再現可能な実験をサポートし、運用の多様性、多言語トレーニングセット、LLMアーキテクチャが検出性能に与える影響を分析する。
論文 参考訳(メタデータ) (2024-06-13T12:43:40Z) - Does In-Context Learning Really Learn? Rethinking How Large Language Models Respond and Solve Tasks via In-Context Learning [41.606494950216764]
In-context Learning (ICL)は、スケールアップされた大規模言語モデル(LLM)の開発と共に強力な能力として登場した。
本稿では,ICLの全体的な性能をラベル空間,フォーマット,識別の3次元に分解する。
ICLはラベル空間とフォーマットを制御し,所望のラベル語にLLMが反応するのに役立つことを示す。
論文 参考訳(メタデータ) (2024-04-11T08:20:10Z) - Decomposed Prompting: Probing Multilingual Linguistic Structure Knowledge in Large Language Models [54.58989938395976]
本稿では,シーケンスラベリングタスクに対する分割プロンプト手法を提案する。
提案手法は,38言語を対象としたUniversal Dependencies part-of-speech Taggedについて検証する。
論文 参考訳(メタデータ) (2024-02-28T15:15:39Z) - Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。
26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
論文 参考訳(メタデータ) (2023-05-24T10:45:25Z) - SLUE Phase-2: A Benchmark Suite of Diverse Spoken Language Understanding
Tasks [88.4408774253634]
音声言語理解(SLU)タスクは、音声研究コミュニティで何十年にもわたって研究されてきた。
SLUタスクベンチマークはそれほど多くはなく、既存のベンチマークの多くは、すべての研究者が自由に利用できないデータを使っている。
最近の研究は、いくつかのタスクにそのようなベンチマークを導入し始めている。
論文 参考訳(メタデータ) (2022-12-20T18:39:59Z) - ERICA: Improving Entity and Relation Understanding for Pre-trained
Language Models via Contrastive Learning [97.10875695679499]
そこで本研究では, ERICA という新たなコントラスト学習フレームワークを提案し, エンティティとその関係をテキストでより深く理解する。
実験の結果,提案する erica フレームワークは文書レベルの言語理解タスクにおいて一貫した改善を実現することがわかった。
論文 参考訳(メタデータ) (2020-12-30T03:35:22Z) - A Survey on Recent Advances in Sequence Labeling from Deep Learning
Models [19.753741555478793]
シーケンスラベリングは、様々なタスクを含む基本的な研究課題である。
ディープラーニングは、複雑な機能を自動的に学習する強力な能力のため、シーケンスラベリングタスクに使用されている。
論文 参考訳(メタデータ) (2020-11-13T02:29:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。