論文の概要: Clickbait Detection via Large Language Models
- arxiv url: http://arxiv.org/abs/2306.09597v1
- Date: Fri, 16 Jun 2023 02:49:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-19 15:19:49.812640
- Title: Clickbait Detection via Large Language Models
- Title(参考訳): 大規模言語モデルによるクリックベイト検出
- Authors: Yi Zhu, Han Wang, Ye Wang, Yun Li, Yunhao Yuan, Jipeng Qiang
- Abstract要約: 大規模言語モデル(LLM)は強力な道具として登場し、NLP下流タスクにおいて大きな成功を収めている。
本稿では,英語と中国語のベンチマークデータセットを用いて,数ショットのシナリオにおけるLLMの性能を解析する。
実験結果から, LLM は最先端の深部・微調整 PLM 法に比べ, 最高の結果が得られないことがわかった。
- 参考スコア(独自算出の注目度): 18.975920847750018
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Clickbait, which aims to induce users with some surprising and even thrilling
headlines for increasing click-through rates, permeates almost all online
content publishers, such as news portals and social media. Recently, Large
Language Models (LLMs) have emerged as a powerful instrument and achieved
tremendous success in a serious of NLP downstream tasks. However, it is not yet
known whether LLMs can be served as a high-quality clickbait detection system.
In this paper, we analyze the performance of LLMs in the few-shot scenarios on
a number of English and Chinese benchmark datasets. Experimental results show
that LLMs cannot achieve the best results compared to the state-of-the-art deep
and fine-tuning PLMs methods. Different from the human intuition, the
experiments demonstrated that LLMs cannot make satisfied clickbait detection
just by the headlines.
- Abstract(参考訳): clickbaitは、ニュースポータルやソーシャルメディアなど、ほぼすべてのオンラインコンテンツパブリッシャーに浸透している。
近年,Large Language Models (LLMs) が強力な道具として登場し,NLP下流タスクにおいて大きな成功を収めている。
しかし,LLMが高品質なクリックベイト検出システムとして機能するかどうかは不明である。
本稿では,英語と中国語のベンチマークデータセットを用いて,数ショットシナリオにおけるLLMの性能を解析する。
実験結果から, LLM は最先端の深部・微調整 PLM 法に比べ, 最高の結果が得られないことがわかった。
人間の直観と異なり、実験では、llmは見出しだけではクリックベイトの検出を満足できないことを示した。
関連論文リスト
- From Deception to Detection: The Dual Roles of Large Language Models in Fake News [0.20482269513546458]
フェイクニュースは、情報エコシステムと公衆信頼の整合性に重大な脅威をもたらす。
LLM(Large Language Models)の出現は、フェイクニュースとの戦いを変革する大きな可能性を秘めている。
本稿では,偽ニュースに効果的に対処する各種LLMの能力について検討する。
論文 参考訳(メタデータ) (2024-09-25T22:57:29Z) - Large Language Models as Reliable Knowledge Bases? [60.25969380388974]
大きな言語モデル(LLM)は潜在的な知識ベース(KB)と見なすことができる。
本研究は、信頼性の高いLLM-as-KBが満たすべき基準を定義し、事実性と一貫性に焦点をあてる。
ICLや微調整のような戦略は、LLMをより良くKBにするには失敗している。
論文 参考訳(メタデータ) (2024-07-18T15:20:18Z) - CLAMBER: A Benchmark of Identifying and Clarifying Ambiguous Information Needs in Large Language Models [60.59638232596912]
大規模言語モデル(LLM)を評価するベンチマークであるCLAMBERを紹介する。
分類を基盤として12Kの高品質なデータを構築し, 市販のLCMの強度, 弱点, 潜在的なリスクを評価する。
本研究は, あいまいなユーザクエリの特定と明確化において, 現在のLCMの実用性に限界があることを示唆する。
論文 参考訳(メタデータ) (2024-05-20T14:34:01Z) - Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing [56.75702900542643]
大規模言語モデルの自己改善のためのAlphaLLMを紹介する。
モンテカルロ木探索(MCTS)とLLMを統合し、自己改善ループを確立する。
実験の結果,AlphaLLM は付加アノテーションを使わずに LLM の性能を大幅に向上することがわかった。
論文 参考訳(メタデータ) (2024-04-18T15:21:34Z) - Are LLMs Effective Backbones for Fine-tuning? An Experimental Investigation of Supervised LLMs on Chinese Short Text Matching [12.213307496643376]
中国語短文マッチング作業のための微調整LDMによる実験的検討を行った。
タスクモデリング手法,プロンプト形式,出力形式など,微調整LDMの性能に影響を及ぼす諸要因について検討する。
論文 参考訳(メタデータ) (2024-03-29T02:36:54Z) - Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。
パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。
ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
論文 参考訳(メタデータ) (2024-02-19T11:11:08Z) - Large Language Models: A Survey [69.72787936480394]
大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。
LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
論文 参考訳(メタデータ) (2024-02-09T05:37:09Z) - Knowing What LLMs DO NOT Know: A Simple Yet Effective Self-Detection Method [36.24876571343749]
大規模言語モデル(LLM)は自然言語処理(NLP)タスクにおいて大きな可能性を示している。
近年の文献では、LLMは断続的に非実効応答を生成する。
本研究では,LLM が知らない質問が非現実的な結果を生成する傾向にあることを検知する新たな自己検出手法を提案する。
論文 参考訳(メタデータ) (2023-10-27T06:22:14Z) - Bad Actor, Good Advisor: Exploring the Role of Large Language Models in
Fake News Detection [22.658378054986624]
大規模言語モデル(LLM)は、様々なタスクにおいて顕著なパフォーマンスを示している。
LLMは望ましいマルチパースペクティブな合理性を提供するが、基本的なSLMである細調整のBERTよりも性能が低い。
偽ニュース検出において、現在のLSMは微調整されたSLMの代わりにはならないが、SLMの優れたアドバイザである可能性が示唆された。
論文 参考訳(メタデータ) (2023-09-21T16:47:30Z) - On the (In)Effectiveness of Large Language Models for Chinese Text
Correction [44.32102000125604]
大規模言語モデル(LLM)は、人工知能コミュニティ全体を驚かせた。
本研究は,中国語のNLP課題である中国語のテキスト訂正に焦点を当てた。
LLMは、現在、中国語のテキスト訂正において、素晴らしいパフォーマンスと不満足な動作の両方を持っていることを実証的に見出した。
論文 参考訳(メタデータ) (2023-07-18T06:48:52Z) - Multilingual Machine Translation with Large Language Models: Empirical Results and Analysis [103.89753784762445]
大規模言語モデル(LLM)は多言語機械翻訳(MMT)の処理において顕著な可能性を示した。
本稿では, MMT における LLM の利点と課題を体系的に検討する。
また,ChatGPTとGPT-4を含む8つのLLMを徹底的に評価した。
論文 参考訳(メタデータ) (2023-04-10T15:51:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。