論文の概要: Are LLMs Enough for Hyperpartisan, Fake, Polarized and Harmful Content Detection? Evaluating In-Context Learning vs. Fine-Tuning

• arxiv url: http://arxiv.org/abs/2509.07768v1
• Date: Tue, 09 Sep 2025 14:01:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-10 14:38:27.347935
• Title: Are LLMs Enough for Hyperpartisan, Fake, Polarized and Harmful Content Detection? Evaluating In-Context Learning vs. Fine-Tuning
• Title（参考訳）: LLMは超党派, フェイク, 偏極, 有害コンテンツ検出に十分か? : インコンテキスト学習の評価と微調整
• Authors: Michele Joshua Maggini, Dhia Merzougui, Rabiraj Bandyopadhyay, Gaël Dias, Fabrice Maurel, Pablo Gamallo,
• Abstract要約: 本研究では,超党派・フェイクニュース,有害ツイート,政治的偏見を検出するための多言語モデル適応パラダイムの概要を述べる。 パラメータ効率のよい言語モデルの微調整から、さまざまなインコンテキスト学習戦略やプロンプトまで、さまざまな戦略を試した。
• 参考スコア（独自算出の注目度）: 20.193445005516363
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The spread of fake news, polarizing, politically biased, and harmful content on online platforms has been a serious concern. With large language models becoming a promising approach, however, no study has properly benchmarked their performance across different models, usage methods, and languages. This study presents a comprehensive overview of different Large Language Models adaptation paradigms for the detection of hyperpartisan and fake news, harmful tweets, and political bias. Our experiments spanned 10 datasets and 5 different languages (English, Spanish, Portuguese, Arabic and Bulgarian), covering both binary and multiclass classification scenarios. We tested different strategies ranging from parameter efficient Fine-Tuning of language models to a variety of different In-Context Learning strategies and prompts. These included zero-shot prompts, codebooks, few-shot (with both randomly-selected and diversely-selected examples using Determinantal Point Processes), and Chain-of-Thought. We discovered that In-Context Learning often underperforms when compared to Fine-Tuning a model. This main finding highlights the importance of Fine-Tuning even smaller models on task-specific settings even when compared to the largest models evaluated in an In-Context Learning setup - in our case LlaMA3.1-8b-Instruct, Mistral-Nemo-Instruct-2407 and Qwen2.5-7B-Instruct.
• Abstract（参考訳）: 偽ニュース、偏見、政治的偏見、有害なコンテンツをオンラインプラットフォーム上で拡散することは深刻な懸念だった。 しかし、大きな言語モデルが有望なアプローチになるにつれて、さまざまなモデル、使用方法、言語間でパフォーマンスを適切にベンチマークする研究は行われていない。 本研究では,超党派・フェイクニュース,有害ツイート,政治的偏見を検出するための多言語モデル適応パラダイムの概要を概説する。 実験は10のデータセットと5つの異なる言語(英語、スペイン語、ポルトガル語、アラビア語、ブルガリア語)で行われ、バイナリとマルチクラスの両方の分類シナリオをカバーしました。 パラメータ効率のよい言語モデルの微調整から、さまざまなインコンテキスト学習戦略やプロンプトまで、さまざまな戦略を試した。 その中には、ゼロショットプロンプト、コードブック、少数ショット(ランダムに選択されたり、多種多様に選ばれたり)、Chain-of-Thoughtが含まれていた。 In-Context Learningは、Fin-Tuningモデルと比較すると、パフォーマンスが低くなることがわかりました。 この主な発見は、インコンテキストラーニングのセットアップで評価された最大のモデルであるLlaMA3.1-8b-インストラクト、Mistral-Nemo-Instruct-2407、Qwen2.5-7B-インストラクトと比較しても、タスク固有の設定において、ファインチューニングよりも小さなモデルの重要性を強調している。

関連論文リスト

• Large Language Models For Text Classification: Case Study And Comprehensive Review [0.3428444467046467]
  各種言語モデル(LLM)の性能を,最先端のディープラーニングモデルや機械学習モデルと比較して評価する。 本研究は,提案手法に基づくモデル応答の有意な変動を明らかにした。
  論文  参考訳（メタデータ） (2025-01-14T22:02:38Z)
• Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
  最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。 より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。 これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
  論文  参考訳（メタデータ） (2024-03-26T12:47:39Z)
• The Impact of Demonstrations on Multilingual In-Context Learning: A Multidimensional Analysis [23.757767581876063]
  インコンテキスト学習(In-context learning)は、大規模言語モデルがいくつかのラベル付きデモを使用してタスクを解く一般的な推論戦略である。 実演の有効性は, モデル, タスク, 言語によって大きく異なることを示す。 また,Llama 2-Chat,GPT-3.5,GPT-4といった強力な命令追従モデルは,実演の質にはほとんど敏感でないことがわかった。
  論文  参考訳（メタデータ） (2024-02-20T12:53:31Z)
• Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval [109.62363167257664]
  本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。 我々のモデルは、$N$言語で並列データを操作する。 本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
  論文  参考訳（メタデータ） (2022-12-21T02:41:40Z)
• A Multi-level Supervised Contrastive Learning Framework for Low-Resource Natural Language Inference [54.678516076366506]
  自然言語推論(NLI)は、自然言語理解において、ますます重要な課題である。 本稿では,低リソースな自然言語推論のためのマルチSCLという,マルチレベルの教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-31T05:54:18Z)
• Sentiment analysis in tweets: an assessment study from classical to modern text representation models [59.107260266206445]
  Twitterで公開された短いテキストは、豊富な情報源として大きな注目を集めている。 非公式な言語スタイルや騒々しい言語スタイルといったそれらの固有の特徴は、多くの自然言語処理(NLP)タスクに挑戦し続けている。 本研究では,22データセットの豊富なコレクションを用いて,ツイートに表される感情を識別する既存言語モデルの評価を行った。
  論文  参考訳（メタデータ） (2021-05-29T21:05:28Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。