論文の概要: Fine-tuning with Hierarchical Prompting for Robust Propaganda Classification Across Annotation Schemas

• arxiv url: http://arxiv.org/abs/2605.13663v1
• Date: Wed, 13 May 2026 15:19:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:28.129933
• Title: Fine-tuning with Hierarchical Prompting for Robust Propaganda Classification Across Annotation Schemas
• Title（参考訳）: アノテーションスキーマ間のロバストなプロパガンダ分類のための階層的プロンプトによる微調整
• Authors: Lukas Stähelin, Veronika Solopova, Max Upravitelev, David Kaplan, Ariana Sahitaj, Premtim Sahitaj, Charlott Jakob, Sebastian Möller, Vera Schmitt,
• Abstract要約: ソーシャルメディアでのプロパガンダ検出は、騒々しい、短いテキストと低いアノテーション契約のために困難である。 本稿では,プロパガンダ手法の意図に焦点をあてた新たな分類法を導入し,確立された高度なスキーマと比較する。 この結果は,弱いゼロショットベースラインを競合システムに変換するため,微調整が不可欠であることを示している。
• 参考スコア（独自算出の注目度）: 7.380400315626569
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Propaganda detection in social media is challenging due to noisy, short texts and low annotation agreements. We introduce a new intent-focused taxonomy of propaganda techniques and compare it against an established, higher-agreement schema. Along three dimensions (model portfolio, schema effects, and prompting strategy) we evaluate the taxonomies as a classification task with the help of four language models (GPT-4.1-nano, Phi-4 14B, Qwen2.5-14B, Qwen3-14B). Our results show that fine-tuning is essential, since it transforms weak zero-shot baselines into competitive systems and reveals methodological differences that are hidden using base models. Across schemas, the Qwen models achieve the strongest overall performance, and Phi-4 14B consistently outperforms GPT-4.1-nano. Our hierarchical prompting method (HiPP), which predicts fine-grained techniques before aggregating them, is especially beneficial after fine-tuning and on the more ambiguous, low-agreement taxonomy, while remaining competitive on the simpler schema. The HQP dataset, annotated with the new intent-based labels, provides a richer lens on propaganda's strategic goals and a challenging benchmark for future work on robust, real-world detection.
• Abstract（参考訳）: ソーシャルメディアでのプロパガンダ検出は、騒々しい、短いテキストと低いアノテーション契約のために困難である。 本稿では,プロパガンダ手法の意図に焦点をあてた新たな分類法を導入し,確立された高度なスキーマと比較する。 3次元(モデルポートフォリオ、スキーマエフェクト、プロンプト戦略)に沿って、分類を4つの言語モデル(GPT-4.1-nano、Phi-4 14B、Qwen2.5-14B、Qwen3-14B)の助けを借りて分類タスクとして評価する。 提案手法は,弱いゼロショットベースラインを競合システムに変換し,ベースモデルを用いて隠れた方法論的差異を明らかにするため,微調整が不可欠であることを示す。 スキーマ全体にわたって、Qwenモデルは最高性能を達成し、Phi-4 14BはGPT-4.1-nanoを一貫して上回っている。 階層的プロンプト法 (HiPP) は, より単純なスキーマで競合しながら, 微調整や, より曖昧で低アグレッシブな分類を行えば, 特に有益である。 HQPデータセットは、新しいインテントベースのラベルに注釈付けされ、プロパガンダの戦略的目標に関するよりリッチなレンズと、堅牢で現実的な検出に関する将来の作業のための挑戦的なベンチマークを提供する。

関連論文リスト

• GIANTS: Generative Insight Anticipation from Scientific Literature [84.95947892931142]
  本稿では、下流紙のコアインサイトを基礎となる親論文から予測する世代課題であるインサイト予測を導入する。 実測値と実測値の類似性を評価するLM判定器を用いてモデル評価を行い,これらの類似性スコアが有能な人間の評価値と相関していることを示す。 GIANTS-4Bは、強化学習(RL)を用いて訓練されたLMで、これらの類似度スコアをプロキシ報酬として用いた洞察予測を最適化する。
  論文  参考訳（メタデータ） (2026-04-10T18:13:55Z)
• Evaluating Prompting Strategies for Chart Question Answering with Large Language Models [2.243206998586006]
  本稿では, GPT-3.5, GPT-4, GPT-4oの4種類のプロンプトパラダイム(ゼロショット, フューショット, ゼロショットチェーン, フューショットチェーン)の体系的評価を行った。 本フレームワークは,構造化チャートデータのみを運用し,実験変数としてプロンプト構造を分離し,精度とエクササイズマッチングという2つの指標を用いて性能評価を行う。
  論文  参考訳（メタデータ） (2026-03-03T03:28:11Z)
• UM_FHS at TREC 2024 PLABA: Exploration of Fine-tuning and AI agent approach for plain language adaptations of biomedical text [3.223303935767146]
  TREC 2024 PLABA トラックへの投稿は,K8 レベルの学生 (13～14歳) を対象に, バイオメディカル・抽象化の簡易化を目的としている。 我々は,OpenAIのGPt-4oとGPt-4o-miniモデルを用いて,ベースラインプロンプトエンジニアリング,2AIエージェントアプローチ,微調整という3つのアプローチを検証した。 その結果、GPt-4o-miniモデルを用いた2エージェントアプローチとベースラインプロンプトエンジニアリングは質的性能が優れ、微調整モデルは精度と完全性に優れるが、より単純ではないことがわかった。
  論文  参考訳（メタデータ） (2025-02-19T23:07:16Z)
• Interpretable-by-Design Text Understanding with Iteratively Generated Concept Bottleneck [46.015128326688234]
  ブラックボックスのディープニューラルネットワークはテキスト分類に優れているが、ハイテイクドメインへの応用は、解釈可能性の欠如によって妨げられている。 本稿では,グローバルおよびローカルな説明を提供する本質的に解釈可能なテキスト分類フレームワークであるText Bottleneck Models (TBM)を提案する。
  論文  参考訳（メタデータ） (2023-10-30T15:41:32Z)
• Large Language Models for Propaganda Detection [2.587450057509126]
  本研究では,プロパガンダ検出におけるLarge Language Models(LLMs)の有効性について検討した。 GPT-3とGPT-4の5つのバリエーションが採用され、様々な迅速な技術と微調整戦略が取り入れられた。 以上の結果から, GPT-4は現在の最先端技術と同等の結果が得られた。
  論文  参考訳（メタデータ） (2023-10-10T08:46:10Z)
• Towards Reliable Misinformation Mitigation: Generalization, Uncertainty, and GPT-4 [5.313670352036673]
  GPT-4は,複数の設定や言語で先行手法より優れていることを示す。 本研究では,不可能な事例を検出し,その結果を強く改善する不確実性に対処する手法を提案する。 この研究は、偽情報と戦うために現実世界の進歩を促す将来のツールの基盤となる。
  論文  参考訳（メタデータ） (2023-05-24T09:10:20Z)
• Can GPT-4 Perform Neural Architecture Search? [56.98363718371614]
  ニューラルアーキテクチャサーチ(NAS)におけるGPT-4の可能性について検討する。 提案手法である textbfGPT-4 textbfEnhanced textbfNeural archtextbfItecttextbfUre textbfSearch (GENIUS) 我々は、いくつかのベンチマークでGENIUSを評価し、既存のNAS技術と比較し、その効果を実証した。
  論文  参考訳（メタデータ） (2023-04-21T14:06:44Z)
• Patch-Prompt Aligned Bayesian Prompt Tuning for Vision-Language Models [48.77653835765705]
  そこでは,まず下位分布から潜在ベクトルをサンプリングし,次に軽量な生成モデルを用いてラベル固有のプロンプトを階層的に生成する。 提案手法の有効性は,少数ショット画像認識,ベース・ツー・ニュージェネリゼーション,データセット転送学習,ドメインシフトの4つのタスクで評価する。
  論文  参考訳（メタデータ） (2023-03-16T06:09:15Z)
• News Summarization and Evaluation in the Era of GPT-3 [73.48220043216087]
  GPT-3は,大規模な要約データセット上で訓練された微調整モデルと比較する。 我々は,GPT-3サマリーが圧倒的に好まれるだけでなく,タスク記述のみを用いることで,現実性に乏しいようなデータセット固有の問題に悩まされることも示している。
  論文  参考訳（メタデータ） (2022-09-26T01:04:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。