論文の概要: Beyond Fine-Tuning: Evaluating Prompt Engineering and Prompt Tuning for Roman Urdu Hate Speech Detection

• arxiv url: http://arxiv.org/abs/2611.04342v1
• Date: Tue, 03 Nov 2026 05:27:20 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:37:56.733521
• Title: Beyond Fine-Tuning: Evaluating Prompt Engineering and Prompt Tuning for Roman Urdu Hate Speech Detection
• Title（参考訳）: ファインチューニングを超えて:ローマ・ウルドゥー・ヘイト音声検出のためのプロンプトエンジニアリングとプロンプトチューニングの評価
• Abstract要約: 本研究は,ローマ・ウルドゥー語ヘイトスピーチ検出のための即時エンジニアリングと即時チューニングを体系的に比較する。 GPT-3.5, LLaMA-3, Mistral-7B, Multilingual BERT を用いた PURUT データセット (72,771 のソーシャルメディアコメント) で実験を行った。
• 参考スコア（独自算出の注目度）: 0.3436215734071903
• License:
• Abstract: Low Resource Languages (LRLs) pose significant challenges for hate speech detection because of a scarcity of readily available annotated data, language variation, non-standard spelling, and context-dependent ambiguity. Beyond the problem of informal conventions of writing in Roman Urdu, there is also the issue of code-mixing. After working on the previous project about zero-shot learning and parameter-efficient fine-tuning (PEFT), this research systematically compares prompt engineering and prompt tuning for Roman Urdu hate speech detection. To study the effect of in-context examples, we will compare the zero-shot and few-shot prompting approaches. To understand the advantage of structured prompting and learnable prompt representations, we will conduct studies of manual vs. mixed prompt-based adaptation strategies. Experimentations are carried out on the PURUT dataset (~72,771 social media comments) with GPT-3.5, LLaMA-3, Mistral-7B, and multilingual BERT in several settings. Experimental results show that few-shot prompting always outperforms zero-shot prompting, with the Mistral-7B model scoring 0.67 F1 compared to 0.56 of the zero-shot models. Based on this observation, prompt-based adaptation is proposed to introduce additional improvements, with the proposed mixed prompt configuration able to yield a F1-score up to 0.87 which further surpasses the performance of regular manual prompts. Despite the larger size of the model, its performance trade-off between inference-based prompting, prompt optimization, and parameter-efficient model adaptation is compared to the previously reported PEFT-based F1-score, which is ~0.93.
• Abstract（参考訳）: 低リソース言語(LRL)は、容易に利用できる注釈付きデータの不足、言語の変化、標準でない綴り、文脈に依存した曖昧さのために、ヘイトスピーチ検出に重大な課題を提起する。 ローマ・ウルドゥー語で非公式に書かれた慣例の問題以外にも、コードミキシングの問題もある。 ゼロショット学習とパラメータ効率の微調整(PEFT)に関する以前のプロジェクトに取り組んだ後、この研究は素早い工学とローマ・ウルドゥー語ヘイトスピーチ検出のための素早いチューニングを体系的に比較した。 文脈内サンプルの効果を調べるため、ゼロショットと少数ショットのプロンプト手法の比較を行う。 構造化されたプロンプトと学習可能なプロンプト表現の利点を理解するため、手動と混合プロンプトベースの適応戦略の研究を行う。 GPT-3.5、LLaMA-3、Mistral-7B、多言語BERTを用いてPURUTデータセット(約72,771のソーシャルメディアコメント)で実験を行った。 実験の結果、ゼロショットのプロンプトは常にゼロショットのプロンプトよりも優れており、ミストラル-7Bは0ショットの0.56に比べて0.67 F1と評価された。 この観測に基づいて、プロンプトベースの適応によりさらなる改良が提案され、提案された混合プロンプト構成によりF1スコアを最大0.87まで得ることができ、通常の手動プロンプトの性能をさらに上回る。 モデルのサイズが大きくなるにもかかわらず、推論ベースのプロンプト、プロンプト最適化、パラメータ効率のモデル適応のパフォーマンスのトレードオフは、以前報告されたPEFTベースのF1スコアと比較される。

関連論文リスト

• Hate Speech Classification In Roman Urdu: A Comparative Study On Parameter Efficient Fine-Tuning And Prompt Engineering [0.0]
  ローマン・ウルドゥー語(Ro-man Urdu)は、パキスタンや世界中のウルドゥー語圏で使われている低資源言語である。 本研究では,限られたデータを用いた低リソース環境下でのヘイトスピーチ分類において,最も効果的な手法を特定することを目的とする。
  論文  参考訳（メタデータ） (2026-08-10T13:56:48Z)
• Efficient Adaptation of LLMs for Hate Speech Detection in Low-Resource Languages: A Comparative Study on Roman Urdu [0.3436215734071903]
  低資源言語(LRL)におけるヘイトスピーチの検出は、注釈付きデータがないこと、言語構造が非公式であること、標準化された文法がないことなどから困難である。 本研究の目的は,ローマ・ウルドゥー文字におけるHate Speech Detection (HSD) のためのLarge Language Models (LLMs) の包括的な評価を行うことである。 PURUTT(Parallel UrduとRoman Urdu Corpus for Toxic Comments and Transliteration)データセットで72,000以上の注釈付きコメントで実験が行われた。
  論文  参考訳（メタデータ） (2026-08-06T11:28:19Z)
• From Flows to Words: Can Zero-/Few-Shot LLMs Detect Network Intrusions? A Grammar-Constrained, Calibrated Evaluation on UNSW-NB15 [0.41998444721319217]
  大規模言語モデル(LLM)は自然言語入力を推論できるが、微調整なしでの侵入検出におけるそれらの役割は未だ不明である。 本研究では、各ネットワークフローをコンパクトなテキストレコードに変換し、軽量でドメインにインスパイアされたフラグで拡張することで、プロンプトオンリーなアプローチを評価する。 ゼロショット,命令誘導,スプリットショットを比較して,同一のスプリット下での強い神経ベースライン,精度,精度,リコール,F1,マクロスコアを比較した。
  論文  参考訳（メタデータ） (2025-10-18T02:11:50Z)
• Ensuring Reproducibility in Generative AI Systems for General Use Cases: A Framework for Regression Testing and Open Datasets [0.0]
  汎用ユースケースの回帰テストを実行するベンチマークであるGPR-benchを紹介する。 より新しいモデルは一般的に正確性を改善するが、違いは控えめで統計的に有意ではない。 対照的に、簡潔な命令は簡潔さを著しく向上させ、迅速なエンジニアリングの有効性を実証する。
  論文  参考訳（メタデータ） (2025-05-02T12:31:43Z)
• SPARC: Score Prompting and Adaptive Fusion for Zero-Shot Multi-Label Recognition in Vision-Language Models [74.40683913645731]
  Zero-shot Multi-label Recognition (MLR) with Vision-Language Models (VLMs) は、トレーニングデータ、モデルチューニング、アーキテクチャの変更なしに重要な課題に直面している。 我々の研究は、VLMをブラックボックスとして扱い、トレーニングデータや地上の真実を使わずにスコアを活用する新しいソリューションを提案する。 これらのプロンプトスコアの分析により、VLMバイアスとAND'/OR信号の曖昧さが明らかになり、特に、最高スコアは2番目に高いスコアに比べて驚くほど低い。
  論文  参考訳（メタデータ） (2025-02-24T07:15:05Z)
• Improving Sampling Methods for Fine-tuning SentenceBERT in Text Streams [49.3179290313959]
  本研究では,選択的な微調整言語モデルの設計した7つのテキストサンプリング手法の有効性について検討した。 これらの手法がSBERTモデルの微調整に与える影響を, 4つの異なる損失関数を用いて正確に評価する。 その結果,テキストストリームの分類にはソフトマックスの損失とバッチ・オール・トリプレットの損失が特に有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-18T23:41:52Z)
• MetricPrompt: Prompting Model as a Relevance Metric for Few-shot Text Classification [65.51149771074944]
  MetricPromptは、数発のテキスト分類タスクをテキストペア関連性推定タスクに書き換えることで、言語設計の難易度を緩和する。 広範に使われている3つのテキスト分類データセットを4つのショット・セッティングで実験する。 結果から,MetricPromptは,手動弁証法や自動弁証法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-06-15T06:51:35Z)
• Prompt-Tuning Can Be Much Better Than Fine-Tuning on Cross-lingual Understanding With Multilingual Language Models [95.32691891392903]
  本稿では,プロンプトチューニングを用いた様々なNLUタスクの言語間評価を行い,それを微調整と比較する。 その結果, アクシデントチューニングは, データセット間の微調整よりもはるかに優れた言語間移動を実現することがわかった。
  論文  参考訳（メタデータ） (2022-10-22T05:48:02Z)
• Prompt Consistency for Zero-Shot Task Generalization [118.81196556175797]
  本稿では,ラベルのないデータを用いてゼロショット性能を向上させる手法について検討する。 具体的には,複数のプロンプトを使ってひとつのタスクを指定できることを利用して,プロンプトの一貫性を規則化する手法を提案する。 我々のアプローチは、4つのNLPタスクにまたがる11のデータセットのうち9つにおいて、最先端のゼロショット学習者であるT0を精度で最大10.6の絶対点で上回ります。
  論文  参考訳（メタデータ） (2022-04-29T19:18:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。