論文の概要: Don't Just Demo, Teach Me the Principles: A Principle-Based Multi-Agent Prompting Strategy for Text Classification

• arxiv url: http://arxiv.org/abs/2502.07165v1
• Date: Tue, 11 Feb 2025 01:10:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:10:16.738902
• Title: Don't Just Demo, Teach Me the Principles: A Principle-Based Multi-Agent Prompting Strategy for Text Classification
• Title（参考訳）: 単なるデモではなく,原則を教える - テキスト分類のための原則に基づくマルチエージェントプロンプト戦略
• Authors: Peipei Wei, Dimitris Dimitriadis, Yan Xu, Mingwei Shen,
• Abstract要約: 本稿では,テキスト分類のための簡易かつ効果的なマルチエージェントプロンプトであるPRINCIPLE-BASED PROMPINGを提案する。 提案手法はマクロF1スコアでのゼロショットプロンプトよりも大きなパフォーマンス向上(1.55%から19.37%)を達成する。 我々のマルチエージェント PRINCIPLE-BASED PROMPING アプローチは、実演ベースの少数ショットプロンプトアプローチと比較して、オンパーまたはより良いパフォーマンスを示す。
• 参考スコア（独自算出の注目度）: 4.811763060654019
• License:
• Abstract: We present PRINCIPLE-BASED PROMPTING, a simple but effective multi-agent prompting strategy for text classification. It first asks multiple LLM agents to independently generate candidate principles based on analysis of demonstration samples with or without labels, consolidates them into final principles via a finalizer agent, and then sends them to a classifier agent to perform downstream classification tasks. Extensive experiments on binary and multi-class classification datasets with different sizes of LLMs show that our approach not only achieves substantial performance gains (1.55% - 19.37%) over zero-shot prompting on macro-F1 score but also outperforms other strong baselines (CoT and stepback prompting). Principles generated by our approach help LLMs perform better on classification tasks than human crafted principles on two private datasets. Our multi-agent PRINCIPLE-BASED PROMPTING approach also shows on-par or better performance compared to demonstration-based few-shot prompting approaches, yet with substantially lower inference costs. Ablation studies show that label information and the multi-agent cooperative LLM framework play an important role in generating high-quality principles to facilitate downstream classification tasks.
• Abstract（参考訳）: 本稿では,テキスト分類のための簡易かつ効果的なマルチエージェントプロンプトであるPRINCIPLE-BASED PROMPINGを提案する。 まず、複数のLDMエージェントに、ラベルの有無にかかわらず、デモサンプルの分析に基づいて、独立して候補原則を生成させ、ファイナライザエージェントを介して最終原則に統合し、次にそれらを分類エージェントに送信し、下流の分類タスクを実行する。 LLMの異なる二分級および多クラス分類データセットに対する大規模な実験により、我々のアプローチは、マクロF1スコアでのゼロショットプロンプトよりも大きなパフォーマンス向上(1.55%から19.37%)を達成するだけでなく、他の強力なベースライン(CoTとステッピングバックプロンプト)よりも優れていることが示された。 このアプローチによって生成された原則は、LLMが2つのプライベートデータセット上で人間が作成した原則よりも、分類タスクにおいて優れたパフォーマンスを発揮するのに役立ちます。 我々のマルチエージェント PRINCIPLE-BASED PROMPING アプローチは、実演ベースの少数ショットプロンプトアプローチと比較して、オンパーまたはより良いパフォーマンスを示すが、推論コストはかなり低い。 ラベル情報とマルチエージェント協調LLMフレームワークは,下流の分類作業を容易にするために,高品質な原則を生成する上で重要な役割を担っている。

関連論文リスト

• Improve LLM-based Automatic Essay Scoring with Linguistic Features [46.41475844992872]
  本稿では,多様なプロンプトにまたがってエッセイを処理できるスコアリングシステムを開発した。 既存のメソッドは通常、2つのカテゴリに分類される: 教師付き特徴ベースのアプローチと、大きな言語モデル(LLM)ベースの方法。
  論文  参考訳（メタデータ） (2025-02-13T17:09:52Z)
• MME-Survey: A Comprehensive Survey on Evaluation of Multimodal LLMs [97.94579295913606]
  MLLM(Multimodal Large Language Models)は、産業と学術の両方から注目を集めている。 開発プロセスでは、モデルの改善に関する直感的なフィードバックとガイダンスを提供するため、評価が重要である。 この研究は、研究者に異なるニーズに応じてMLLMを効果的に評価する方法を簡単に把握し、より良い評価方法を促すことを目的としている。
  論文  参考訳（メタデータ） (2024-11-22T18:59:54Z)
• Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning [71.2981957820888]
  本稿では,データセット間のデータ品質向上を自動化する新しいStar-Agentsフレームワークを提案する。 このフレームワークは最初,複数のLDMエージェントを用いた多様なインストラクションデータを生成する。 生成したデータは、難易度と品質の両方を評価する二重モデル法を用いて厳密な評価を行う。
  論文  参考訳（メタデータ） (2024-11-21T02:30:53Z)
• SkillAggregation: Reference-free LLM-Dependent Aggregation [14.46141987797362]
  大規模言語モデル(LLM)は、NLPタスクの評価にますます使用される。 最近の研究は、審査員が性能を向上させるために複数のLLMを使うことを示唆している。 この研究は、参照ラベルが使用できない複数のシステムからの予測を集約することに焦点を当てている。
  論文  参考訳（メタデータ） (2024-10-14T07:13:47Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• LLMEmbed: Rethinking Lightweight LLM's Genuine Function in Text Classification [13.319594321038926]
  本稿では,この古典的だが挑戦的な課題に対処するために,LLMEmbedという,シンプルで効果的なトランスファー学習戦略を提案する。 その結果,LLMEmbedはトレーニングのオーバーヘッドを低く抑えながら,高い性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2024-06-06T03:46:59Z)
• Automated Commit Message Generation with Large Language Models: An Empirical Study and Beyond [24.151927600694066]
  コミットメッセージ生成(CMG)アプローチは、与えられたコード差分に基づいてコミットメッセージを自動的に生成することを目的としている。 本稿では,Large Language Models (LLMs) を用いて高品質なコミットメッセージの生成にどの程度の期間を費やしてきたかを調べるための,最初の包括的な実験を行う。
  論文  参考訳（メタデータ） (2024-04-23T08:24:43Z)
• Routing to the Expert: Efficient Reward-guided Ensemble of Large Language Models [69.51130760097818]
  本研究では,報奨誘導型ルーティング手法であるZooterを提案する。 さまざまなドメインやタスクについて26のサブセットを持つ総合的なベンチマークコレクション上でZooterを評価する。
  論文  参考訳（メタデータ） (2023-11-15T04:40:43Z)
• Towards LLM-based Fact Verification on News Claims with a Hierarchical Step-by-Step Prompting Method [9.099277246096861]
  本稿では,大規模事前学習型言語モデル (LLM) とコンテキスト内学習 (ICL) を併用して,ニュースクレームの検証を行う。 階層的なステップ・バイ・ステップ(HiSS)のプロンプト手法を導入し,LLMに対して複数のサブ文を分割し,複数の問合せを段階的に検証する手法を提案する。 2つの公開誤報データセットの実験結果から、HiSSのプロンプトは最先端の完全教師付きアプローチと強力な数発のICL対応ベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2023-09-30T08:33:04Z)
• LLMRec: Benchmarking Large Language Models on Recommendation Task [54.48899723591296]
  推奨領域におけるLarge Language Models (LLMs) の適用について, 十分に検討されていない。 我々は、評価予測、シーケンシャルレコメンデーション、直接レコメンデーション、説明生成、レビュー要約を含む5つのレコメンデーションタスクにおいて、市販のLLMをベンチマークする。 ベンチマークの結果,LLMは逐次的・直接的推薦といった精度に基づくタスクにおいて適度な熟練度しか示さないことがわかった。
  論文  参考訳（メタデータ） (2023-08-23T16:32:54Z)
• CSS-LM: A Contrastive Framework for Semi-supervised Fine-tuning of Pre-trained Language Models [59.49705076369856]
  プレトレーニング言語モデル(PLM)の微調整フェーズを改善するための新しいフレームワークを提案する。 大規模未ラベルコーパスから,タスクに対するドメインレベルおよびクラスレベルの意味的関連性に応じて,正および負のインスタンスを検索する。 次に、検索したラベル付きおよびオリジナルラベル付きの両方のインスタンスに対して、対照的な半教師付き学習を行い、PLMが重要なタスク関連セマンティックな特徴をキャプチャするのを助ける。
  論文  参考訳（メタデータ） (2021-02-07T09:27:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。