論文の概要: Multi-Stage Evolutionary Model Merging with Meta Data Driven Curriculum Learning for Sentiment-Specialized Large Language Modeling

• arxiv url: http://arxiv.org/abs/2601.06780v1
• Date: Sun, 11 Jan 2026 05:12:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:00.979858
• Title: Multi-Stage Evolutionary Model Merging with Meta Data Driven Curriculum Learning for Sentiment-Specialized Large Language Modeling
• Title（参考訳）: 知覚特化大言語モデリングのための多段階進化モデルとメタデータ駆動型カリキュラム学習
• Authors: Keito Inoshita, Xiaokang Zhou, Akira Kawai,
• Abstract要約: メタデータ駆動型カリキュラム学習(MEM-MCL)を用いた多段階進化モデル統合というハイブリッド学習モデルを提案する。 特に、専門家モデルは、特定の感情タスクのチューニングチューニングを通じて作成され、その後進化的アルゴリズムを用いて統合されたモデルを形成する。 実験の結果,提案したMEM-MCLモデルは感情分析タスクの大部分において従来のLCMよりも優れていた。
• 参考スコア（独自算出の注目度）: 10.924362579539173
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The emergence of large language models (LLMs) has significantly transformed natural language processing (NLP), enabling more generalized models to perform various tasks with minimal training. However, traditional sentiment analysis methods, which focus on individual tasks such as sentiment classification or aspect-based analysis, are not practical for real-world applications that usually require handling multiple tasks. While offering flexibility, LLMs in sentiment-specific tasks often fall short of the required accuracy. Techniques like fine-tuning and evolutionary model merging help integrate models into a unified framework, which can improve the learning performance while reducing computational costs. The use of task meta-data and curriculum learning to optimize learning processes remains underexplored, while sentiment analysis is a critical task in NLP that requires high accuracy and scalability across multiple subtasks. In this study, we propose a hybrid learning model called Multi-stage Evolutionary Model Merging with Meta data driven Curriculum Learning (MEM-MCL), to enhance the sentiment analysis in large language modeling. In particular, expert models are created through instruction tuning for specific sentiment tasks and then merged using evolutionary algorithms to form a unified model. The merging process is optimized with weak data to enhance performance across tasks. The curriculum learning is incorporated to provide a learning sequence based on task difficulty, improving knowledge extraction from LLMs. Experiment results demonstrate that the proposed MEM-MCL model outperforms conventional LLMs in a majority of sentiment analysis tasks, achieving superior results across various subtasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)の出現は、自然言語処理(NLP)を大きく変化させ、より一般化されたモデルは、最小限のトレーニングで様々なタスクを実行できるようになった。 しかし、感情分類やアスペクトベース分析のような個々のタスクに焦点を当てた従来の感情分析手法は、通常複数のタスクを扱う必要がある現実のアプリケーションには実用的ではない。 柔軟性を提供する一方で、感情特異的なタスクのLLMは、要求される正確さに欠けることが多い。 微調整や進化的モデルの統合のような技術は、モデルを統一されたフレームワークに統合し、計算コストを削減しながら学習性能を向上させる。 タスクメタデータとカリキュラム学習を学習プロセスの最適化に用いながら、感情分析は複数のサブタスクにまたがって高い精度とスケーラビリティを必要とするNLPにおいて重要なタスクである。 本研究では,多段階進化モデルとメタデータ駆動型カリキュラム学習(MEM-MCL)というハイブリッド学習モデルを提案する。 特に、専門家モデルは、特定の感情タスクのチューニングチューニングを通じて作成され、その後進化的アルゴリズムを用いて統合されたモデルを形成する。 マージプロセスは、タスク間でのパフォーマンスを向上させるために、弱いデータで最適化されている。 カリキュラム学習は、課題難易度に基づいて学習シーケンスを提供するために組み込まれ、LLMからの知識抽出を改善する。 実験の結果,提案したMEM-MCLモデルは感情分析タスクの大部分において従来のLLMよりも優れており,様々なサブタスクにおいて優れた結果が得られた。

関連論文リスト

• OptMerge: Unifying Multimodal LLM Capabilities and Modalities via Model Merging [124.91183814854126]
  モデルマージは、複数のエキスパートモデルをひとつのモデルに組み合わせようとしている。 本稿ではMLLMのトレーニングと評価のタスクを明確に分割したモデルマージ研究のベンチマークを紹介する。 モデルマージは、トレーニングデータを必要とせずに改善されたMLLMを構築するための有望な方法であることがわかった。
  論文  参考訳（メタデータ） (2025-05-26T12:23:14Z)
• Large Language Model as Meta-Surrogate for Data-Driven Many-Task Optimization: A Proof-of-Principle Study [11.452011929848844]
  本研究では,マルチタスク最適化を支援するメタサロゲートフレームワークを提案する。 問題群に適合するメタデータを持つ普遍モデルを定義することにより、多タスクフィットネス予測のための統一的なフレームワークを定式化する。 我々のフレームワークは、双対レベルの知識伝達 -- 代理レベルと個別レベルの両方 -- をサポートし、最適化の効率性と堅牢性を高めます。
  論文  参考訳（メタデータ） (2025-03-11T11:13:11Z)
• Learning to Learn with Contrastive Meta-Objective [48.27877062976768]
  本稿では,メタトレーニングにおけるタスクアイデンティティのさらなる監視として活用することを提案する。 提案したConMLは、対照的なメタオブジェクトの評価と最適化を行っている。 我々は、ConMLが既存のメタ学習モデルだけでなく、既存のメタ学習モデルとシームレスに統合できることを実証した。
  論文  参考訳（メタデータ） (2024-10-08T12:22:10Z)
• Dynamic Adaptive Optimization for Effective Sentiment Analysis Fine-Tuning on Large Language Models [0.0]
  大規模言語モデル(LLM)は、マルチタスク学習を利用して特定のタスクを同時に処理することで、感情分析の一般的なパラダイムとなっている。 動的適応最適化(DAO)モジュールを用いた新しいマルチタスク学習フレームワークを提案する。 この研究は、平均二乗誤差(MSE)と精度(ACC)を、以前の研究と比べてそれぞれ15.58%、1.24%改善した。
  論文  参考訳（メタデータ） (2024-08-15T19:13:38Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。