論文の概要: Advancing Automated Knowledge Transfer in Evolutionary Multitasking via Large Language Models

• arxiv url: http://arxiv.org/abs/2409.04270v1
• Date: Fri, 6 Sep 2024 13:25:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-09 15:44:50.411727
• Title: Advancing Automated Knowledge Transfer in Evolutionary Multitasking via Large Language Models
• Title（参考訳）: 大規模言語モデルによる進化的マルチタスクにおける知識伝達の自動化
• Authors: Yuxiao Huang, Xuebin Lv, Shenghao Wu, Jibin Wu, Liang Feng, Kay Chen Tan,
• Abstract要約: 大規模言語モデル(LLM)は、自律プログラミングにおいて顕著な成功を収めた。 本研究では,知識伝達モデルを生成する自律型モデルファクトリを構築するために,LLMに基づく最適化パラダイムを導入する。
• 参考スコア（独自算出の注目度）: 23.28000489481192
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evolutionary Multi-task Optimization (EMTO) is a paradigm that leverages knowledge transfer across simultaneously optimized tasks for enhanced search performance. To facilitate EMTO's performance, various knowledge transfer models have been developed for specific optimization tasks. However, designing these models often requires substantial expert knowledge. Recently, large language models (LLMs) have achieved remarkable success in autonomous programming, aiming to produce effective solvers for specific problems. In this work, a LLM-based optimization paradigm is introduced to establish an autonomous model factory for generating knowledge transfer models, ensuring effective and efficient knowledge transfer across various optimization tasks. To evaluate the performance of the proposed method, we conducted comprehensive empirical studies comparing the knowledge transfer model generated by the LLM with existing state-of-the-art knowledge transfer methods. The results demonstrate that the generated model is able to achieve superior or competitive performance against hand-crafted knowledge transfer models in terms of both efficiency and effectiveness.
• Abstract（参考訳）: 進化的マルチタスク最適化(Evolutionary Multi-task Optimization、EMTO)は、探索性能を向上させるために同時に最適化されたタスク間の知識伝達を利用するパラダイムである。 EMTOの性能向上のために,特定の最適化タスクのための知識伝達モデルが開発されている。 しかし、これらのモデルを設計するには、しばしばかなりの専門知識が必要である。 近年,大規模言語モデル (LLM) が自律プログラミングにおいて顕著な成功を収め,特定の問題に対する効果的な解法の実現を目指している。 本研究では,LLMに基づく最適化パラダイムを導入し,知識伝達モデルを生成する自律型モデルファクトリを構築し,様々な最適化タスクにおける効率的かつ効率的な知識伝達を実現する。 提案手法の性能を評価するため,LLMが生成する知識伝達モデルと既存の知識伝達手法を比較した総合的研究を行った。 その結果,手作りの知識伝達モデルに対して,効率と効率の両面から優れた,あるいは競争的な性能を達成できることが示唆された。

関連論文リスト

• KBAlign: Efficient Self Adaptation on Specific Knowledge Bases [75.78948575957081]
  大規模言語モデル(LLM)は通常、知識材料を瞬時に活用するために、検索強化世代に依存している。 本稿では,知識ベースを含む下流タスクへの効率的な適応を目的としたKBAlignを提案する。 提案手法は,Q&Aペアやリビジョン提案などの自己注釈付きデータを用いて反復学習を行い,モデルが知識内容を効率的に把握できるようにする。
  論文  参考訳（メタデータ） (2024-11-22T08:21:03Z)
• Enhancing the Reasoning Ability of Multimodal Large Language Models via Mixed Preference Optimization [65.64108848398696]
  本稿では,MLLMのマルチモーダル推論能力を高めるための選好最適化プロセスを提案する。 我々は,マルチモーダルCoT性能を向上する,MPO(Mixed Preference Optimization)と呼ばれるシンプルで効果的な手法を開発した。 我々のモデルであるInternVL2-8B-MPOは、MathVista上で67.0の精度を実現し、InternVL2-8Bを8.7ポイント上回り、10倍のInternVL2-76Bに匹敵する性能を達成する。
  論文  参考訳（メタデータ） (2024-11-15T18:59:27Z)
• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• DODT: Enhanced Online Decision Transformer Learning through Dreamer's Actor-Critic Trajectory Forecasting [37.334947053450996]
  本稿では,Dreamerアルゴリズムの予測軌道生成能力とオンライン決定変換器の適応強度を組み合わせた新しい手法を提案する。 提案手法は,Dreamer-produced trajectories が変換器の文脈決定を促進させる並列学習を可能にする。
  論文  参考訳（メタデータ） (2024-10-15T07:27:56Z)
• On the Modeling Capabilities of Large Language Models for Sequential Decision Making [52.128546842746246]
  大規模な事前訓練されたモデルでは、推論や計画タスクのパフォーマンスがますます向上している。 我々は、直接的または間接的に、意思決定ポリシーを作成する能力を評価する。 未知の力学を持つ環境において、合成データを用いた微調整LDMが報酬モデリング能力を大幅に向上させる方法について検討する。
  論文  参考訳（メタデータ） (2024-10-08T03:12:57Z)
• Automating Traffic Model Enhancement with AI Research Agent [4.420199777075044]
  Traffic Research Agent(TR-Agent)は、交通モデルを自律的に開発・洗練するAI駆動システムである。 TR-Agentは、複数のトラフィックモデルで大幅なパフォーマンス向上を実現している。 研究とコラボレーションをさらに支援するため、私たちは実験で使用されるコードとデータの両方をオープンソース化しました。
  論文  参考訳（メタデータ） (2024-09-25T12:42:25Z)
• MMEvol: Empowering Multimodal Large Language Models with Evol-Instruct [148.39859547619156]
  我々は,新しいマルチモーダル命令データ進化フレームワークであるMMEvolを提案する。 MMEvolは、きめ細かい知覚、認知的推論、相互作用の進化の洗練された組み合わせによって、データ品質を反復的に改善する。 提案手法は,9つのタスクにおいて,最先端モデルに比べて有意に少ない精度でSOTA(State-of-the-art)性能を実現する。
  論文  参考訳（メタデータ） (2024-09-09T17:44:00Z)
• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• Large Language Model Agent as a Mechanical Designer [7.136205674624813]
  本研究では,FEMモジュールと事前学習LLMを統合する新しい手法を提案する。 FEMモジュールはそれぞれの設計を評価し、重要なフィードバックを提供し、LLMにドメイン固有のトレーニングを必要とせずに継続的に学習し、計画し、生成し、設計を最適化するよう指示する。 その結果, LLMをベースとしたエージェントは, 自然言語仕様に準拠したトラスを最大90%の確率で生成できることがわかった。
  論文  参考訳（メタデータ） (2024-04-26T16:41:24Z)
• SHiFT: An Efficient, Flexible Search Engine for Transfer Learning [16.289623977712086]
  トランスファーラーニングは、スクラッチからトレーニングモデルのデータと計算効率の代替品と見なすことができる。 本稿では,トランスファー学習のための第1のダウンストリームタスク認識,フレキシブル,効率的なモデル検索エンジンであるSHiFTを提案する。
  論文  参考訳（メタデータ） (2022-04-04T13:16:46Z)
• Simultaneously Evolving Deep Reinforcement Learning Models using Multifactorial Optimization [18.703421169342796]
  この研究は、関連する強化学習タスクの解決に向けて、複数のDQLモデルを同時に進化させることのできるフレームワークを提案する。 フレームワークの性能を評価するために、徹底的な実験を行い、議論する。
  論文  参考訳（メタデータ） (2020-02-25T10:36:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。