論文の概要: Evolutionary Soups: Evolving Mixture-of-Experts for Multi-Objective LLM Alignment

• arxiv url: http://arxiv.org/abs/2608.29978v1
• Date: Sun, 30 Aug 2026 19:09:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.139211
• Title: Evolutionary Soups: Evolving Mixture-of-Experts for Multi-Objective LLM Alignment
• Title（参考訳）: 進化的スープ:多目的LLMアライメントのためのミックス・オブ・エキスパートの進化
• Abstract要約: 大規模言語モデルは、競合する複数の目的を満たす応答を生成するためにますます必要となる。 本稿では,進化的アルゴリズムを用いて学習したゲーティングネットワークを用いた微細な生成のためのフレームワークであるEvolutionary Soupsを提案する。 3つのタスクにわたる実験は、ベースラインを越えて進化的スープの有効性を示す。
• 参考スコア（独自算出の注目度）: 14.899821854922434
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large language models are increasingly required to generate responses that satisfy multiple competing objectives. Since optimal trade-offs depend on both user preferences and input prompts, controllable multi-objective generation must dynamically adapt models at inference time without retraining. To address this, we propose Evolutionary Soups, a mixture-of-experts framework for fine-grained generation control, with gating networks trained via an evolutionary algorithm. The per-layer gating networks dynamically produce expert-merging coefficients from hidden-state representations, while the evolutionary algorithm incorporates greedy hypervolume contribution for effective evolution of these gating networks, achieving consistent improvements on large and noisy training datasets and broader coverage of the non-convex Pareto front. Experiments across three tasks demonstrate the effectiveness of Evolutionary Soups over baselines: it achieves the best hypervolume, linear utility, and Tchebyshev utility (~20% improvement) among controllable methods on all tasks.
• Abstract（参考訳）: 大規模言語モデルは、競合する複数の目的を満たす応答を生成するためにますます必要となる。 最適トレードオフは、ユーザの好みと入力のプロンプトの両方に依存するため、制御可能な多目的生成は、再トレーニングなしに推論時にモデルを動的に適応させなければならない。 そこで本研究では、進化的アルゴリズムを用いて学習したゲーティングネットワークを用いて、粒度の細かい生成制御のための実験用混合フレームワークであるEvolutionary Soupsを提案する。 階層ごとのゲーティングネットワークは隠れ状態表現からエキスパートマージ係数を動的に生成する一方、進化的アルゴリズムはこれらのゲーティングネットワークを効果的に進化させるために、グレディーなハイパーボリュームコントリビューションを取り入れ、大規模でノイズの多いトレーニングデータセットに対する一貫した改善と、非凸パレートフロントの広範なカバレッジを達成する。 3つのタスクにまたがる実験は、ベースラインよりも進化的スープの有効性を示す。全てのタスクにおいて制御可能なメソッドの中で、最高のハイパーボリューム、線形ユーティリティ、およびTchebyshevユーティリティ(約20%の改善)を達成する。

関連論文リスト

• Self-Evolving Memory for Generative Recommendation [100.15207958893029]
  生成的レコメンデーションは、パーソナライズされたレコメンデーションのための有望なエンドツーエンドパラダイムとして登場した。 継続的再訓練や蒸留に基づく適応といった既存の進化戦略は、共有モデルパラメータを直接更新する。 本稿では,異種行動パターン間の効果的な進化を実現することを目的とした,自己進化型メモリパラダイムを提案する。
  論文  参考訳（メタデータ） (2026-09-14T14:00:38Z)
• GALA: Generative Aligned Learning for Adaptive Multimodal Representation in the Taobao Shangou Recommender System [4.96441528622156]
  GALAは,ユーザの行動からマルチモーダルな事前学習データを構築し,変換に基づく報酬によって洗練する3段階パイプラインである。 GALAはTaobao Shangouのプロダクション環境にデプロイされ、毎日2億人のアクティブユーザを提供している。 一貫性のあるオフラインゲインを+0.12/+0.20 AUCで提供し、PCOCの指標も改善した。
  論文  参考訳（メタデータ） (2026-07-31T09:32:01Z)
• Co-Evolved Spiking Neural Network Ensembles via Marginal Contribution Fitness [0.0]
  共進化的なアンサンブルは、各ネットワークのグループパフォーマンスへの限界貢献によって定義される適合度によって進化する。 分類,回帰,制御タスクに対するアプローチを,$Caspianのニューロモルフィックハードウェア制約下で評価した。
  論文  参考訳（メタデータ） (2026-06-12T00:04:06Z)
• EvoSelect: Data-Efficient LLM Evolution for Targeted Task Adaptation [79.71802168256542]
  大きな言語モデル(LLM)を目的のタスクに効率的に、効果的に適応させることは、根本的な課題である。 1つの簡単なアプローチは、外部ジェネレータを通じて候補データを合成する反復的な生成訓練ループである。 モデル更新に先立って選択ステップを組み込んだ改良パラダイム,すなわち反復生成選択学習ループを導入する。
  論文  参考訳（メタデータ） (2026-04-28T23:26:16Z)
• Neural Network Optimization Reimagined: Decoupled Techniques for Scratch and Fine-Tuning [49.751529745537546]
  我々はDualOptを提案する。DualOptは、スクラッチからトレーニングに適した最適化技術を分離する新しいアプローチである。 スクラッチからのトレーニングでは、収束と一般化の両面を強化するために設計されたリアルタイムな層ワイド・ウェイト・デポジットを導入する。 我々は、異なる下流タスクの様々な要求に適応して、レイヤ単位の重量減衰を拡張して、レイヤ間のロールバックレベルを動的に調整する。
  論文  参考訳（メタデータ） (2026-04-21T06:27:18Z)
• A Hierarchical Importance-Guided Multi-objective Evolutionary Framework for Deep Neural Network Pruning [0.0]
  本稿では,大規模多目的最適化問題を再検討する階層的重要客観的枠組みを提案する。 提案手法は,大規模多目的最適化問題を解くために,スケーラブルな進化的アプローチに寄与する。
  論文  参考訳（メタデータ） (2026-04-01T16:08:42Z)
• AdaEvolve: Adaptive LLM Driven Zeroth-Order Optimization [61.535567824938205]
  本稿では,LLMによる進化を階層的適応最適化問題として再構成するフレームワークであるAdaEvolveを紹介する。 AdaEvolveは185の異なるオープンエンド最適化問題において、オープンエンドベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-02-23T18:45:31Z)
• OmniVL-Guard: Towards Unified Vision-Language Forgery Detection and Grounding via Balanced RL [63.388513841293616]
  既存の偽造検出手法は、現実世界の誤報に多いインターリーブされたテキスト、画像、ビデオを扱うのに失敗する。 このギャップを埋めるため,本論文では,オムニバス・ビジョン言語による偽造検出と接地のための統一フレームワークの開発を目標としている。 我々は、OmniVL-Guardという、オムニバス視覚言語による偽造検出と接地のためのバランスの取れた強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-11T09:41:36Z)
• Towards Robust Universal Perturbation Attacks: A Float-Coded, Penalty-Driven Evolutionary Approach [10.211523683826004]
  UAP(Universal Adversarial noise perturbations)は、ディープニューラルネットワークを弱体化させる能力によって、大きな注目を集めている。 このような摂動を生成するための単一目的駆動型フレームワークを導入する。 筆者らのフレームワークは, 従来手法に比べて, サイズが小さく, 誤分類効率が高く, 高速な摂動を常に生成している。
  論文  参考訳（メタデータ） (2026-01-18T23:31:12Z)
• Controlled Self-Evolution for Algorithmic Code Optimization [33.82967000330864]
  自己進化的手法は、反復的な"生成-検証-精細"サイクルを通じてコード生成を強化する。 既存のアプローチでは、限られた予算内で優れた複雑さを持つソリューションを見つけることができません。 本稿では3つのキーコンポーネントからなる制御自己進化(CSE)を提案する。
  論文  参考訳（メタデータ） (2026-01-12T09:23:13Z)
• Improving Deepfake Detection with Reinforcement Learning-Based Adaptive Data Augmentation [60.04281435591454]
  CRDA(Curriculum Reinforcement-Learning Data Augmentation)は、マルチドメインの偽造機能を段階的にマスターするための検出器を導く新しいフレームワークである。 私たちのアプローチの中心は、強化学習と因果推論を統合することです。 提案手法は検出器の一般化性を大幅に向上し,複数のクロスドメインデータセット間でSOTA法より優れている。
  論文  参考訳（メタデータ） (2025-11-10T12:45:52Z)
• Multi-Agent Collaboration via Evolving Orchestration [55.574417128944226]
  大規模言語モデル(LLM)は、様々な下流タスクで顕著な成果を上げているが、そのモノリシックな性質は複雑な問題解決におけるスケーラビリティと効率を制限している。 LLMに基づくマルチエージェントコラボレーションのためのパウチスタイルのパラダイムを提案し,タスク状態の進化に応じて,中央集権的なオーケストレータ("puppeteer")がエージェント("puppets")を動的に指示する。 クローズドドメインおよびオープンドメインシナリオの実験により,この手法は計算コストを低減し,優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2025-05-26T07:02:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。