論文の概要: Adaptive Hybrid Particle Swarm Optimization with Gradient Descent
- arxiv url: http://arxiv.org/abs/2608.11258v1
- Date: Fri, 07 Aug 2026 14:47:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.310678
- Title: Adaptive Hybrid Particle Swarm Optimization with Gradient Descent
- Title(参考訳): グラディエント染料を用いた適応型ハイブリッド粒子群最適化
- Abstract要約: Adaptive Hybrid PSOは、Swarmの多様性に関するシグモノイド関数を使用して、勾配の影響を自動的に変調する。
PSOはAHPSOの20%に対して40のコンフィグレーションの52.5%を獲得した。
AHPSO-AdadeltaはCMA-ESを含む9つの手法の1つである。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Gradient injection helps Particle Swarm Optimization (PSO) only when the swarm has identified a basin with smooth local structure, not universally. We propose Adaptive Hybrid PSO (AHPSO), which uses a sigmoid function on swarm diversity to automatically modulate gradient influence: near-zero during exploration, near-maximum during exploitation, with no manual phase-switching. Under budget-normalized comparison (PSO given equivalent total function evaluations), PSO wins 52.5% of 40 configurations versus AHPSO's 20% (p = 7.0e-5, Friedman). AHPSO retains advantage specifically on problems with smooth local basins (F8, F24-F27) where directed descent outperforms undirected sampling even at equal cost. Under iteration-matched comparison across 29 functions (42 configurations, 14,700 runs), AHPSO-Adadelta ranks first of 9 methods including CMA-ES (p = 9.75e-4). The contribution is a principled characterization of when gradient injection provides value in swarm-based search, not a claim of universal superiority.
- Abstract(参考訳): グラディエント・インジェクションは、粒子群最適化(PSO)において、スワムが局所構造がスムーズな盆地を同定した場合にのみ有効である。
本研究では,Swarmの多様性に関するシグモノイド関数を用いて,探索中のほぼゼロ,実施時の最大付近,手動の位相スイッチングのない適応ハイブリッドPSO(AHPSO)を提案する。
予算正規化比較(PSOが同等の総関数評価を与えられた場合)では、PSOはAHPSOの20%(p = 7.0e-5, Friedman)に対して40構成の52.5%を獲得した。
AHPSOはスムーズな局所盆地(F8, F24-F27)の問題に特に有利であり、同じコストでも無方向サンプリングに優れる。
29の関数(42のコンフィグレーション、14,700ラン)に対する反復整合比較では、AHPSO-AdadeltaはCMA-ES (p = 9.75e-4)を含む9つのメソッドのうち1位である。
この貢献は、勾配注入がSwarmベースの探索に価値を提供するときの原則的特徴であり、普遍的な優越性の主張ではない。
関連論文リスト
- Accelerating HKTex without Mesh Eigensystems: Local Unfolding and Randomized Thermal Features [6.982826908488488]
HeatOpt Textures (HKTex) は内在性異方性核を持つ表面の外観を表すが、50個の大域ラプラス・ベルトラミ固有分解体を用いて評価する。
LocalHKは、トレーニングされたカーネルの局所性を測定し、半径境界ヒンジ展開によるスペクトル評価を置き換える。
熱RFは離散異方性熱半群を保存する。
論文 参考訳(メタデータ) (2026-09-12T19:03:52Z) - SS-ESOAP: Self-Scaled Adaptive Preconditioning for Physics-Informed Learning [70.71795707610961]
メソッドは、Kronecker幾何に適応したスカラーセマントエネルギー補正でSOAPスタイルのプレコンディショニングを強化する。
メソッドは8つのPDEベンチマークのうち6つで最下位の残差に達する。
4つの代表PDEの3列の$L2$と$H1$エラーは、低い残差と改善された解精度の間のリンクをサポートする。
論文 参考訳(メタデータ) (2026-08-29T21:34:47Z) - SPSA Hyperparameter Tuning for Variational Quantum Natural Language Inference [0.0]
変分量子モデルの訓練には、パラメータシフト勾配と同時摂動近似のどちらかを選択する必要がある。
その結果,2サンプルSPSA勾配推定は40エポックにおける60パラメータの信頼性最適化に過度にばらつきがあることが判明した。
論文 参考訳(メタデータ) (2026-08-11T16:39:36Z) - MAGE: Understanding Stability-Performance Trade-offs in Multi-component Prompt Optimization [3.7323766833175718]
MAGE(Memory-Augmented Goal Prompt Evolution)は、コンポーネント間の相互作用を即時最適化する制御分析フレームワークである。
我々の実験は、複数の最適化信号が閉じた反射ループ内で動作しているときに、以前に報告されていない現象である、Prompt Optimization Coupling Effect (POCE)を発見した。
論文 参考訳(メタデータ) (2026-07-11T10:05:58Z) - Optimizing Large Language Models for Causality Assessment in Pharmacovigilance: Developing a Performance Metric as Objective for Bayesian Hyperparameter Optimization [0.48861336570452174]
我々はGP互換の最適化目標を開発し、温度最適化が因果分類合意を改善するかどうかを検討する。
症例特異的な温度選択は有意義な改善をもたらし、LLM補助薬局の温度最適化を支援した。
論文 参考訳(メタデータ) (2026-07-04T04:49:14Z) - HARP: Hadamard-Preconditioned Adaptive Rotation Processor for Extreme LLM Quantization [48.87937677659571]
本稿では, HARP (Hadamard-preconditioned Adaptive Rotation Processor) を導入する。
1Bから70Bまでのモデルの2-4ビット設定では、HARPは固定RHTよりもパープレキシティとゼロショット精度を改善している。
HarPはデプロイ効率を保ち、FP16では128トン/秒、61トン/秒に達する。
論文 参考訳(メタデータ) (2026-05-28T12:24:15Z) - When Does Synthetic Patent Data Help? Volume-Fidelity Trade-offs in Low-Resource Multi-Label Classification [0.0]
BERT-for-PatentsのマイクロF1の改良は,主に体積効果を反映していることが示されている。
生のマイクロF1における分類性能を+0.58まで向上させるコーパスは、ジャカードオーバーラップ検索プロキシに悪影響を及ぼす可能性がある。
論文 参考訳(メタデータ) (2026-05-22T23:49:52Z) - AGPO: Adaptive Group Policy Optimization with Dual Statistical Feedback [23.471458230700776]
本稿では,GRPOの批判のない改良であるAdaptive Group Policy Optimization (AGPO)を提案する。
AGPOは、(i)アダプティブクリッピング(adaptive clipping)、(i)アダプティブクリッピング(adaptive clipping)、(i)アダプティブ領域のサイズを報酬分散と歪、プローブ投票エントロピー、ポリシーエントロピー、ステップワイズKLドリフトから設定する。
9つの英語と中国語の数学/STEMベンチマークで、Qwen2.5-14BはAGPOで訓練され、PPO/GRPOを同じ予算で上回った。
論文 参考訳(メタデータ) (2026-05-20T05:20:46Z) - Function-Space Decoupled Diffusion for Forward and Inverse Modeling in Carbon Capture and Storage [65.51149575007149]
本稿では,Fun-DDPSについて述べる。Fun-DDPSは,関数空間拡散モデルと微分可能なニューラル演算子サロゲートを結合した生成フレームワークである。
Fun-DDPSは、ジョイントステートベースラインで観察される高周波アーティファクトから、物理的に一貫した実現をもたらす。
論文 参考訳(メタデータ) (2026-02-12T18:58:12Z) - ESSA: Evolutionary Strategies for Scalable Alignment [8.418036456622158]
我々は,前向き推論とブラックボックス最適化のみを用いて,Large Language Models (LLM) を整列する勾配のないフレームワークであるESSAを提案する。
ESSAはQwen2.5-Math-7Bのテスト精度をGSM8Kで12.6%、PRM800Kで14.8%改善し、IFEvalでLLaMA3.1-8Bの精度を22.5%向上させた。
大規模な設定では、ESSAは勾配ベースの方法よりもスケーリングが強い。
論文 参考訳(メタデータ) (2025-07-06T16:23:07Z) - Scalable Reinforcement Post-Training Beyond Static Human Prompts: Evolving Alignment via Asymmetric Self-Play [52.3079697845254]
evaは、オフラインとオンラインのRLポストトレーニングの両方で、言語モデルがトレーニングプロンプトを適応的に作成できるようにする最初の方法である。
我々は,エバが有効なRLキュリキュラを作成でき,アブレーションにまたがって堅牢であることを示す。
論文 参考訳(メタデータ) (2024-10-31T08:15:32Z) - Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。
本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。
我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
論文 参考訳(メタデータ) (2024-05-01T17:59:20Z) - Optimization of Discrete Parameters Using the Adaptive Gradient Method
and Directed Evolution [49.1574468325115]
最適解の探索は、個人の集団によって行われる。
適応していない個体は死に、最適な個体は交配し、結果として進化力学が導かれた。
論文 参考訳(メタデータ) (2024-01-12T15:45:56Z) - Optimal Scaling for Locally Balanced Proposals in Discrete Spaces [65.14092237705476]
離散空間におけるMetropolis-Hastings (M-H) アルゴリズムの効率は、対象分布に依存しない受容率によって特徴づけられることを示す。
最適受容率の知識は、連続空間におけるステップサイズ制御と直接的に類似して、離散空間における提案分布の近傍サイズを自動的に調整することを可能にする。
論文 参考訳(メタデータ) (2022-09-16T22:09:53Z) - The Power of Adaptivity in SGD: Self-Tuning Step Sizes with Unbounded
Gradients and Affine Variance [46.15915820243487]
AdaGrad-Normは$mathcalOleftのオーダー最適収束を示す。
AdaGrad-Normは$mathcalOleftのオーダー最適収束を示す。
論文 参考訳(メタデータ) (2022-02-11T17:37:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。