論文の概要: A Theoretical Analysis of Analogy-Based Evolutionary Transfer Optimization

• arxiv url: http://arxiv.org/abs/2503.21156v1
• Date: Thu, 27 Mar 2025 04:49:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-28 12:54:16.648912
• Title: A Theoretical Analysis of Analogy-Based Evolutionary Transfer Optimization
• Title（参考訳）: アナロジーに基づく進化的移動最適化の理論解析
• Authors: Xiaoming Xue, Liang Feng, Yinglan Feng, Rui Liu, Kai Zhang, Kay Chen Tan,
• Abstract要約: アナログ推論を導入し,そのサブプロセスをETOの3つの重要な問題にリンクする。 我々は、サブプロセスの根底にある原理に根ざしたアナロジーに基づく知識伝達の理論を開発する。 本稿では,アナログに基づく知識伝達の性能向上,すなわち条件付き非負のパフォーマンス向上と条件付き正のパフォーマンス向上に関する2つの定理を提案する。
• 参考スコア（独自算出の注目度）: 22.185626881801234
• License:
• Abstract: Evolutionary transfer optimization (ETO) has been gaining popularity in research over the years due to its outstanding knowledge transfer ability to address various challenges in optimization. However, a pressing issue in this field is that the invention of new ETO algorithms has far outpaced the development of fundamental theories needed to clearly understand the key factors contributing to the success of these algorithms for effective generalization. In response to this challenge, this study aims to establish theoretical foundations for analogy-based ETO, specifically to support various algorithms that frequently reference a key concept known as similarity. First, we introduce analogical reasoning and link its subprocesses to three key issues in ETO. Then, we develop theories for analogy-based knowledge transfer, rooted in the principles that underlie the subprocesses. Afterwards, we present two theorems related to the performance gain of analogy-based knowledge transfer, namely unconditionally nonnegative performance gain and conditionally positive performance gain, to theoretically demonstrate the effectiveness of various analogy-based ETO methods. Last but not least, we offer a novel insight into analogy-based ETO that interprets its conditional superiority over traditional evolutionary optimization through the lens of the no free lunch theorem for optimization.
• Abstract（参考訳）: 進化的伝達最適化(ETO)は、最適化における様々な課題に対処する優れた知識伝達能力のために、長年にわたって研究で人気を集めてきた。 しかし、この分野では、新しいETOアルゴリズムの発明が、これらのアルゴリズムの成功に寄与する主要な要因を明確に理解するために必要な基本理論の開発をはるかに上回っている。 この課題に対して,本研究では,類似性として知られる重要な概念を頻繁に参照する様々なアルゴリズムをサポートするために,類似性に基づくETOの理論基盤を確立することを目的とする。 まず、アナログ推論を導入し、そのサブプロセスをETOの3つの重要な問題にリンクする。 そこで我々は,サブプロセスの根底にある原理に根ざした,類推に基づく知識伝達の理論を考案した。 その後、類推に基づく知識伝達の性能向上に関する2つの定理、すなわち無条件で非負のパフォーマンス向上と条件的に正のパフォーマンス向上を示し、様々な類推に基づくETO法の有効性を理論的に実証する。 最後に、我々は、アナログベースのETOに関する新しい洞察を提供し、これは従来の進化的最適化よりも条件的優位性を、最適化のための無料ランチ定理のレンズを通して解釈する。

関連論文リスト

• Optimistic Algorithms for Adaptive Estimation of the Average Treatment Effect [36.25361703897723]
  マルティンゲール理論の最近の進歩は、下流推論の力を高めるための適応的手法の道を開いた。 最適な因果推論手法を利用する適応的サンプリング手順について検討する。 本研究は,理論・実践における適応因果推論手法の進歩の歩みを示すものである。
  論文  参考訳（メタデータ） (2025-02-07T05:39:32Z)
• A Theoretical Review on Solving Algebra Problems [4.622321386568335]
  本稿では、まず状態変換理論(STT)を開発し、問題解アルゴリズムは状態や変換に応じて構造化されていることを強調する。 この構造は、単語と図形代数学の問題を解くための関係中心のアルゴリズムに適合する。
  論文  参考訳（メタデータ） (2024-10-29T08:16:49Z)
• See Further for Parameter Efficient Fine-tuning by Standing on the Shoulders of Decomposition [56.87609859444084]
  パラメータ効率の細かいチューニング(PEFT)は、パラメータの選択したサブセットを最適化し、残りを固定し、計算とストレージのオーバーヘッドを大幅に削減することに焦点を当てている。 分解の観点からそれらを分離することで、すべてのアプローチを統一する第一歩を踏み出します。 本稿では,PEFT技術の性能向上を目的とした,単純かつ効果的なフレームワークとともに,新しい2つのPEFT手法を提案する。
  論文  参考訳（メタデータ） (2024-07-07T15:44:42Z)
• Bridging the Gap Between Theory and Practice: Benchmarking Transfer Evolutionary Optimization [31.603211545949414]
  本稿では,ビッグデータタスクインスタンスの3つの重要な側面(ボリューム,多様性,速度)に基づいて分類された文献からの問題を統合する,実用的なTrEOベンチマークスイートのパイオニアとなる。 我々の主な目的は、既存のTrEOアルゴリズムを包括的に分析し、実践的な課題に取り組むための新しいアプローチを開発するための道を開くことである。
  論文  参考訳（メタデータ） (2024-04-20T13:34:46Z)
• Iterative Preference Learning from Human Feedback: Bridging Theory and Practice for RLHF under KL-Constraint [56.74058752955209]
  本稿では,RLHFによる強化学習を用いた生成モデルのアライメント過程について検討する。 まず、オフラインPPOやオフラインDPOのような既存の一般的な手法の主な課題を、環境の戦略的探索に欠如していると認識する。 有限サンプル理論保証を用いた効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-18T18:58:42Z)
• Improving Energy Conserving Descent for Machine Learning: Theory and Practice [0.0]
  我々は,エネルギーコンドネッサンス理論(ECD)を開発し,凸非保存問題に対処可能な勾配に基づく最適化アルゴリズムであるECDSepを導入する。
  論文  参考訳（メタデータ） (2023-06-01T05:15:34Z)
• Provable Reward-Agnostic Preference-Based Reinforcement Learning [61.39541986848391]
  PbRL(Preference-based Reinforcement Learning)は、RLエージェントが、軌道上のペアワイドな嗜好に基づくフィードバックを用いてタスクを最適化することを学ぶパラダイムである。 本稿では,隠れた報酬関数の正確な学習を可能にする探索軌道を求める理論的報酬非依存PbRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:00:09Z)
• Hierarchical Optimization-Derived Learning [58.69200830655009]
  我々は,最適化モデル構築の本質的な動作とそれに対応する学習過程を同時に研究するために,階層型ODL(Hyerarchical ODL)という新しいフレームワークを構築した。 これは、最適化と学習という2つの結合されたODLコンポーネントに対する最初の理論的保証である。
  論文  参考訳（メタデータ） (2023-02-11T03:35:13Z)
• Towards KAB2S: Learning Key Knowledge from Single-Objective Problems to Multi-Objective Problem [8.049958323732362]
  ETOは、進化計算における過去の問題の解決から、関連する経験と知識のゼロ再利用という伝統的なパラダイムを克服する。 ETOによるスケジューリングでは、インテリジェントなスケジューリングとグリーンスケジューリングの両方のために、非常に魅力的で競争性の高いフレームワーク"ミーティング"が形成される。
  論文  参考訳（メタデータ） (2022-06-26T15:36:05Z)
• Towards Principled Disentanglement for Domain Generalization [90.9891372499545]
  機械学習モデルの根本的な課題は、アウト・オブ・ディストリビューション(OOD)データへの一般化である。 私たちはまず、DEC(Disentanglement-Constrained Domain Generalization)と呼ばれる制約付き最適化としてOOD一般化問題を定式化する。 この変換に基づいて、結合表現の不絡合と領域一般化のための原始双対アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-11-27T07:36:32Z)
• A Theoretical Framework for Target Propagation [75.52598682467817]
  我々は、バックプロパゲーション(BP)の代替として人気があるが、まだ完全には理解されていないターゲット伝搬(TP)を解析する。 提案理論は,TPがガウス・ニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。 我々は,フィードバックウェイトトレーニングを改善する新しいリコンストラクション損失を通じて,この問題に対する第1の解決策を提供する。
  論文  参考訳（メタデータ） (2020-06-25T12:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。