論文の概要: Dynamic Backtracking in GFlowNets: Enhancing Decision Steps with Reward-Dependent Adjustment Mechanisms
- arxiv url: http://arxiv.org/abs/2404.05576v2
- Date: Tue, 9 Apr 2024 15:04:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 13:32:17.911439
- Title: Dynamic Backtracking in GFlowNets: Enhancing Decision Steps with Reward-Dependent Adjustment Mechanisms
- Title(参考訳): GFlowNetsにおける動的バックトラッキング:逆依存性調整機構による決定ステップの強化
- Authors: Shuai Guo, Jielei Chu, Lei Zhu, Tianrui Li,
- Abstract要約: 本稿では,新しいGFlowNets変種であるDynamic Backtracking GFN(DB-GFN)を紹介する。
DB-GFNは、現在の状態の報酬値に応じて、ネットワーク構築プロセス中にバックトラックを許可する。
生化学分子および遺伝物質配列の生成タスクに応用される。
- 参考スコア(独自算出の注目度): 15.13360725631644
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative Flow Networks (GFlowNets) are probabilistic models predicated on Markov flows, employing specific amortization algorithms to learn stochastic policies that generate compositional substances including biomolecules, chemical materials, and more. Demonstrating formidable prowess in generating high-performance biochemical molecules, GFlowNets accelerate the discovery of scientific substances, effectively circumventing the time-consuming, labor-intensive, and costly shortcomings intrinsic to conventional material discovery. However, previous work often struggles to accumulate exploratory experience and is prone to becoming disoriented within expansive sampling spaces. Attempts to address this issue, such as LS-GFN, are limited to local greedy searches and lack broader global adjustments. This paper introduces a novel GFlowNets variant, the Dynamic Backtracking GFN (DB-GFN), which enhances the adaptability of decision-making steps through a reward-based dynamic backtracking mechanism. DB-GFN permits backtracking during the network construction process according to the current state's reward value, thus correcting disadvantageous decisions and exploring alternative pathways during the exploration process. Applied to generative tasks of biochemical molecules and genetic material sequences, DB-GFN surpasses existing GFlowNets models and traditional reinforcement learning methods in terms of sample quality, exploration sample quantity, and training convergence speed. Furthermore, the orthogonal nature of DB-GFN suggests its potential as a powerful tool for future improvements in GFlowNets, with the promise of integrating with other strategies to achieve more efficient search performance.
- Abstract(参考訳): 生成フローネットワーク (Generative Flow Networks, GFlowNets) はマルコフフローを前提とした確率論的モデルであり, 生体分子, 化学材料などの構成物質を生成する確率論的ポリシーを学ぶために, 特定のアモーティゼーションアルゴリズムを用いている。
高性能な生化学分子の生成において、GFlowNetsは強大な進歩を実証し、科学物質の発見を加速し、従来の物質発見に固有の時間的、労働集約的でコストのかかる欠点を効果的に回避する。
しかし、以前の研究は探索的な経験の蓄積に苦しむことが多く、拡張的なサンプリング空間内では向かない傾向にある。
LS-GFNのようなこの問題に対処しようとする試みは、局所的な欲求検索に限定され、より広範なグローバルな調整が欠如している。
本稿では,報酬に基づく動的バックトラッキング機構を通じて意思決定ステップの適応性を向上する新しいGFlowNetの動的バックトラッキングGFN(DB-GFN)を提案する。
DB-GFNは、現在の状態の報酬値に従ってネットワーク構築プロセス中にバックトラックを許可し、不利な決定を訂正し、探索プロセス中に代替経路を探索する。
DB-GFNは、生化学分子および遺伝物質配列の生成タスクに応用され、サンプルの品質、探索サンプル量、トレーニング収束速度の観点から、既存のGFlowNetsモデルや従来の強化学習手法を超越している。
さらに、DB-GFNの直交的な性質は、GFlowNetsの将来的な改善のための強力なツールとしての可能性を示し、より効率的な検索性能を達成するために他の戦略と統合することを約束している。
関連論文リスト
- Attentional Graph Neural Networks for Robust Massive Network
Localization [20.416879207269446]
グラフニューラルネットワーク(GNN)は、機械学習における分類タスクの顕著なツールとして登場した。
本稿では,GNNとアテンション機構を統合し,ネットワークローカライゼーションという難解な非線形回帰問題に対処する。
我々はまず,厳密な非視線(NLOS)条件下でも例外的な精度を示すグラフ畳み込みネットワーク(GCN)に基づく新しいネットワークローカライゼーション手法を提案する。
論文 参考訳(メタデータ) (2023-11-28T15:05:13Z) - Evolutionary algorithms as an alternative to backpropagation for
supervised training of Biophysical Neural Networks and Neural ODEs [12.357635939839696]
本稿では,生物物理学に基づくニューラルネットワークの学習における「段階的推定」進化アルゴリズムの利用について検討する。
EAにはいくつかのアドバンテージがあり、直接BPよりも望ましいことが分かりました。
以上の結果から,生体物理学ニューロンはBP法の限界をテストする上で有用なベンチマークを提供する可能性が示唆された。
論文 参考訳(メタデータ) (2023-11-17T20:59:57Z) - Causal Inference in Gene Regulatory Networks with GFlowNet: Towards
Scalability in Large Systems [87.45270862120866]
我々は、GRNにおける因果構造学習を強化する新しいフレームワークとしてSwift-DynGFNを紹介した。
具体的には、Swift-DynGFNは、並列化を高め、計算コストを下げるために、遺伝子的に独立性を利用する。
論文 参考訳(メタデータ) (2023-10-05T14:59:19Z) - Pre-Training and Fine-Tuning Generative Flow Networks [61.90529626590415]
本稿では,GFlowNetの報酬なし事前学習のための新しいアプローチを提案する。
自己指導型問題としてトレーニングをフレーミングすることで,候補空間の探索を学習する結果条件付きGFlowNetを提案する。
事前学習したOC-GFNモデルにより、下流タスクにおける新しい報酬関数をサンプリングできるポリシーを直接抽出できることを示す。
論文 参考訳(メタデータ) (2023-10-05T09:53:22Z) - Stability Analysis of Non-Linear Classifiers using Gene Regulatory
Neural Network for Biological AI [2.0755366440393743]
二重層転写翻訳化学反応モデルを用いた遺伝子パーセプトロンの数学的モデルを構築した。
我々は全接続GRNNサブネットワーク内の各遺伝子パーセプトロンの安定性解析を行い、時間的および安定した濃度出力を決定する。
論文 参考訳(メタデータ) (2023-09-14T21:37:38Z) - Membrane Potential Distribution Adjustment and Parametric Surrogate
Gradient in Spiking Neural Networks [3.485537704990941]
この問題を回避し、SNNをゼロから訓練するために、SG戦略を調査し、適用した。
パラメトリックサロゲート勾配(PSG)法を提案し,SGを反復的に更新し,最終的に最適なサロゲート勾配パラメータを決定する。
実験結果から,提案手法は時間によるバックプロパゲーション(BPTT)アルゴリズムと容易に統合可能であることが示された。
論文 参考訳(メタデータ) (2023-04-26T05:02:41Z) - On Feature Learning in Neural Networks with Global Convergence
Guarantees [49.870593940818715]
勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。
入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。
また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
論文 参考訳(メタデータ) (2022-04-22T15:56:43Z) - A Genetic Algorithm with Tree-structured Mutation for Hyperparameter
Optimisation of Graph Neural Networks [8.02401104726362]
グラフニューラルネットワーク(GNN)は、グラフ関連の問題を処理する能力に優れており、注目を集めている。
実際には、高パラメータ最適化(HPO)は、GNNが満足な結果を得るために重要です。
本稿では,この問題を緩和するため,GAのための木構造変異戦略を提案する。
論文 参考訳(メタデータ) (2021-02-24T00:31:52Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z) - Bayesian Graph Neural Networks with Adaptive Connection Sampling [62.51689735630133]
グラフニューラルネットワーク(GNN)における適応接続サンプリングのための統一的なフレームワークを提案する。
提案フレームワークは,深部GNNの過度なスムース化や過度に適合する傾向を緩和するだけでなく,グラフ解析タスクにおけるGNNによる不確実性の学習を可能にする。
論文 参考訳(メタデータ) (2020-06-07T07:06:35Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳(メタデータ) (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。