論文の概要: Lifelong Learning for Neural powered Mixed Integer Programming
- arxiv url: http://arxiv.org/abs/2208.12226v1
- Date: Wed, 24 Aug 2022 09:05:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-26 14:05:19.628670
- Title: Lifelong Learning for Neural powered Mixed Integer Programming
- Title(参考訳): ニューラルネットワークを用いた混合整数計画のための生涯学習
- Authors: Sahil Manchanda, Sayan Ranu
- Abstract要約: 混合プログラム(MIP)は、通常ブランチ・アンド・バウンド・アルゴリズムによって解決される。
本稿では,二部グラフの分岐形式でMIPインスタンスをモデル化するアイデアを取り入れたLIMIPを提案する。
我々は,NP-hard問題に対するLIMIPの評価を行い,既存のベースラインと比較すると,生涯学習に直面すると,LIMIPが最大50%向上することが確認された。
- 参考スコア(独自算出の注目度): 6.297356207581819
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mixed Integer programs (MIPs) are typically solved by the Branch-and-Bound
algorithm. Recently, Learning to imitate fast approximations of the expert
strong branching heuristic has gained attention due to its success in reducing
the running time for solving MIPs. However, existing learning-to-branch methods
assume that the entire training data is available in a single session of
training. This assumption is often not true, and if the training data is
supplied in continual fashion over time, existing techniques suffer from
catastrophic forgetting. In this work, we study the hitherto unexplored
paradigm of Lifelong Learning to Branch on Mixed Integer Programs. To mitigate
catastrophic forgetting, we propose LIMIP, which is powered by the idea of
modeling an MIP instance in the form of a bipartite graph, which we map to an
embedding space using a bipartite Graph Attention Network. This rich embedding
space avoids catastrophic forgetting through the application of knowledge
distillation and elastic weight consolidation, wherein we learn the parameters
key towards retaining efficacy and are therefore protected from significant
drift. We evaluate LIMIP on a series of NP-hard problems and establish that in
comparison to existing baselines, LIMIP is up to 50% better when confronted
with lifelong learning.
- Abstract(参考訳): 混合整数プログラム(mips)は一般に分岐・境界アルゴリズムによって解かれる。
近年,MIPの解決に要する実行時間を短縮することに成功したため,専門家の強い分岐ヒューリスティックの高速近似を模倣する学習が注目されている。
しかし、既存の学習とブランチの手法では、トレーニングデータ全体が単一のトレーニングセッションで利用できると仮定している。
この仮定はしばしば真実ではなく、トレーニングデータが連続的に供給された場合、既存のテクニックは破滅的な忘れがちである。
本研究では,混合整数プログラムの分岐に対する生涯学習の未探索パラダイムについて検討する。
破滅的な忘れを緩和するために,二部グラフの形でMIPインスタンスをモデル化し,二部グラフアテンションネットワークを用いて埋め込み空間にマップするLIMIPを提案する。
このリッチな埋め込み空間は、知識蒸留と弾性重み付けの応用による破滅的な忘れ込みを回避し、有効性を維持するためのパラメーターを学習し、したがって大きなドリフトから保護される。
我々は,NP-hard問題に対するLIMIPの評価を行い,既存のベースラインと比較すると,生涯学習に直面すると,LIMIPが最大50%向上することが確認された。
関連論文リスト
- Flashback: Understanding and Mitigating Forgetting in Federated Learning [7.248285042377168]
フェデレートラーニング(FL)では、忘れたり、ラウンド全体で知識が失われたりすると、ハマーズアルゴリズムが収束する。
我々は,新たな知識獲得の過程で,忘れをきめ細かく測定し,認識を確実にする指標を導入する。
本稿では,局所的なモデルを正規化し,その知識を効果的に集約する動的蒸留手法を用いたFLアルゴリズムであるFlashbackを提案する。
論文 参考訳(メタデータ) (2024-02-08T10:52:37Z) - Scalable Federated Unlearning via Isolated and Coded Sharding [76.12847512410767]
フェデレートされたアンラーニングは、クライアントレベルのデータエフェクトを削除するための有望なパラダイムとして登場した。
本稿では,分散シャーディングと符号化コンピューティングに基づく,スケーラブルなフェデレーション・アンラーニング・フレームワークを提案する。
論文 参考訳(メタデータ) (2024-01-29T08:41:45Z) - Deep Ensembles Meets Quantile Regression: Uncertainty-aware Imputation
for Time Series [49.992908221544624]
時系列データは、しばしば多くの欠落した値を示し、これは時系列計算タスクである。
従来の深層学習法は時系列計算に有効であることが示されている。
本研究では,不確実性のある高精度な計算を行う非生成時系列計算法を提案する。
論文 参考訳(メタデータ) (2023-12-03T05:52:30Z) - Provably Efficient Representation Learning with Tractable Planning in
Low-Rank POMDP [81.00800920928621]
部分的に観測可能なマルコフ決定過程(POMDP)における表現学習の研究
まず,不確実性(OFU)に直面した最大推定(MLE)と楽観性を組み合わせた復調性POMDPのアルゴリズムを提案する。
次に、このアルゴリズムをより広範な$gamma$-observable POMDPのクラスで機能させる方法を示す。
論文 参考訳(メタデータ) (2023-06-21T16:04:03Z) - On the Soft-Subnetwork for Few-shot Class Incremental Learning [67.0373924836107]
本稿では,emphSoft-SubNetworks (SoftNet) と呼ばれる数発のクラスインクリメンタルラーニング(FSCIL)手法を提案する。
私たちの目的はセッションの連続を漸進的に学習することであり、各セッションは、以前に学習したセッションの知識を保持しながら、クラス毎にいくつかのトレーニングインスタンスのみを含む。
我々は、ベンチマークデータセットよりも最先端のベースラインのパフォーマンスを超越して、SoftNetが数発のインクリメンタル学習問題に効果的に取り組むことを示す、総合的な実証検証を提供する。
論文 参考訳(メタデータ) (2022-09-15T04:54:02Z) - Branch Ranking for Efficient Mixed-Integer Programming via Offline
Ranking-based Policy Learning [45.1011106869493]
オフライン強化学習(RL)問題として分岐学習を定式化する。
オフラインポリシー学習を通じてブランチランキングと呼ばれるブランチモデルをトレーニングします。
合成MIPベンチマークと実世界のタスクの実験は、ブランチランクがより効率的で堅牢であることを示している。
論文 参考訳(メタデータ) (2022-07-26T15:34:10Z) - Continual Learning with Guarantees via Weight Interval Constraints [18.791232422083265]
ニューラルネットパラメータ空間の間隔制約を適用して、忘れを抑える新しいトレーニングパラダイムを導入する。
本稿では,モデルの連続的学習をパラメータ空間の連続的縮約として再構成することで,忘れることに制限を加える方法を示す。
論文 参考訳(メタデータ) (2022-06-16T08:28:37Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳(メタデータ) (2021-11-28T19:03:39Z) - Minimum-Delay Adaptation in Non-Stationary Reinforcement Learning via
Online High-Confidence Change-Point Detection [7.685002911021767]
非定常環境におけるポリシーを効率的に学習するアルゴリズムを導入する。
これは、リアルタイム、高信頼な変更点検出統計において、潜在的に無限のデータストリームと計算を解析する。
i) このアルゴリズムは, 予期せぬ状況変化が検出されるまでの遅延を最小限に抑え, 迅速な応答を可能にする。
論文 参考訳(メタデータ) (2021-05-20T01:57:52Z) - Learn-Prune-Share for Lifelong Learning [25.678753894026357]
本稿では,破滅的な忘れ,パシモニー,知識再利用の課題を同時に解決する学習規則共有(LPS)アルゴリズムを提案する。
LPSはADMMベースのプルーニング戦略を通じて、ネットワークをタスク固有のパーティションに分割する。
これにより忘れられなくなり、パルシモニーは維持される。
論文 参考訳(メタデータ) (2020-12-13T04:05:16Z) - Sample-Efficient Reinforcement Learning of Undercomplete POMDPs [91.40308354344505]
この研究は、これらの硬度障壁が、部分観測可能決定過程(POMDP)の豊かで興味深いサブクラスに対する効率的な強化学習を妨げないことを示している。
提案手法は, 観測回数が潜伏状態の数よりも大きく, 探索が学習に不可欠であり, 先行研究と区別できるような, エピソード有限不完全POMDPに対するサンプル効率アルゴリズムOOM-UCBを提案する。
論文 参考訳(メタデータ) (2020-06-22T17:58:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。