論文の概要: CAMBranch: Contrastive Learning with Augmented MILPs for Branching
- arxiv url: http://arxiv.org/abs/2402.03647v1
- Date: Tue, 6 Feb 2024 02:47:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 16:56:22.022398
- Title: CAMBranch: Contrastive Learning with Augmented MILPs for Branching
- Title（参考訳）: CAMBranch: ブランチのための拡張MILPによるコントラスト学習
- Authors: Jiacheng Lin, Meng Xu, Zhihua Xiong, Huangang Wang
- Abstract要約: 本稿では,従来のMILPから限られた専門家データに可変シフトを適用することで,AMILP(Augmented MILP)を生成するフレームワークを提案する。
結果は、完全なデータセットの10%しかトレーニングされていないCAMBranchが、優れたパフォーマンスを示していることを示している。
- 参考スコア（独自算出の注目度）: 5.216027167816416
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advancements have introduced machine learning frameworks to enhance
the Branch and Bound (B\&B) branching policies for solving Mixed Integer Linear
Programming (MILP). These methods, primarily relying on imitation learning of
Strong Branching, have shown superior performance. However, collecting expert
samples for imitation learning, particularly for Strong Branching, is a
time-consuming endeavor. To address this challenge, we propose
\textbf{C}ontrastive Learning with \textbf{A}ugmented \textbf{M}ILPs for
\textbf{Branch}ing (CAMBranch), a framework that generates Augmented MILPs
(AMILPs) by applying variable shifting to limited expert data from their
original MILPs. This approach enables the acquisition of a considerable number
of labeled expert samples. CAMBranch leverages both MILPs and AMILPs for
imitation learning and employs contrastive learning to enhance the model's
ability to capture MILP features, thereby improving the quality of branching
decisions. Experimental results demonstrate that CAMBranch, trained with only
10\% of the complete dataset, exhibits superior performance. Ablation studies
further validate the effectiveness of our method.
- Abstract（参考訳）: 最近の進歩は、Mixed Integer Linear Programming(MILP)を解決するためのブランチとバウンド(B\&B)ブランチポリシーを強化する機械学習フレームワークを導入している。
これらの手法は主にStrong Branchingの模倣学習に依存しており、優れた性能を示している。
しかし、模倣学習、特に強い分岐のための専門家サンプルの収集は時間のかかる努力である。
この課題に対処するために,従来のMILPから限られた専門家データへの可変シフトを適用することで,Augmented MILP(AMILP)を生成するフレームワークであるCAMBranchに対して, \textbf{A}ugmented \textbf{M}ILPsを用いた学習を提案する。
このアプローチは、かなりの数のラベル付きエキスパートサンプルの取得を可能にする。
CAMBranchはMILPとAMILPの両方を模倣学習に利用し、対照的な学習を用いてMILPの特徴を捉え、分岐決定の質を向上させる。
実験の結果、完全なデータセットの10\%でトレーニングされたcambranchは優れた性能を示すことがわかった。
アブレーション研究は我々の方法の有効性をさらに検証する。
関連論文リスト
- CLLMFS: A Contrastive Learning enhanced Large Language Model Framework for Few-Shot Named Entity Recognition [3.695767900907561]
CLLMFSは、Few-Shot Named Entity RecognitionのためのContrastive LearningEnhanced Large Language Modelフレームワークである。
Low-Rank Adaptation (LoRA)と、数発のNER用に特別に調整された対照的な学習メカニズムを統合している。
提案手法は,F1スコアの現行性能を2.58%から97.74%まで向上させた。
論文 参考訳（メタデータ） (2024-08-23T04:44:05Z) - Diversifying the Expert Knowledge for Task-Agnostic Pruning in Sparse Mixture-of-Experts [75.85448576746373]
本稿では,モデルのパラメータ効率を向上させるために,類似の専門家をグループ化し,グループ化する方法を提案する。
提案手法の有効性を3つの最先端MoEアーキテクチャを用いて検証する。
評価の結果,本手法は自然言語タスクにおいて,他のモデルプルーニング手法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2024-07-12T17:25:02Z) - Representation Learning For Efficient Deep Multi-Agent Reinforcement Learning [10.186029242664931]
我々は,MARL訓練を補完するために考案された総合表現学習の形式を適用したMAPO-LSOを提案する。
特に、MAPO-LSOは遷移力学再構成と自己予測学習のマルチエージェント拡張を提案する。
実験の結果,MAPO-LSOはバニラMARLと比較して,サンプル効率と学習性能の顕著な向上を示した。
論文 参考訳（メタデータ） (2024-06-05T03:11:44Z) - Deep Boosting Learning: A Brand-new Cooperative Approach for Image-Text Matching [53.05954114863596]
画像テキストマッチングのための新しいDeep Boosting Learning (DBL)アルゴリズムを提案する。
アンカーブランチは、まずデータプロパティに関する洞察を提供するために訓練される。
ターゲットブランチは、一致したサンプルと未一致のサンプルとの相対距離をさらに拡大するために、より適応的なマージン制約を同時に課される。
論文 参考訳（メタデータ） (2024-04-28T08:44:28Z) - Compresso: Structured Pruning with Collaborative Prompting Learns
Compact Large Language Models [15.471290825100075]
我々はCompressoと呼ばれる大規模言語モデルを構築するための新しいパラダイムを導入する。
提案手法は,資源効率の高いプルーニングアルゴリズムとLLM自体の協調により,学習過程における最適プルーニング決定を学習する。
実験では、Compressoは様々な空間比でワンショットプルーニングベースラインを著しく上回り、それぞれ2.21%、11.43%、7.04%、および4.81%のスコアをコモンセンス推論、読解理解、MMLU、BBHベンチマークで達成している。
論文 参考訳（メタデータ） (2023-10-08T05:16:28Z) - MA2CL:Masked Attentive Contrastive Learning for Multi-Agent
Reinforcement Learning [128.19212716007794]
我々はtextbfMulti-textbfAgent textbfMasked textbfAttentive textbfContrastive textbfLearning (MA2CL) という効果的なフレームワークを提案する。
MA2CLは、潜伏空間におけるマスクされたエージェント観察を再構築することにより、時間的およびエージェントレベルの予測の両方の学習表現を奨励する。
提案手法は,様々なMARLアルゴリズムの性能とサンプル効率を大幅に向上させ,様々な視覚的,状態的シナリオにおいて,他の手法よりも優れる。
論文 参考訳（メタデータ） (2023-06-03T05:32:19Z) - Reinforcement Learning for Branch-and-Bound Optimisation using
Retrospective Trajectories [72.15369769265398]
機械学習は分岐のための有望なパラダイムとして登場した。
分岐のための単純かつ効果的なRLアプローチであるレトロ分岐を提案する。
我々は現在最先端のRL分岐アルゴリズムを3～5倍に上回り、500の制約と1000の変数を持つMILP上での最高のILメソッドの性能の20%以内である。
論文 参考訳（メタデータ） (2022-05-28T06:08:07Z) - Softmax with Regularization: Better Value Estimation in Multi-Agent
Reinforcement Learning [72.28520951105207]
q$-learningの過大評価は、シングルエージェント強化学習で広く研究されている重要な問題である。
ベースラインから逸脱する大きな関節動作値をペナライズする,新たな正規化ベースの更新方式を提案する。
本手法は,StarCraft IIマイクロマネジメントの課題に対して,一貫した性能向上を実現する。
論文 参考訳（メタデータ） (2021-03-22T14:18:39Z) - Learning From Multiple Experts: Self-paced Knowledge Distillation for
Long-tailed Classification [106.08067870620218]
我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。
提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。
提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
論文 参考訳（メタデータ） (2020-01-06T12:57:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。