論文の概要: Autoregressive Differentiable Method for Integer Programming
- arxiv url: http://arxiv.org/abs/2610.02528v1
- Date: Thu, 01 Oct 2026 21:58:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.097603
- Title: Autoregressive Differentiable Method for Integer Programming
- Title（参考訳）: 整数プログラミングのための自己回帰微分可能法
- Abstract要約: 我々は0-1整数プログラムを解くための自己回帰微分可能な方法を提案する。
バイナリ変数の任意の順序を固定し、変換器をトレーニングして次のビットを予測し、実現可能なセットに残します。
- 参考スコア（独自算出の注目度）: 7.120245128599847
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce an autoregressive differentiable method to solve 0-1 integer programs. We fix an arbitrary order of the binary variables and we train a transformer to predict the next bit while remaining in the feasible set. Our method is first trained on feasible incumbents provided by any solver, thus allowing us to initialize the transformer in the feasible set. Our procedure then implements a Lagrangian penalty to penalize infeasible solutions, and the transformer is further trained to explore the feasible set using Gumbel-softmax activations on the relaxed objective. We have tested our method on non-convex instances of quadratic knapsack problem and demonstrated consistent improvement upon state-of-the-art open-source solvers for dense problems up to 10,000 binary variables. In particular, we empirically demonstrate a phenomenon akin to a tunneling effect where the effective change of variables from binary variable to the continuous weights of the transformer that the method implements enables crossing barriers in the relaxed objective landscape.
- Abstract（参考訳）: 我々は0-1整数プログラムを解くための自己回帰微分可能な方法を提案する。
バイナリ変数の任意の順序を固定し、変換器をトレーニングして次のビットを予測し、実現可能なセットに残します。
提案手法は、まず、任意の解法によって提供される実現可能な既存量に基づいて訓練され、実現可能な集合において変換器を初期化することができる。
提案手法は, 実現不可能な解をペナルティ化するためにラグランジアンペナルティを実装し, 緩和された目的に対してガムベル-ソフトマックスアクティベーションを用いて実現可能な集合を探索するために, トランスフォーマーをさらに訓練する。
我々は,2次クナップサック問題の非凸事例に対して本手法を検証し,一万のバイナリ変数を含む高密度問題に対する最先端のオープンソースソルバに対して一貫した改善を実証した。
特に,2変数変数から変圧器の連続重みへの変数の有効変化が緩和された対物景観における障壁の交差を可能にするトンネル効果に類似した現象を実証的に示す。
関連論文リスト
- Weights to Code: Extracting Interpretable Algorithms from the Discrete Transformer [65.38883376379812]
本稿では,連続表現と離散記号論理のギャップを埋めるアーキテクチャである離散変換器を提案する。
実証的には、Discrete TransformerはRNNベースのベースラインに匹敵するパフォーマンスを達成するだけでなく、連続的な変数ドメインへの解釈可能性を大幅に拡張する。
論文 参考訳（メタデータ） (2026-01-09T12:49:41Z) - Can Looped Transformers Learn to Implement Multi-step Gradient Descent for In-context Learning? [69.4145579827826]
収束ランドスケープの勾配非性アルゴリズムにもかかわらず、回帰損失に高速な流れを示す。
この設定における多層トランスの理論的解析はこれが初めてである。
論文 参考訳（メタデータ） (2024-10-10T18:29:05Z) - Data-driven path collective variables [0.0]
本稿では,集合変数の生成,最適化,比較のための新しい手法を提案する。
結果として得られる集合変数は1次元、解釈可能、微分可能である。
2つの異なるアプリケーションに対して,本手法の有効性を示す。
論文 参考訳（メタデータ） (2023-12-21T14:07:47Z) - Adaptive Robust Learning using Latent Bernoulli Variables [50.223140145910904]
破損したトレーニングセットから学習するための適応的なアプローチを提案する。
我々は,潜伏したベルヌーイ変数を持つ崩壊した非破壊標本を同定した。
結果の問題は変分推論によって解決される。
論文 参考訳（メタデータ） (2023-12-01T13:50:15Z) - Bridging Discrete and Backpropagation: Straight-Through and Beyond [62.46558842476455]
本稿では,離散潜在変数の生成に関わるパラメータの勾配を近似する新しい手法を提案する。
本稿では,Hunの手法とODEを解くための2次数値法を統合することで,2次精度を実現するReinMaxを提案する。
論文 参考訳（メタデータ） (2023-04-17T20:59:49Z) - Tensor Train for Global Optimization Problems in Robotics [6.702251803443858]
多くの数値最適化手法の収束は、解法に与えられる初期推定に大きく依存する。
本稿では,グローバルオプティマ付近で既存の最適化解法を初期化するための手法を用いた新しい手法を提案する。
提案手法は,グローバル・オプティマに近づいたサンプルを複数モードで生成できることを示す。
論文 参考訳（メタデータ） (2022-06-10T13:18:26Z) - DiffPrune: Neural Network Pruning with Deterministic Approximate Binary
Gates and $L_0$ Regularization [0.0]
現代のニューラルネットワークアーキテクチャは通常、数百万のパラメータを持ち、有効性を著しく損なうことなく、大幅に刈り取ることができる。
この作品の貢献は2つある。
1つ目は、任意の実数値確率変数の決定論的かつ微分可能変換によって多変量ベルヌーイ確率変数を近似する方法である。
2つ目は、決定論的あるいは乗法的に計算され、正確なゼロ値を取る近似二進ゲートを持つ要素的パラメータによるモデル選択の方法である。
論文 参考訳（メタデータ） (2020-12-07T13:08:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。