論文の概要: Compute Time Scaling with Recursive Models for Combinatorial Optimization
- arxiv url: http://arxiv.org/abs/2609.34585v1
- Date: Mon, 28 Sep 2026 08:25:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 12:13:51.834091
- Title: Compute Time Scaling with Recursive Models for Combinatorial Optimization
- Title（参考訳）: 組合せ最適化のための再帰モデルによる計算時間スケーリング
- Abstract要約: 我々は、深さ(どのようにネットワークを呼び出すか)と幅(どの程度並列にサンプリングするか)の両方をスケールする最適化のための一般的なニューラルネットワーク手法を提案する。
そして標準のErds-Rényi-[700-800]ベンチマークでは、MISでしかうまく機能しないものを除いて、すべてのニューラルソルバを上回ります。
次に、自己教師型トレーニングのためのセルフレパートリングについて検討する。我々は、現在のトレーニングラベルのセットを、代替のトレーニング信号として、モデル独自のより良いソリューションに定期的に置き換える。
- 参考スコア（独自算出の注目度）: 13.569431145803792
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose Tiny Recursive Models for Combinatorial Optimization (\ours{}), a general neural method for combinatorial optimization that scales both depth (how often we recursively invoke our network) and width (how much we sample in parallel). Both are fundamental for combinatorial optimization: hard instances demand a large amount of compute, while a small network is essential to avoid overfitting and capture the algorithmic essence of optimization. In particular, our method consists of a graph-aware tiny recursive model that iterates on a latent state with adaptive halting and needs only a lightweight problem-specific decoder. Compared with previous heatmap-based general neural solvers, it achieves a better balance between solution quality and inference speed on both the Traveling Salesman Problem~(TSP) and the Maximum Independent Set~(MIS) problem, and remains competitive with hybrid methods that combine neural components with heuristics specific to each problem. With the same backbone architecture for both tasks, \ours{} outperforms every diffusion-based solver on TSP from 500 to 10,000 cities at a lower inference cost, and on the standard Erdős--Rényi-[700-800] MIS benchmark it surpasses all neural solvers except those that only work well on MIS. We then explore self-relabeling for self-supervised training. We periodically replace the current set of training labels with the model's own better solutions, as an alternative training signal. Self-relabeling can, while forgoing supervision from near-optimal solutions, still result in on-par quality.
- Abstract（参考訳）: 本稿では,組合せ最適化のためのTiny Recursive Models for Combinatorial Optimization (\ours{})を提案する。
ハードインスタンスは大量の計算を必要とするのに対し、小さなネットワークはアルゴリズムの最適化の本質を過度に適合させ、捉えるのに不可欠である。
特に,本手法は,適応停止を伴う遅延状態に反復するグラフ対応の小型再帰モデルから成り,軽量な問題固有デコーダのみを必要とする。
従来の熱マップベースの一般ニューラルソルバと比較して、トラベリングセールスマン問題~(TSP)と最大独立セット~(MIS)の両問題において、解の質と推論速度のバランスが良くなり、ニューラルコンポーネントと各問題固有のヒューリスティックを結合するハイブリッド手法と競合し続けている。
両方のタスクで同じバックボーンアーキテクチャで、 \ours{} は500から10,000の都市でのTSPの拡散ベースのソルバを低い推論コストで上回り、標準の Erdés--Rényi-[700-800] MIS ベンチマークでは、MIS でのみ動作するものを除いて、すべてのニューラルソルバを上回ります。
次に、自己教師型トレーニングのためのセルフレパートリングについて検討する。
私たちは、現在のトレーニングラベルのセットを、代替のトレーニング信号として、モデル独自のより良いソリューションに定期的に置き換えます。
自己回復は、ほぼ最適のソリューションから監督を放棄する一方で、いまだにオン・パーの品質をもたらす。
関連論文リスト
- Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。
State-of-the-art merging method formulate merging as a layer-wise interference problem。
本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
論文 参考訳（メタデータ） (2026-06-05T14:00:47Z) - Learning-Augmented Scalable Linear Assignment Problem Optimization via Neural Dual Warm-Starts [19.540758462427878]
最適性と最悪の保証を維持しつつ、正確な代入解決を高速化する学習強化フレームワークを提案する。
グラフベースのモデルのメモリボトルネックを$mathcalO(N2)$で回避する軽量な行独立アーキテクチャであるRowDualNetを紹介します。
論文 参考訳（メタデータ） (2026-05-10T07:15:49Z) - Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
線形最小化オラクル(LMO)を用いて問題の幾何学に適応する新しいアルゴリズム群を提案する。
我々は,Adamに頼らずに,我々のアルゴリズムであるScionを用いたナノGPTトレーニングの大幅な高速化を示す。
論文 参考訳（メタデータ） (2025-02-11T13:10:34Z) - Self-Improved Learning for Scalable Neural Combinatorial Optimization [15.842155380912002]
本研究は、ニューラルネットワーク最適化のスケーラビリティを向上させるための新しい自己改善学習(SIL)手法を提案する。
我々は,ラベル付きデータを使わずに大規模問題インスタンス上での直接モデルトレーニングを可能にする,効率的な自己改善機構を開発した。
さらに,計算モデルに対する線形注意複雑化機構を設計し,オーバヘッドの少ない大規模問題インスタンスを効率的に処理する。
論文 参考訳（メタデータ） (2024-03-28T16:46:53Z) - Learning to Optimize Permutation Flow Shop Scheduling via Graph-based
Imitation Learning [70.65666982566655]
置換フローショップスケジューリング(PFSS)は製造業で広く使われている。
我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。
我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
論文 参考訳（メタデータ） (2022-10-31T09:46:26Z) - Combinatorial optimization for low bit-width neural networks [23.466606660363016]
低ビット幅のニューラルネットワークは、計算資源を減らすためにエッジデバイスに展開するために広く研究されている。
既存のアプローチでは、2段階の列車・圧縮設定における勾配に基づく最適化に焦点が当てられている。
グリーディ座標降下法とこの新しい手法を組み合わせることで、二項分類タスクにおける競合精度が得られることを示す。
論文 参考訳（メタデータ） (2022-06-04T15:02:36Z) - Joint inference and input optimization in equilibrium networks [68.63726855991052]
ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。
この2つの設定の間には自然なシナジーがあることが示されています。
この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
論文 参考訳（メタデータ） (2021-11-25T19:59:33Z) - Learning Robust Scheduling with Search and Attention [6.217548079545464]
物理層リソースをチャネル品質、バッファサイズ、要求および制約に基づいてユーザに割り当てることは、無線リソースの管理における中心的な最適化問題の1つである。
MU-MIMOスケジューリングでは、スケジューラが複数のユーザを同じ時間周波数の物理リソースに割り当てることができる。
本稿では,MU-MIMOスケジューリング問題を木構造問題として扱うとともに,AlphaGo Zeroの最近の成功から借用して,最高の実行ソリューションを探す可能性について検討する。
論文 参考訳（メタデータ） (2021-11-15T20:46:26Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。