論文の概要: Transformer-Based Flow Shop Scheduling Using MILP-Generated Training Data

• arxiv url: http://arxiv.org/abs/2608.29690v1
• Date: Sun, 30 Aug 2026 09:58:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.046381
• Title: Transformer-Based Flow Shop Scheduling Using MILP-Generated Training Data
• Title（参考訳）: MILP学習データを用いた変圧器型フローショップスケジューリング
• Abstract要約: トランスフォーマーモデルは、トークンを高次元の埋め込み空間にマッピングし、注意を通してコンテキスト情報を伝播することで、トークンシーケンスにおける複雑な相互作用をキャプチャすることができる。 これにより、次段階の予測タスクとして二次資源を用いた非置換フローショップスケジューリングをモデル化する候補となる。 この研究は、トランスフォーマーモデルはある程度は、MILP-第2次非置換フローショップスケジュールからパターンを学ぶことができると結論付けている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Advances in machine learning (ML) have created new opportunities to complement traditional operations research (OR) methods. In particular, transformer models can capture complex interactions in token sequences by mapping tokens into a high-dimensional embedding space and propagating contextual information via attention. This makes them a candidate to model non-permutation flow shop scheduling with secondary resources as a next-token prediction task, where tokens represent job-machine-secondary resource tuples. For training, mixed-integer linear programming (MILP)-generated schedules are tokenized and used as next-token prediction data. During inference, partial token sequences (prefixes) are randomly generated and completed by the trained transformer through constrained decoding. A computational study is conducted on a flow shop with 8 jobs, 4 machines, and 3 secondary resources, where jobs are selected from a fixed pool of 20 jobs that is sampled during training and provides the candidates during prefix completion. The transformer achieves better solution quality (smaller makespans) compared to a genetic algorithm (GA), the NEH heuristic, and random search. It is outperformed only by the MILP model and the iterated greedy (IG) heuristic. The study concludes that transformer models can, to some extent, learn patterns from MILP-optimized non-permutation flow shop schedules and that transformer-based scheduling represents an interesting direction for future research, particularly in settings with a fixed, recurring job set.
• Abstract（参考訳）: 機械学習(ML)の進歩は、従来のオペレーションリサーチ(OR)手法を補完する新たな機会を生み出した。 特に、トランスフォーマーモデルは、トークンを高次元の埋め込み空間にマッピングし、注意を通してコンテキスト情報を伝播することにより、トークンシーケンスにおける複雑な相互作用をキャプチャすることができる。 これにより、ジョブマシンと第2のリソースタプルをトークンで表現する次世代予測タスクとして、セカンダリリソースによる非置換フローショップスケジューリングをモデル化する候補となる。 トレーニングでは、MILP(mixed-integer linear programming)の生成スケジュールをトークン化し、次点予測データとして使用する。 推論中、部分トークンシーケンス(prefixes)がランダムに生成され、制約付き復号によりトレーニングされたトランスフォーマーによって完了する。 8ジョブ、4マシン、3セカンダリリソースを備えたフローショップで計算研究を行い、トレーニング中にサンプリングされた20ジョブの固定プールからジョブを選択し、プレフィックス完了時に候補を提供する。 トランスは遺伝的アルゴリズム(GA)、NEHヒューリスティック、ランダムサーチよりも優れた解品質(より小さい)を達成する。 MILPモデルと反復グリード(IG)ヒューリスティックによってのみ性能が向上する。 この研究は、トランスフォーマーモデルは、ある程度は、MILP最適化された非置換フローショップスケジュールからパターンを学習することができ、トランスフォーマーベースのスケジューリングは、特に固定された繰り返しジョブセットの設定において、将来の研究にとって興味深い方向を示すと結論付けている。

関連論文リスト

• Algorithmic Capabilities of Random Transformers [49.73113518329544]
  埋め込み層のみを最適化したランダムトランスフォーマーによって、どのような関数が学習できるかを検討する。 これらのランダムなトランスフォーマーは、幅広い意味のあるアルゴリズムタスクを実行することができる。 以上の結果から,これらのモデルが訓練される前にも,アルゴリズム能力がトランスフォーマに存在することが示唆された。
  論文  参考訳（メタデータ） (2024-10-06T06:04:23Z)
• In-Context Learning for MIMO Equalization Using Transformer-Based Sequence Models [44.161789477821536]
  大規模な事前学習シーケンスモデルには、コンテキスト内学習(ICL)を実行する能力がある ICLでは、新しい入力に関する決定は、入力の直接マッピングと与えられたタスクからのいくつかの例を通して行われる。 我々は,変圧器をベースとしたICLのしきい値挙動を数値計算により示す。
  論文  参考訳（メタデータ） (2023-11-10T15:09:04Z)
• Pretraining Data Mixtures Enable Narrow Model Selection Capabilities in Transformer Models [9.340409961107955]
  トランスフォーマーモデルには、コンテキスト内学習(ICL)を実行する驚くべき能力がある 本研究は, トランスフォーマーが事前学習データ混合物間の橋渡しを効果的に行う方法について検討する。 以上の結果から,高容量シーケンスモデルの印象的なICL能力は,インダクティブバイアスよりも事前学習データ混合のカバレッジに密接に関係している可能性が示唆された。
  論文  参考訳（メタデータ） (2023-11-01T21:41:08Z)
• Supervised Pretraining Can Learn In-Context Reinforcement Learning [96.62869749926415]
  本稿では,意思決定問題における変換器の文脈内学習能力について検討する。 本稿では,変換器が最適動作を予測する教師付き事前学習法であるDPT(Decision-Pretrained Transformer)を導入,研究する。 事前学習した変換器は、オンラインと保守主義の両方をオフラインで探索することで、コンテキスト内における様々なRL問題の解決に利用できる。
  論文  参考訳（メタデータ） (2023-06-26T17:58:50Z)
• Trained Transformers Learn Linear Models In-Context [39.56636898650966]
  トランスフォーマーとしての注意に基づくニューラルネットワークは、意図的学習(ICL)を示す顕著な能力を示した 線形回帰問題のランダムな例に対する変圧器の訓練において、これらのモデルの予測は通常の正方形の非線形性を模倣することを示した。
  論文  参考訳（メタデータ） (2023-06-16T15:50:03Z)
• Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection [88.23337313766353]
  この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。 コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。 エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
  論文  参考訳（メタデータ） (2023-06-07T17:59:31Z)
• TimeMAE: Self-Supervised Representations of Time Series with Decoupled Masked Autoencoders [55.00904795497786]
  トランスフォーマネットワークに基づく転送可能な時系列表現を学習するための,新しい自己教師型パラダイムであるTimeMAEを提案する。 TimeMAEは双方向符号化方式を用いて時系列の豊富な文脈表現を学習する。 新たに挿入されたマスク埋め込みによって生じる不一致を解消するため、分離されたオートエンコーダアーキテクチャを設計する。
  論文  参考訳（メタデータ） (2023-03-01T08:33:16Z)
• Ti-MAE: Self-Supervised Masked Time Series Autoencoders [16.98069693152999]
  本稿では,Ti-MAEという新しいフレームワークを提案する。 Ti-MAEは、埋め込み時系列データをランダムにマスクアウトし、オートエンコーダを学び、ポイントレベルでそれらを再構築する。 いくつかの公開実世界のデータセットの実験では、マスク付きオートエンコーディングのフレームワークが生データから直接強力な表現を学習できることが示されている。
  論文  参考訳（メタデータ） (2023-01-21T03:20:23Z)
• DeMT: Deformable Mixer Transformer for Multi-Task Learning of Dense Prediction [40.447092963041236]
  変形可能なCNNとクエリベースのTransformerの利点を組み合わせた新しいMTLモデルを提案する。 提案手法は, 単純かつ効率的なエンコーダ・デコーダアーキテクチャに基づいている。 我々のモデルはGFLOPを少なくし、現在のTransformerやCNNベースの競合モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-01-09T16:00:15Z)
• Discovering Non-monotonic Autoregressive Orderings with Variational Inference [67.27561153666211]
  我々は、訓練データから高品質な生成順序を純粋に検出する、教師なし並列化可能な学習装置を開発した。 エンコーダを非因果的注意を持つトランスフォーマーとして実装し、1つのフォワードパスで置換を出力する。 言語モデリングタスクにおける経験的結果から,我々の手法は文脈認識であり,一定の順序と競合する,あるいはより優れた順序を見つけることができる。
  論文  参考訳（メタデータ） (2021-10-27T16:08:09Z)
• ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators [108.3381301768299]
  Masked Language Modeling (MLM) は、BERT のような事前学習手法で、いくつかのトークンを [MASK] に置き換えて、元のトークンを再構築するためにモデルをトレーニングすることで入力を破損させた。 代用トークン検出という,より効率的な事前学習タスクを提案する。
  論文  参考訳（メタデータ） (2020-03-23T21:17:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。