論文の概要: Beyond the Hype: Benchmarking LLM-Evolved Heuristics for Bin Packing
- arxiv url: http://arxiv.org/abs/2501.11411v1
- Date: Mon, 20 Jan 2025 11:23:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-22 14:24:59.578558
- Title: Beyond the Hype: Benchmarking LLM-Evolved Heuristics for Bin Packing
- Title（参考訳）: ハイプを超えて: ビンパッケージのためのLLM進化ヒューリスティックのベンチマーク
- Authors: Kevin Sim, Quentin Renau, Emma Hart,
- Abstract要約: エスカレートする武器競争は、ニュースを急速に生み出し、それらを進化させるプロセスの効率を改善している。
我々は, LLMの大部分が, 広範囲のベンチマークで評価された場合, うまく一般化しないことを示した。
我々は、インスタンス空間の小さな領域でのみ機能する非常に専門的な結合を生成することで得られる利益を慎重に評価する必要があることを示唆している。
- 参考スコア（独自算出の注目度）: 0.1843404256219181
- License:
- Abstract: Coupling Large Language Models (LLMs) with Evolutionary Algorithms has recently shown significant promise as a technique to design new heuristics that outperform existing methods, particularly in the field of combinatorial optimisation. An escalating arms race is both rapidly producing new heuristics and improving the efficiency of the processes evolving them. However, driven by the desire to quickly demonstrate the superiority of new approaches, evaluation of the new heuristics produced for a specific domain is often cursory: testing on very few datasets in which instances all belong to a specific class from the domain, and on few instances per class. Taking bin-packing as an example, to the best of our knowledge we conduct the first rigorous benchmarking study of new LLM-generated heuristics, comparing them to well-known existing heuristics across a large suite of benchmark instances using three performance metrics. For each heuristic, we then evolve new instances won by the heuristic and perform an instance space analysis to understand where in the feature space each heuristic performs well. We show that most of the LLM heuristics do not generalise well when evaluated across a broad range of benchmarks in contrast to existing simple heuristics, and suggest that any gains from generating very specialist heuristics that only work in small areas of the instance space need to be weighed carefully against the considerable cost of generating these heuristics.
- Abstract（参考訳）: 進化的アルゴリズムとLLM(Large Language Models)の結合は、特に組合せ最適化の分野で、既存の手法よりも優れた新しいヒューリスティックを設計する技術として、最近大きな可能性を示している。
エスカレートする武器競争は、新しいヒューリスティックを急速に生み出し、それらを進化させるプロセスの効率を改善している。
しかし、新しいアプローチの優位性を素早く証明したいという欲求に駆られて、特定のドメインで生成された新しいヒューリスティックの評価は、しばしば好意的である。
例えば、bin-packingを例に挙げると、私たちの知る限りでは、3つのパフォーマンスメトリクスを使用して、既知のベンチマークインスタンス全体にわたる既知のヒューリスティックと比較し、新しいLLM生成ヒューリスティックの最初の厳密なベンチマーク研究を行います。
それぞれのヒューリスティックに対して、ヒューリスティックが獲得した新しいインスタンスを進化させ、各ヒューリスティックがよく機能する特徴空間のどこにあるかを理解するために、インスタンス空間分析を行う。
LLMヒューリスティックスの大部分は、既存の単純ヒューリスティックとは対照的に、幅広いベンチマークで評価しても、十分に一般化していないことを示し、インスタンス空間の小さな領域でのみ動作する非常に専門的なヒューリスティックの生成から得られる利益は、これらのヒューリスティックスを生成するかなりのコストに対して慎重に評価する必要があることを示唆している。
関連論文リスト
- Efficient Non-Exemplar Class-Incremental Learning with Retrospective Feature Synthesis [21.348252135252412]
現在のNon-Exemplar Class-Incremental Learning (NECIL)メソッドは、クラス毎に1つのプロトタイプを格納することで、忘れを軽減している。
そこで本研究では,より効率的なNECIL手法を提案する。
提案手法は,非経験的クラスインクリメンタル学習の効率を大幅に向上させ,最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2024-11-03T07:19:11Z) - Multi-objective Evolution of Heuristic Using Large Language Model [29.337470185034555]
ヒューリスティックスは、様々な探索と最適化の問題に取り組むために一般的に用いられる。
最近の研究は、その強力な言語と符号化能力を活用して、大規模言語モデル(LLM)を自動検索に取り入れている。
本稿では,多目的最適化問題として探索をモデル化し,最適性能以外の実践的基準を導入することを提案する。
論文 参考訳（メタデータ） (2024-09-25T12:32:41Z) - Evolution of Heuristics: Towards Efficient Automatic Algorithm Design Using Large Language Model [22.64392837434924]
EoHは自然言語における思考の考えを表しており、これは「思考」と呼ばれている。
それらはLarge Language Models (LLM) によって実行可能なコードに変換される。
EoHは、オンラインのビンパッキング問題に対して、広く使われている人手作りのベースラインアルゴリズムを著しく上回っている。
論文 参考訳（メタデータ） (2024-01-04T04:11:59Z) - Generative Judge for Evaluating Alignment [84.09815387884753]
本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。
我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。
実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
論文 参考訳（メタデータ） (2023-10-09T07:27:15Z) - Representation Learning with Multi-Step Inverse Kinematics: An Efficient
and Optimal Approach to Rich-Observation RL [106.82295532402335]
既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。
所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。
我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
論文 参考訳（メタデータ） (2023-04-12T14:51:47Z) - Cross-Class Feature Augmentation for Class Incremental Learning [45.91253737682168]
本稿では,敵対的攻撃を動機とした機能強化手法を取り入れた新しいクラスインクリメンタルラーニング手法を提案する。
提案手法は,任意の対象クラスの特徴を増大させるため,クラスインクリメンタルラーニングにおける従来の知識を活用するためのユニークな視点を持つ。
提案手法は,様々なシナリオにおいて,既存の段階的学習手法を著しく上回っている。
論文 参考訳（メタデータ） (2023-04-04T15:48:09Z) - Generalization Properties of Retrieval-based Models [50.35325326050263]
検索ベースの機械学習手法は、幅広い問題で成功をおさめた。
これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。
本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
論文 参考訳（メタデータ） (2022-10-06T00:33:01Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳（メタデータ） (2022-06-15T19:10:35Z) - Reinforcement Learning for Branch-and-Bound Optimisation using
Retrospective Trajectories [72.15369769265398]
機械学習は分岐のための有望なパラダイムとして登場した。
分岐のための単純かつ効果的なRLアプローチであるレトロ分岐を提案する。
我々は現在最先端のRL分岐アルゴリズムを3～5倍に上回り、500の制約と1000の変数を持つMILP上での最高のILメソッドの性能の20%以内である。
論文 参考訳（メタデータ） (2022-05-28T06:08:07Z) - Multi-objective Asynchronous Successive Halving [10.632606255280649]
本稿では,非同期半減期 (ASHA) を多目的 (MO) 設定に拡張するアルゴリズムを提案する。
実験分析の結果,MO ASHAはMO HPOを大規模に実行可能であることがわかった。
我々のアルゴリズムは、この地域における将来の研究の新たなベースラインを確立する。
論文 参考訳（メタデータ） (2021-06-23T19:39:31Z) - Exploring Complementary Strengths of Invariant and Equivariant
Representations for Few-Shot Learning [96.75889543560497]
多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。
少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。
幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
論文 参考訳（メタデータ） (2021-03-01T21:14:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。