論文の概要: AS-LLM: When Algorithm Selection Meets Large Language Model

• arxiv url: http://arxiv.org/abs/2311.13184v1
• Date: Wed, 22 Nov 2023 06:23:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 15:53:21.037590
• Title: AS-LLM: When Algorithm Selection Meets Large Language Model
• Title（参考訳）: AS-LLM: アルゴリズムの選択が大規模言語モデルと出会うとき
• Authors: Xingyu Wu, Yan Zhong, Jibin Wu, Kay Chen Tan
• Abstract要約: 本稿では,アルゴリズム選択プロセスにアルゴリズム表現を統合するアプローチを提案する。 特に,提案モデルでは,問題とアルゴリズムの両方の表現を抽出するために,異なるモジュールを用いる。 アルゴリズムと問題の両方に対する埋め込みベクトルの抽出に続いて、最も適切なアルゴリズムは一致する次数の計算によって決定される。
• 参考スコア（独自算出の注目度）: 27.372410398881204
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Algorithm selection aims to identify the most suitable algorithm for solving a specific problem before execution, which has become a critical process of the AutoML. Current mainstream algorithm selection techniques rely heavily on feature representations of various problems and employ the performance of each algorithm as supervised information. However, there is a significant research gap concerning the consideration of algorithm features. This gap is primarily attributed to the inherent complexity of algorithms, making it particularly challenging to find a universally effective feature extraction method that is applicable across a diverse range of algorithms. Unfortunately, neglecting this aspect undoubtedly impacts the accuracy of algorithm selection and indirectly necessitates an increased volume of problem data for training purposes. This paper takes a significant stride towards addressing this gap by proposing an approach that integrates algorithm representation into the algorithm selection process. Specifically, our proposed model employs distinct modules to extract representations of both problems and algorithms, where the algorithm representation leverages the capabilities of pre-trained LLMs in the realm of code comprehension. Following the extraction of embedding vectors for both algorithms and problems, the most suitable algorithm is determined through calculations of matching degrees. Our experiments not only validate the effectiveness of the proposed model but also showcase the performance of different embedded pre-trained LLMs, which suggests that the proposed algorithm selection framework holds the potential to serve as a baseline task for evaluating the code representation capabilities of LLMs.
• Abstract（参考訳）: アルゴリズムの選択は、実行前に特定の問題を解決するのに最も適したアルゴリズムを特定することを目的としている。 現在の主流アルゴリズム選択技術は、様々な問題の特徴表現に重きを置き、各アルゴリズムの性能を教師あり情報として利用する。 しかし,アルゴリズム特徴の考察には大きな研究ギャップがある。 このギャップは主にアルゴリズムの固有の複雑さによるもので、様々なアルゴリズムに適用可能な普遍的に効果的な特徴抽出方法を見つけるのが特に困難である。 残念なことに、この側面を無視することはアルゴリズム選択の正確性に影響を与え、間接的にトレーニング目的で問題データの量を増やす必要がある。 本稿では,アルゴリズム選択プロセスにアルゴリズム表現を統合するアプローチを提案することにより,このギャップに対処するための重要な取り組みを行う。 特に,提案手法では,問題とアルゴリズムの表現をそれぞれ異なるモジュールで抽出し,アルゴリズム表現はコード理解領域における事前学習されたllmの機能を活用する。 アルゴリズムと問題の両方に対する埋め込みベクトルの抽出に続いて、最も適切なアルゴリズムは一致する次数の計算によって決定される。 提案手法は,提案手法の有効性を検証しただけでなく,異なる組込み事前学習 LLM の性能を実証し,提案手法はLLM のコード表現能力を評価するためのベースラインタスクとして機能する可能性を持っていることを示唆している。

関連論文リスト

• On the Design and Analysis of LLM-Based Algorithms [74.7126776018275]
  大規模言語モデル(LLM)はアルゴリズムのサブルーチンとして使用される。 LLMは素晴らしい経験的成功を収めた。 提案フレームワークは,LLMアルゴリズムの進歩を約束する。
  論文  参考訳（メタデータ） (2024-07-20T07:39:07Z)
• Algorithm Evolution Using Large Language Model [18.03090066194074]
  大規模言語モデル(AEL)を用いた進化的アルゴリズムを提案する。 AELはモデルトレーニングなしでアルゴリズムレベルの進化を行う。 人間の努力とドメイン知識の要求は大幅に削減できる。
  論文  参考訳（メタデータ） (2023-11-26T09:38:44Z)
• Dual Algorithmic Reasoning [9.701208207491879]
  本稿では,基礎となるアルゴリズム問題の双対性を利用してアルゴリズムを学習することを提案する。 アルゴリズム学習における最適化問題の2つの定義を同時に学習することで、より良い学習が可能になることを実証する。 次に、難易度の高い脳血管分類タスクにデプロイすることで、二元アルゴリズム推論の現実的な実用性を検証する。
  論文  参考訳（メタデータ） (2023-02-09T08:46:23Z)
• Practical, Provably-Correct Interactive Learning in the Realizable Setting: The Power of True Believers [12.09273192079783]
  我々は、対話型学習を実現可能な設定で検討し、最適な腕の識別からアクティブな分類に至るまでの問題に対処する一般的な枠組みを開発する。 我々は,最小限の値と対数係数とを一致させる,計算効率のよい新しいアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2021-11-09T02:33:36Z)
• Machine Learning for Online Algorithm Selection under Censored Feedback [71.6879432974126]
  オンラインアルゴリズム選択(OAS)では、アルゴリズム問題クラスのインスタンスがエージェントに次々に提示され、エージェントは、固定された候補アルゴリズムセットから、おそらく最高のアルゴリズムを迅速に選択する必要がある。 SAT(Satisfiability)のような決定問題に対して、品質は一般的にアルゴリズムのランタイムを指す。 本研究では,OASのマルチアームバンディットアルゴリズムを再検討し,この問題に対処する能力について議論する。 ランタイム指向の損失に適応し、時間的地平線に依存しない空間的・時間的複雑さを維持しながら、部分的に検閲されたデータを可能にする。
  論文  参考訳（メタデータ） (2021-09-13T18:10:52Z)
• Algorithm Selection on a Meta Level [58.720142291102135]
  本稿では,与えられたアルゴリズムセレクタの組み合わせに最適な方法を求めるメタアルゴリズム選択の問題を紹介する。 本稿では,メタアルゴリズム選択のための一般的な方法論フレームワークと,このフレームワークのインスタンス化として具体的な学習手法を提案する。
  論文  参考訳（メタデータ） (2021-07-20T11:23:21Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)
• Adaptive Sampling for Best Policy Identification in Markov Decision Processes [79.4957965474334]
  本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。 最先端アルゴリズムの利点を論じ、解説する。
  論文  参考訳（メタデータ） (2020-09-28T15:22:24Z)
• Extreme Algorithm Selection With Dyadic Feature Representation [78.13985819417974]
  我々は,数千の候補アルゴリズムの固定セットを考慮に入れた,極端なアルゴリズム選択(XAS)の設定を提案する。 我々は、XAS設定に対する最先端のAS技術の適用性を評価し、Dyadic特徴表現を利用したアプローチを提案する。
  論文  参考訳（メタデータ） (2020-01-29T09:40:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。