論文の概要: Fitness Landscape of Large Language Model-Assisted Automated Algorithm Search

• arxiv url: http://arxiv.org/abs/2504.19636v2
• Date: Thu, 01 May 2025 08:33:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:54.389118
• Title: Fitness Landscape of Large Language Model-Assisted Automated Algorithm Search
• Title（参考訳）: 大規模言語モデルを用いた自動アルゴリズム検索のフィティランドスケープ
• Authors: Fei Liu, Qingfu Zhang, Xialiang Tong, Kun Mao, Mingxuan Yuan,
• Abstract要約: 本稿では,大規模言語モデルを用いたアルゴリズム検索の適応環境を提示し,解析する。 この結果から, LASランドスケープはマルチモーダルで頑丈であることが明らかとなった。 また,人口規模が探索・探索のトレードオフや,エリートアルゴリズムの進化軌跡にどのように影響するかを示す。
• 参考スコア（独自算出の注目度）: 15.767411435705752
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have demonstrated significant potential in algorithm design. However, when integrated into search frameworks for iterative algorithm search, the underlying fitness landscape--critical for understanding search behaviou--remains underexplored. In this paper, we illustrate and analyze the fitness landscape of LLM-assisted Algorithm Search (LAS) using a graph-based approach, where nodes represent algorithms and edges denote transitions between them. We conduct extensive evaluations across six algorithm design tasks and six commonly used LLMs. Our findings reveal that LAS landscapes are highly multimodal and rugged, particularly in combinatorial optimization tasks, with distinct structural variations across tasks and LLMs. For instance, heuristic design tasks exhibit dense clusters of high-performing algorithms, while symbolic regression tasks show sparse, scattered distributions. Additionally, we demonstrate how population size influences exploration-exploitation trade-offs and the evolving trajectory of elite algorithms. These insights not only advance our understanding of LAS landscapes but also provide practical guidance for designing more effective LAS methods.
• Abstract（参考訳）: 大規模言語モデル (LLM) はアルゴリズム設計において大きな可能性を証明している。 しかし、反復的アルゴリズム探索のための検索フレームワークに統合された場合、基礎となるフィットネスランドスケープは、探索行動を理解する上で欠かせないものであり、まだ探索されていない。 本稿では,LLM支援アルゴリズムサーチ(LAS)において,ノードがアルゴリズムを表現し,エッジがアルゴリズム間の遷移を表すグラフベースのアプローチを用いて,フィットネスのランドスケープを記述・解析する。 我々は6つのアルゴリズム設計タスクと6つのLLMに対して広範囲な評価を行う。 以上の結果から,LASのランドスケープは,特に組合せ最適化タスクにおいて,タスクやLLMの異なる構造変化を伴う,非常に多モードで頑丈であることが明らかとなった。 例えば、ヒューリスティックなデザインタスクは高いパフォーマンスのアルゴリズムの密集したクラスタを示し、シンボリック回帰タスクはスパースで分散した分布を示す。 さらに,人口規模が探索・探索トレードオフやエリートアルゴリズムの進化軌跡にどのように影響するかを示す。 これらの知見は、LASランドスケープの理解を前進させるだけでなく、より効果的なLAS手法を設計するための実践的なガイダンスを提供する。

関連論文リスト

• Aligning Multimodal LLM with Human Preference: A Survey [62.89722942008262]
  大規模言語モデル(LLM)は、タスク固有のトレーニングを必要とせずに、単純なプロンプトで幅広い汎用タスクを処理できる。 MLLM(Multimodal Large Language Models)は、視覚的、聴覚的、テキスト的データを含む複雑なタスクに対処する大きな可能性を実証している。 しかし、真理性、安全性、o1のような推論、および人間の嗜好との整合性に関する重要な問題は未解決のままである。
  論文  参考訳（メタデータ） (2025-03-18T17:59:56Z)
• Enhancing LLM Reasoning with Reward-guided Tree Search [95.06503095273395]
  o1のような推論アプローチは困難で、研究者はこのオープンな研究領域を前進させようとさまざまな試みを行ってきた。 本稿では,報酬誘導木探索アルゴリズムを用いて,LLMの推論能力を高めるための予備的な検討を行う。
  論文  参考訳（メタデータ） (2024-11-18T16:15:17Z)
• Are Large-Language Models Graph Algorithmic Reasoners? [45.592341677933646]
  明示グラフ上の古典的アルゴリズム推論タスクにおいて,LLM(Large Language Models)の性能を評価するために設計されたベンチマークを導入する。 我々のベンチマークは、接続のためのBFS(Breadth-First Search)とDFS(Depth-First Search)、すべてのノードの最短経路に対するDijkstraのアルゴリズムとFloyd-Warshallアルゴリズム、プリムの最小スパンニングツリー(MST-Prim's)アルゴリズムの5つの基本アルゴリズムを含む。
  論文  参考訳（メタデータ） (2024-10-29T23:28:37Z)
• EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
  大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。 多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。 最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:54:03Z)
• On the Design and Analysis of LLM-Based Algorithms [74.7126776018275]
  大規模言語モデル(LLM)はアルゴリズムのサブルーチンとして使用される。 LLMは素晴らしい経験的成功を収めた。 提案フレームワークは,LLMアルゴリズムの進歩を約束する。
  論文  参考訳（メタデータ） (2024-07-20T07:39:07Z)
• Extending Token Computation for LLM Reasoning [5.801044612920816]
  大規模言語モデル(LLM)は、自然言語処理の進歩において重要な要素である。 LLMは、非効率な注意分布のため、複雑な推論タスクに苦しむことが多い。 本稿では,アテンション機構の最適化を利用して,計算トークンをChain-of-Thoughtプロセスで拡張する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-22T03:23:58Z)
• The Efficiency Spectrum of Large Language Models: An Algorithmic Survey [54.19942426544731]
  LLM(Large Language Models)の急速な成長は、様々なドメインを変換する原動力となっている。 本稿では,LLMのエンドツーエンドのアルゴリズム開発に不可欠な多面的効率性について検討する。
  論文  参考訳（メタデータ） (2023-12-01T16:00:25Z)
• Representation Learning with Multi-Step Inverse Kinematics: An Efficient and Optimal Approach to Rich-Observation RL [106.82295532402335]
  既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。 所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。 我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
  論文  参考訳（メタデータ） (2023-04-12T14:51:47Z)
• Multi-layer local optima networks for the analysis of advanced local search-based algorithms [0.6299766708197881]
  ローカルオプティマスネットワーク(Local Optima Network, LON)は、特定の近傍演算子と局所探索アルゴリズムに基づいて、特定の最適化問題のフィットネスランドスケープを圧縮するグラフモデルである。 本稿では、多層LONの概念と、フィットネスランドスケープ分析のためのメトリクス抽出を目的としたこれらのモデルを探索するための方法論を提案する。
  論文  参考訳（メタデータ） (2020-04-29T03:20:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。