論文の概要: Can Large Language Models Invent Algorithms to Improve Themselves?

• arxiv url: http://arxiv.org/abs/2410.15639v2
• Date: Tue, 22 Oct 2024 03:14:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:29:13.309204
• Title: Can Large Language Models Invent Algorithms to Improve Themselves?
• Title（参考訳）: 大規模言語モデルはテーマを改善するアルゴリズムを発明できるか?
• Authors: Yoichi Ishibashi, Taro Yano, Masafumi Oyamada,
• Abstract要約: 大規模言語モデル(LLM)は、顕著なパフォーマンス向上を示し、業界で急速に採用されている。 LLMが自律的にモデル改善アルゴリズムを生成・学習することを可能にするセルフ開発フレームワークを提案する。 数学的推論タスクでは、Self-Developingはシードモデルを超えたモデルを生成するだけでなく、人間が設計したアルゴリズムで作成したモデルよりも一貫して優れている。
• 参考スコア（独自算出の注目度）: 3.6117068575553595
• License:
• Abstract: Large Language Models (LLMs) have shown remarkable performance improvements and are rapidly gaining adoption in industry. However, the methods for improving LLMs are still designed by humans, which restricts the invention of new model-improving algorithms to human expertise and imagination. To address this, we propose the Self-Developing framework, which enables LLMs to autonomously generate and learn model-improvement algorithms. In this framework, the seed model generates, applies, and learns model-improving algorithms, continuously improving both the seed model and the algorithms themselves. In mathematical reasoning tasks, Self-Developing not only creates models that surpass the seed model but also consistently outperforms models created using human-designed algorithms. Additionally, these LLM-discovered algorithms demonstrate strong effectiveness, including transferability to out-of-domain models.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、顕著なパフォーマンス向上を示し、業界で急速に採用されている。 しかし、LLMを改善する手法はまだ人間によって設計されており、新しいモデル改善アルゴリズムの発明を人間の専門知識と想像力に制限している。 そこで本研究では,LLMが自律的にモデル改善アルゴリズムを生成・学習することを可能にするセルフ開発フレームワークを提案する。 このフレームワークでは、シードモデルがモデル改善アルゴリズムを生成し、適用し、学習し、シードモデルとアルゴリズム自体を継続的に改善する。 数学的推論タスクでは、Self-Developingはシードモデルを超えたモデルを生成するだけでなく、人間が設計したアルゴリズムで作成したモデルよりも一貫して優れている。 さらに、これらのLLM発見アルゴリズムは、ドメイン外モデルへの転送可能性を含む、強い効果を示す。

関連論文リスト

• On the Modeling Capabilities of Large Language Models for Sequential Decision Making [52.128546842746246]
  大規模な事前訓練されたモデルでは、推論や計画タスクのパフォーマンスがますます向上している。 我々は、直接的または間接的に、意思決定ポリシーを作成する能力を評価する。 未知の力学を持つ環境において、合成データを用いた微調整LDMが報酬モデリング能力を大幅に向上させる方法について検討する。
  論文  参考訳（メタデータ） (2024-10-08T03:12:57Z)
• On the Design and Analysis of LLM-Based Algorithms [74.7126776018275]
  大規模言語モデル(LLM)はアルゴリズムのサブルーチンとして使用される。 LLMは素晴らしい経験的成功を収めた。 提案フレームワークは,LLMアルゴリズムの進歩を約束する。
  論文  参考訳（メタデータ） (2024-07-20T07:39:07Z)
• Large Language Models as Surrogate Models in Evolutionary Algorithms: A Preliminary Study [5.6787965501364335]
  サロゲートアシスト選択は、高価な最適化問題を解決する進化アルゴリズムの中核的なステップである。 伝統的に、これは従来の機械学習手法に依存しており、過去の評価を利用して新しいソリューションの性能を予測する。 本研究では,LLM推論機能に基づいた新しいサロゲートモデルを提案する。
  論文  参考訳（メタデータ） (2024-06-15T15:54:00Z)
• LLaMEA: A Large Language Model Evolutionary Algorithm for Automatically Generating Metaheuristics [0.023020018305241332]
  本稿では,Large Language Model Evolutionary Algorithm (LLaMEA) フレームワークを紹介する。 一連の基準とタスク定義(検索空間)が与えられた後、LLaMEAは反復的にアルゴリズムを生成し、変更し、選択する。 我々は,このフレームワークを用いて,新しいブラックボックスメタヒューリスティック最適化アルゴリズムを自動生成する方法を示す。
  論文  参考訳（メタデータ） (2024-05-30T15:10:59Z)
• Designing Network Algorithms via Large Language Models [11.055072300500104]
  我々は,大規模言語モデル(LLM)の生成能力を活用することで,ネットワークアルゴリズムを自律的に設計する最初のフレームワークであるNADを紹介する。 我々は,NADがブロードバンド,衛星,4G,5Gを含む多様なネットワーク環境において,元のアルゴリズムを一貫して上回る新しいABRアルゴリズムを生成することを実証した。
  論文  参考訳（メタデータ） (2024-04-02T03:43:55Z)
• Evolutionary Optimization of Model Merging Recipes [21.41838972039297]
  本稿では、強力な基礎モデルの作成を自動化するための進化的アルゴリズムの新たな応用について述べる。 本稿では,様々なオープンソースモデルの効果的な組み合わせを自動的に発見することで,制限を克服する進化的アプローチを提案する。 この研究は、新しい最先端のモデルをオープンソースコミュニティに提供し、また、自動化されたモデル構成のための新しいパラダイムも導入している。
  論文  参考訳（メタデータ） (2024-03-19T22:56:53Z)
• Algorithm Evolution Using Large Language Model [18.03090066194074]
  大規模言語モデル(AEL)を用いた進化的アルゴリズムを提案する。 AELはモデルトレーニングなしでアルゴリズムレベルの進化を行う。 人間の努力とドメイン知識の要求は大幅に削減できる。
  論文  参考訳（メタデータ） (2023-11-26T09:38:44Z)
• STORM: Efficient Stochastic Transformer based World Models for Reinforcement Learning [82.03481509373037]
  近年,モデルに基づく強化学習アルゴリズムは視覚入力環境において顕著な有効性を示している。 本稿では,強力なモデリングと生成機能を組み合わせた効率的な世界モデルアーキテクチャであるTransformer-based wORld Model (STORM)を紹介する。 Stormは、Atari 100$kベンチマークで平均126.7%の人的パフォーマンスを達成し、最先端のメソッドの中で新しい記録を樹立した。
  論文  参考訳（メタデータ） (2023-10-14T16:42:02Z)
• When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
  モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。 続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。 さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-10-15T17:57:43Z)
• Augmenting Interpretable Models with LLMs during Training [73.40079895413861]
  本稿では,効率よく解釈可能なモデルを構築するための拡張解釈モデル (Aug-imodels) を提案する。 Aug-imodel は、フィッティング時に LLM を使用するが、推論中に使用せず、完全な透明性を実現する。 自然言語処理におけるAug-imodelのインスタンス化について検討する: (i) Aug-GAM, (ii) Aug-Tree, (ii) LLM機能拡張による決定木の拡大。
  論文  参考訳（メタデータ） (2022-09-23T18:36:01Z)
• Efficient Model-Based Reinforcement Learning through Optimistic Policy Search and Planning [93.1435980666675]
  最先端の強化学習アルゴリズムと楽観的な探索を容易に組み合わせることができることを示す。 我々の実験は、楽観的な探索が行動に罰則がある場合、学習を著しくスピードアップすることを示した。
  論文  参考訳（メタデータ） (2020-06-15T18:37:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。