Fugu-MT 論文翻訳(概要): Fine-tuning Large Language Model for Automated Algorithm Design

論文の概要: Fine-tuning Large Language Model for Automated Algorithm Design

arxiv url: http://arxiv.org/abs/2507.10614v1
Date: Sun, 13 Jul 2025 15:21:23 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-16 19:46:02.7813
Title: Fine-tuning Large Language Model for Automated Algorithm Design
Title（参考訳）: 自動アルゴリズム設計のための微調整大言語モデル
Authors: Fei Liu, Rui Zhang, Xi Lin, Zhichao Lu, Qingfu Zhang,
Abstract要約: アルゴリズム設計のための大規模言語モデル(LLM)の微調整について検討する。我々の実験は3つの異なるアルゴリズム設計タスクにまたがっている。以上の結果から, 微調整LLMは市販のLLMよりも優れていたことが示唆された。
参考スコア（独自算出の注目度）: 23.04239252690957
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The integration of large language models (LLMs) into automated algorithm design has shown promising potential. A prevalent approach embeds LLMs within search routines to iteratively generate and refine candidate algorithms. However, most existing methods rely on off-the-shelf LLMs trained for general coding tasks,leaving a key question open: Do we need LLMs specifically tailored for algorithm design? If so, how can such LLMs be effectively obtained and how well can they generalize across different algorithm design tasks? In this paper, we take a first step toward answering these questions by exploring fine-tuning of LLMs for algorithm design. We introduce a Diversity-Aware Rank based (DAR) sampling strategy to balance training data diversity and quality, then we leverage direct preference optimization to efficiently align LLM outputs with task objectives. Our experiments, conducted on Llama-3.2-1B-Instruct and Llama- 3.1-8B-Instruct, span three distinct algorithm design tasks. Results suggest that finetuned LLMs can significantly outperform their off-the-shelf counterparts with the smaller Llama-3.2-1B-Instruct and match the larger Llama-3.1-8B-Instruct on the admissible set problem. Moreover, we observe promising generalization: LLMs finetuned on specific algorithm design tasks also improve performance on related tasks with varying settings. These findings highlight the value of task-specific adaptation for LLMs in algorithm design and open new avenues for future research.
Abstract（参考訳）: 大規模言語モデル(LLM)を自動アルゴリズム設計に統合することは有望な可能性を示している。一般的なアプローチでは、探索ルーチン内にLLMを埋め込んで、候補アルゴリズムを反復的に生成し、洗練する。しかし、既存のほとんどのメソッドは、一般的なコーディングタスクのために訓練された既製のLLMに依存しており、重要な疑問を残している。もしそうなら、そのようなLLMを効果的に獲得し、異なるアルゴリズム設計タスクをまたいでどのように一般化できるだろうか? 本稿では,アルゴリズム設計のためのLLMの微調整を探求することにより,これらの疑問に答える第一歩を踏み出す。本研究では,DAR(Diversity-Aware Rank based, ダイバーシティ・アウェア・ランク・ベース・サンプリング・ストラテジー)を導入し,学習データの多様性と品質のバランスをとるとともに,直接選好最適化を活用し,LLM出力をタスク目標と効率的に整合させる。 Llama-3.2-1B-InstructとLlama-3.1-8B-Instructで行った実験は、3つの異なるアルゴリズム設計タスクにまたがる。その結果, 小型のLlama-3.2-1B-インストラクタは, 小型のLlama-3.1-8B-インストラクタよりも優れ, より大型のLlama-3.1-8B-インストラクタと同等であることがわかった。特定のアルゴリズム設計タスクに微調整されたLLMは、異なる設定で関連するタスクのパフォーマンスも向上する。これらの結果は,アルゴリズム設計におけるLLMのタスク固有の適応と,今後の研究への新たな道を開くことの意義を浮き彫りにした。

関連論文リスト

Iterative Self-Incentivization Empowers Large Language Models as Agentic Searchers [74.17516978246152]
大規模言語モデル(LLM)は、従来の手法を進化させるために情報検索に広く統合されている。エージェント検索フレームワークであるEXSEARCHを提案する。 4つの知識集約ベンチマークの実験では、EXSEARCHはベースラインを大幅に上回っている。
論文参考訳（メタデータ） (2025-05-26T15:27:55Z)
Task Specific Pruning with LLM-Sieve: How Many Parameters Does Your Task Really Need? [2.678235552360207]
大きな言語モデル(LLM)は、狭義のタスクにますます採用されている。タスクには実際に何つのパラメータが必要ですか? LLM-Sieveは,LLMのタスク固有プルーニングのための,最初の包括的フレームワークである。
論文参考訳（メタデータ） (2025-05-23T20:17:20Z)
RLAP: A Reinforcement Learning Enhanced Adaptive Planning Framework for Multi-step NLP Task Solving [14.11486479935094]
下流自然言語処理(NLP)タスクにおける大規模言語モデル(LLM)の性能向上のために,多段階計画が広く採用されている。マルチステップNLPタスクをよりよく解くために,RLAP(Reinforcement Learning enhanced Adaptive Planning framework)を提案する。
論文参考訳（メタデータ） (2025-05-17T08:06:14Z)
Aligning Multimodal LLM with Human Preference: A Survey [62.89722942008262]
大規模言語モデル(LLM)は、タスク固有のトレーニングを必要とせずに、単純なプロンプトで幅広い汎用タスクを処理できる。 MLLM(Multimodal Large Language Models)は、視覚的、聴覚的、テキスト的データを含む複雑なタスクに対処する大きな可能性を実証している。しかし、真理性、安全性、o1のような推論、および人間の嗜好との整合性に関する重要な問題は未解決のままである。
論文参考訳（メタデータ） (2025-03-18T17:59:56Z)
EVOLvE: Evaluating and Optimizing LLMs For In-Context Exploration [76.66831821738927]
大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
論文参考訳（メタデータ） (2024-10-08T17:54:03Z)
SelectLLM: Query-Aware Efficient Selection Algorithm for Large Language Models [8.558834738072363]
大規模言語モデル(LLM)は、様々なアプリケーションにまたがる顕著な性能のために広く採用されている。これらの個々のLCMは、固有のトレーニングバイアス、モデルサイズ制約、トレーニング前のデータセットの品質や多様性による、複雑なタスクの一般化とパフォーマンスの制限を示す。本稿では,入力クエリをLLMの最も適切なサブセットに効率的に誘導するSelectLLMを紹介する。
論文参考訳（メタデータ） (2024-08-16T06:11:21Z)
On the Design and Analysis of LLM-Based Algorithms [74.7126776018275]
大規模言語モデル(LLM)はアルゴリズムのサブルーチンとして使用される。 LLMは素晴らしい経験的成功を収めた。提案フレームワークは,LLMアルゴリズムの進歩を約束する。
論文参考訳（メタデータ） (2024-07-20T07:39:07Z)
How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
論文参考訳（メタデータ） (2024-02-25T20:07:13Z)
Human-Instruction-Free LLM Self-Alignment with Limited Samples [64.69906311787055]
本研究では,人間の関与なしに,大規模言語モデル(LLM)を反復的に自己調整するアルゴリズムを提案する。既存の研究と異なり、我々のアルゴリズムは人造指示にも報酬にも依存せず、人間の関与を著しく減らしている。提案手法は,LLMの自己一般化能力を解き明かし,ほぼゼロに近い人的監督と整合性を持たせることができることを示す。
論文参考訳（メタデータ） (2024-01-06T14:00:12Z)
Alphazero-like Tree-Search can Guide Large Language Model Decoding and Training [37.79247073276239]
ToT(Tree-of-Thought)やRAP(Reasoning via Planning)といった最近の研究は、LLMの推論能力を強化することを目的としている。 LLMのためのAlphaZeroライクな木探索学習フレームワーク(TS-LLM)を提案する。学習価値関数を用いた木探索がLLM復号を導出する方法を示す。
論文参考訳（メタデータ） (2023-09-29T12:20:19Z)
Understanding the Capabilities of Large Language Models for Automated Planning [24.37599752610625]
この研究は、複雑な計画問題の解決におけるLLMの能力に光を当てようとしている。この文脈で LLM を使用するための最も効果的なアプローチに関する洞察を提供する。
論文参考訳（メタデータ） (2023-05-25T15:21:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。