論文の概要: Unlocking Large Language Model's Planning Capabilities with Maximum Diversity Fine-tuning

• arxiv url: http://arxiv.org/abs/2406.10479v1
• Date: Sat, 15 Jun 2024 03:06:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 00:12:44.386507
• Title: Unlocking Large Language Model's Planning Capabilities with Maximum Diversity Fine-tuning
• Title（参考訳）: 最大多様性ファインチューニングによる大規模言語モデルのプランニング能力のアンロック
• Authors: Wenjun Li, Changyu Chen, Pradeep Varakantham,
• Abstract要約: 大規模言語モデル(LLM)は、技術やシステム設計の推進によって達成された、目覚ましいタスク解決能力を示している。 本稿では,LLMの計画能力に及ぼす微調整の影響について検討する。 計画領域におけるファインチューニングのサンプル効率を向上させるために,MDFT(Maximum Diversity Fine-Tuning)戦略を提案する。
• 参考スコア（独自算出の注目度）: 10.704716790096498
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have demonstrated impressive task-solving capabilities, achieved through either prompting techniques or system designs. However, concerns have arisen regarding their proficiency in planning tasks, as they often struggle to generate valid plans. This paper investigates the impact of fine-tuning on LLMs' planning capabilities. Our findings indicate that LLMs can achieve good performance in planning through substantial (thousands of specific examples) fine-tuning. However, fine-tuning is associated with significant economic and computational costs. To address this challenge, we propose the Maximum Diversity Fine-Tuning (MDFT) strategy to improve the sample efficiency of fine-tuning in the planning domain. Specifically, our algorithm, referred to as MDFT-g, encodes the planning task instances with their graph representations and selects a subset of samples in the vector space that maximizes data diversity. We empirically demonstrate that MDFT-g consistently outperforms existing baselines at various scales across multiple benchmark domains.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、技術やシステム設計の推進によって達成された、目覚ましいタスク解決能力を示している。 しかし、しばしば有効な計画を作成するのに苦労するため、計画タスクの熟練度について懸念が持ち上がっている。 本稿では,LLMの計画能力に及ぼす微調整の影響について検討する。 以上の結果から, LLM は詳細な微調整(具体例数件)により, 計画の立案に優れた性能を発揮することが示唆された。 しかし、微調整は経済的、計算的コストに大きく関係している。 この課題に対処するため,計画領域におけるファインチューニングのサンプル効率を改善するために,MDFT(Maximum Diversity Fine-Tuning)戦略を提案する。 具体的には、MDFT-gと呼ばれるアルゴリズムで、計画タスクのインスタンスをグラフ表現でエンコードし、データの多様性を最大化するベクトル空間内のサンプルのサブセットを選択する。 MDFT-gは、複数のベンチマークドメインにわたる様々なスケールにおいて、既存のベースラインを一貫して上回っていることを実証的に実証する。

関連論文リスト

• Interactive and Expressive Code-Augmented Planning with Large Language Models [62.799579304821826]
  大きな言語モデル(LLM)は、常識的推論と対話的な意思決定において強力な能力を示す。 近年,制御フローなどのコード・アジャセント技術を用いてLCM出力を構造化し,計画性能を向上させる技術が提案されている。 完全コード表現で動的なLEM計画手法であるREPL-Planを提案する。
  論文  参考訳（メタデータ） (2024-11-21T04:23:17Z)
• Non-myopic Generation of Language Models for Reasoning and Planning [45.75146679449453]
  本稿では,モデル予測制御を利用した予測復号化手法を提案する。 我々の実験では、数学、コーディング、エージェントの幅広いタスクにおいて、大幅な改善が示されている。
  論文  参考訳（メタデータ） (2024-10-22T17:13:38Z)
• Mixing It Up: The Cocktail Effect of Multi-Task Fine-Tuning on LLM Performance -- A Case Study in Finance [0.32985979395737774]
  金融を含むドメイン固有の文脈における大規模言語モデル(LLM)の適用について検討する。 ターゲットタスクのみを微調整することが、必ずしも最も効果的な戦略であるとは限らない。 代わりに、マルチタスクの微調整はパフォーマンスを大幅に向上させる。
  論文  参考訳（メタデータ） (2024-10-01T22:35:56Z)
• On The Planning Abilities of OpenAI's o1 Models: Feasibility, Optimality, and Generalizability [59.72892401927283]
  さまざまなベンチマークタスクでOpenAIのo1モデルの計画能力を評価する。 その結果,o1-preview は GPT-4 よりもタスク制約に順応していることがわかった。
  論文  参考訳（メタデータ） (2024-09-30T03:58:43Z)
• Unlocking Reasoning Potential in Large Langauge Models by Scaling Code-form Planning [94.76546523689113]
  CodePlanは、テキストコード形式の計画を生成し、追跡するフレームワークで、高いレベルの構造化された推論プロセスの概要を擬似コードで示します。 CodePlanは、洗練された推論タスク固有のリッチなセマンティクスと制御フローを効果的にキャプチャする。 反応を直接生成するのに比べて25.1%の相対的な改善が達成されている。
  論文  参考訳（メタデータ） (2024-09-19T04:13:58Z)
• Learning to Plan for Retrieval-Augmented Large Language Models from Knowledge Graphs [59.76268575344119]
  知識グラフ(KG)から得られた計画データを用いて,大規模言語モデル(LLM)計画能力を向上するための新しいフレームワークを提案する。 KGデータで微調整されたLLMは、計画能力を向上し、検索を含む複雑なQAタスクを処理するのがより適している。
  論文  参考訳（メタデータ） (2024-06-20T13:07:38Z)
• Exploring and Benchmarking the Planning Capabilities of Large Language Models [57.23454975238014]
  この研究は、大規模言語モデル(LLM)の計画能力を改善するための基礎を築いた。 我々は、古典的な計画ベンチマークと自然言語シナリオの両方を含む包括的なベンチマークスイートを構築した。 本研究は,LLM計画の強化を目的としたマルチショットインコンテキスト学習について検討し,文脈長の増大と計画性能の向上の関係について検討する。
  論文  参考訳（メタデータ） (2024-06-18T22:57:06Z)
• Guiding Language Model Reasoning with Planning Tokens [122.43639723387516]
  大規模言語モデル(LLM)は、最近、複雑な推論タスクを実行する能力に対して、かなりの関心を集めている。 より構造的なチェーン・オブ・シークレット・ステップの創出を促す階層的な生成手法を提案する。 提案手法では、トレーニング可能なパラメータ(0.001%)の無視可能な増加が必要であり、完全な微調整か、よりパラメータ効率の良いスキームで適用することができる。
  論文  参考訳（メタデータ） (2023-10-09T13:29:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。