Fugu-MT 論文翻訳(概要): InstOptima: Evolutionary Multi-objective Instruction Optimization via Large Language Model-based Instruction Operators

論文の概要: InstOptima: Evolutionary Multi-objective Instruction Optimization via Large Language Model-based Instruction Operators

arxiv url: http://arxiv.org/abs/2310.17630v1
Date: Thu, 26 Oct 2023 17:48:45 GMT
ステータス: 処理完了
システム内更新日: 2023-10-27 18:26:08.355178
Title: InstOptima: Evolutionary Multi-objective Instruction Optimization via Large Language Model-based Instruction Operators
Title（参考訳）: InstOptima:大規模言語モデルに基づく命令演算子による進化的多目的命令最適化
Authors: Heng Yang, Ke Li
Abstract要約: InstOptimaは、命令生成を進化的多目的最適化問題として扱う。演算子に対して客観的誘導機構を導入し、LLMが目的を理解し、生成した命令の品質を向上させる。実験により、微調整性能の向上と、高品質な命令セットの多種多様な生成が示された。
参考スコア（独自算出の注目度）: 9.004528034920266
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Instruction-based language modeling has received significant attention in pretrained language models. However, the efficiency of instruction engineering remains low and hinders the development of instruction studies. Recent studies have focused on automating instruction generation, but they primarily aim to improve performance without considering other crucial objectives that impact instruction quality, such as instruction length and perplexity. Therefore, we propose a novel approach (i.e., InstOptima) that treats instruction generation as an evolutionary multi-objective optimization problem. In contrast to text edition-based methods, our approach utilizes a large language model (LLM) to simulate instruction operators, including mutation and crossover. Furthermore, we introduce an objective-guided mechanism for these operators, allowing the LLM to comprehend the objectives and enhance the quality of the generated instructions. Experimental results demonstrate improved fine-tuning performance and the generation of a diverse set of high-quality instructions.
Abstract（参考訳）: インストラクションに基づく言語モデリングは、事前訓練された言語モデルにおいて大きな注目を集めている。しかし、教育工学の効率は依然として低く、教育学の発展を妨げる。近年の研究では,命令生成の自動化に重点を置いているが,命令長や難易度など,命令品質に影響を及ぼす他の重要な目標を考慮せずに,性能向上を図っている。そこで本研究では,命令生成を進化的多目的最適化問題として扱う新しい手法(InstOptima)を提案する。テキストエディションベースの手法とは対照的に,提案手法は大きな言語モデル(LLM)を用いて,突然変異や交叉を含む命令演算子をシミュレートする。さらに,これらの演算子に対して目的指示機構を導入することで,llmが目的を理解し,生成した命令の品質を向上させることができる。実験により,微調整性能の向上と高品質な命令セットの生成が示された。

関連論文リスト

MLAN: Language-Based Instruction Tuning Improves Zero-Shot Generalization of Multimodal Large Language Models [79.0546136194314]
マルチモーダルな大規模言語モデルのゼロショットタスクの一般化を改善するために,新しい命令チューニング手法を提案する。提案手法の有効性を,言語と視覚の両面にまたがる9つの未知のデータセットに対して評価した。
論文参考訳（メタデータ） (2024-11-15T20:09:59Z)
Align$^2$LLaVA: Cascaded Human and Large Language Model Preference Alignment for Multi-modal Instruction Curation [56.75665429851673]
本稿では,人間とLLMの選好アライメントという2つのユニークな視点から導いた,新しい命令キュレーションアルゴリズムを提案する。実験により,合成マルチモーダル命令を最大90%圧縮することにより,モデル性能の維持や改善が可能であることが示された。
論文参考訳（メタデータ） (2024-09-27T08:20:59Z)
SwitchCIT: Switching for Continual Instruction Tuning of Large Language Models [14.085371250265224]
大規模言語モデル(LLM)は、様々な領域、特に一般的な言語理解において印象的な能力を発揮している。しかし、これらのモデルは大量のテキストデータに基づいて訓練されており、命令によって引き起こされる特定のタスクに対して微妙に最適化されていないかもしれない。本研究は, LLMの連続的な命令学習において, パラメータ効率の高いチューニングモデルに演算をルーティングする切替機構を通じて, 破滅的な忘れに対処するものである。
論文参考訳（メタデータ） (2024-07-16T14:37:33Z)
Automatic Instruction Evolving for Large Language Models [93.52437926313621]
Auto Evol-Instructは、人間の努力なしに大規模な言語モデルを使用して命令データセットを進化させるエンドツーエンドフレームワークである。実験の結果, Auto Evol-Instruct で最適化された最良の手法は, 様々なベンチマークにおいて, 人為的に設計した手法よりも優れていることがわかった。
論文参考訳（メタデータ） (2024-06-02T15:09:00Z)
From Symbolic Tasks to Code Generation: Diversification Yields Better Task Performers [1.6958018695660049]
コードに関連するタスクを超えて、より多様な命令セットがコード生成のパフォーマンスを向上させることを示す。我々の観察から,命令調整セットのより多様な意味空間が,命令に従う能力とタスクの実行能力を大幅に向上させることが示唆された。
論文参考訳（メタデータ） (2024-05-30T07:54:07Z)
Enhancing Robotic Manipulation with AI Feedback from Multimodal Large Language Models [41.38520841504846]
大規模言語モデル(LLM)は、画像入力から意思決定のガイドまで、自動的な好みフィードバックを提供する。本研究では,ロボット操作作業における軌跡映像の理解が可能なマルチモーダルLLMであるCriticGPTを訓練する。アルゴリズムの選好精度を実験的に評価すると、新しいタスクに対する効果的な一般化能力が示される。 Meta-Worldタスクのパフォーマンスは、CriticGPTの報酬モデルが、最先端の事前訓練された表現モデルに基づいて報酬を越え、ポリシー学習を効率的に導くことを示している。
論文参考訳（メタデータ） (2024-02-22T03:14:03Z)
Transformer-based Causal Language Models Perform Clustering [20.430255724239448]
簡単な指示追従タスクを導入し、合成データセットを用いてトランスフォーマーに基づく因果言語モデルを分析する。本研究は,本モデルが隠れ空間内のデータをクラスタリングすることで,タスク固有の情報を学習し,学習中にこのクラスタリングプロセスが動的に進化することを示唆している。
論文参考訳（メタデータ） (2024-02-19T14:02:31Z)
Are Large Language Models Good Prompt Optimizers? [65.48910201816223]
我々は,LLMに基づくPrompt Optimizationの実際のメカニズムを明らかにするために研究を行っている。以上の結果から, LLMは, 反射中の誤差の真の原因を特定するのに苦慮し, 自己の事前知識に偏っていることが明らかとなった。我々は、より制御可能な方法でターゲットモデルの振舞いを直接最適化する新しい「自動振舞い最適化」パラダイムを導入する。
論文参考訳（メタデータ） (2024-02-03T09:48:54Z)
Accelerating LLaMA Inference by Enabling Intermediate Layer Decoding via Instruction Tuning with LITE [62.13435256279566]
大規模言語モデル(LLM)は、様々な自然言語タスクで顕著なパフォーマンスを実現している。しかし、その大きなサイズは推論を遅く、計算的に高価にする。最終層の生成能力に影響を与えることなく、これらの層が「良い」生成能力を得ることができることを示す。
論文参考訳（メタデータ） (2023-10-28T04:07:58Z)
From Language Modeling to Instruction Following: Understanding the Behavior Shift in LLMs after Instruction Tuning [63.63840740526497]
そこで本研究では,本質的な変化に着目した事前学習モデルの調整方法について検討する。次に、事前訓練されたモデルと命令調整されたモデルから導かれた説明を比較することで、命令チューニングの影響について研究する。この結果から,指導指導の3つの重要な影響が明らかになった。
論文参考訳（メタデータ） (2023-09-30T21:16:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。