論文の概要: SELF: Language-Driven Self-Evolution for Large Language Model
- arxiv url: http://arxiv.org/abs/2310.00533v1
- Date: Sun, 1 Oct 2023 00:52:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 03:38:11.880914
- Title: SELF: Language-Driven Self-Evolution for Large Language Model
- Title（参考訳）: 自己: 大きな言語モデルのための言語駆動型自己進化
- Authors: Jianqiao Lu, Wanjun Zhong, Wenyong Huang, Yufei Wang, Fei Mi, Baojun
Wang, Weichao Wang, Lifeng Shang, Qun Liu
- Abstract要約: SELF(Self-Evolution with Language Feedback)は、大規模言語モデルに継続的な自己進化を強制する方法論である。
メタスキルの学習を始め、SELFは自己フィードバックと自己抑制に焦点を当てた基礎的なメタスキルを取得する。
我々は,SELFが人間の介入を必要とせずに,その本質的な能力を徐々に向上させることができることを示す。
- 参考スコア（独自算出の注目度）: 57.875947534381176
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) have showcased remarkable versatility across
diverse domains. However, the pathway toward autonomous model development, a
cornerstone for achieving human-level learning and advancing autonomous AI,
remains largely uncharted. We introduce an innovative approach, termed "SELF"
(Self-Evolution with Language Feedback). This methodology empowers LLMs to
undergo continual self-evolution. Furthermore, SELF employs language-based
feedback as a versatile and comprehensive evaluative tool, pinpointing areas
for response refinement and bolstering the stability of self-evolutionary
training. Initiating with meta-skill learning, SELF acquires foundational
meta-skills with a focus on self-feedback and self-refinement. These
meta-skills are critical, guiding the model's subsequent self-evolution through
a cycle of perpetual training with self-curated data, thereby enhancing its
intrinsic abilities. Given unlabeled instructions, SELF equips the model with
the capability to autonomously generate and interactively refine responses.
This synthesized training data is subsequently filtered and utilized for
iterative fine-tuning, enhancing the model's capabilities. Experimental results
on representative benchmarks substantiate that SELF can progressively advance
its inherent abilities without the requirement of human intervention, thereby
indicating a viable pathway for autonomous model evolution. Additionally, SELF
can employ online self-refinement strategy to produce responses of superior
quality. In essence, the SELF framework signifies a progressive step towards
autonomous LLM development, transforming the LLM from a mere passive recipient
of information into an active participant in its own evolution.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な領域にまたがる顕著な汎用性を示している。
しかし、人間のレベルの学習と進歩する自律AIを実現するための基盤である自律モデル開発への道は、いまだに未完成である。
我々は「SELF(Self-Evolution with Language Feedback)」と呼ばれる革新的なアプローチを導入する。
この方法論はLLMに継続的自己進化の実施を促す。
さらに、SELFは言語に基づくフィードバックを汎用的で包括的な評価ツールとして採用し、応答の洗練と自己進化的トレーニングの安定性を高めるための領域をピンポイントする。
メタスキルの学習を始め、SELFは自己フィードバックと自己抑制に焦点を当てた基礎的なメタスキルを取得する。
これらのメタスキルは、モデルのその後の自己進化を、自己計算データによる永続的なトレーニングのサイクルを通じて導くことで、本質的な能力を高める。
ラベルのない命令を与えられたSELFは、モデルに自律的に生成し、対話的に応答を洗練させる能力を持たせる。
この合成トレーニングデータはその後フィルタリングされ、反復的な微調整に利用され、モデルの能力を高める。
代表ベンチマークによる実験結果では、自己は人間の介入を必要とせず、徐々に本質的な能力を向上し、自律的モデルの進化に有効な経路を示すことが示されている。
さらにselfは、優れた品質の応答を生み出すために、オンラインの自己定義戦略を採用できる。
本質的には、SELFフレームワークは自律LDM開発に向けた進歩的なステップを表しており、LSMは情報の受動的受信者から自身の進化におけるアクティブな参加者へと変換される。
関連論文リスト
- Long Term Memory: The Foundation of AI Self-Evolution [48.52678410533424]
GPTのような大規模な言語モデル(LLM)は、膨大なデータセットに基づいてトレーニングされており、言語理解、推論、計画において印象的な能力を示している。
ほとんどの研究は、より強力な基盤モデルを構築するために、より大規模なデータセットをトレーニングすることで、これらのモデルを強化することに重点を置いている。
大規模なトレーニングとは異なり、推論中にモデルを進化させることは、AIの自己進化(self-evolution)と呼ばれるプロセスと同等に重要である。
論文 参考訳（メタデータ） (2024-10-21T06:09:30Z) - LLMs Could Autonomously Learn Without External Supervision [36.36147944680502]
大規模言語モデル(LLM)は、伝統的に人間の注釈付きデータセットと事前定義されたトレーニング目標に結び付けられてきた。
本稿では,LLMのための自律学習手法を提案する。
本手法は, LLMに対して, 文章と直接対話して自己学習を行う能力を与える。
論文 参考訳（メタデータ） (2024-06-02T03:36:37Z) - LLMs can learn self-restraint through iterative self-reflection [57.26854891567574]
大規模言語モデル(LLM)は、特定のトピックに関連する知識と不確実性に基づいて、その振る舞いを動的に適応できなければならない。
この適応的行動は、私たちが自己規制と呼ぶもので、教えるのは簡単ではない。
モデルが信頼している場合にのみ応答を生成できるようにするユーティリティ関数を考案する。
論文 参考訳（メタデータ） (2024-05-15T13:35:43Z) - A Survey on Self-Evolution of Large Language Models [116.54238664264928]
大規模言語モデル(LLM)は、様々な分野やインテリジェントエージェントアプリケーションにおいて大きく進歩している。
この問題に対処するために、LLMが自律的に獲得し、洗練し、モデル自身によって生成された経験から学ぶことができる自己進化的アプローチが急速に成長している。
論文 参考訳（メタデータ） (2024-04-22T17:43:23Z) - Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing [56.75702900542643]
大規模言語モデルの自己改善のためのAlphaLLMを紹介する。
モンテカルロ木探索(MCTS)とLLMを統合し、自己改善ループを確立する。
実験の結果,AlphaLLM は付加アノテーションを使わずに LLM の性能を大幅に向上することがわかった。
論文 参考訳（メタデータ） (2024-04-18T15:21:34Z) - LLM Guided Evolution - The Automation of Models Advancing Models [0.0]
ガイドド・エボリューション(GE)は、従来の機械学習アプローチから切り離された斬新なフレームワークである。
思想の進化(EoT)は、従来の突然変異の結果からLLMを反映して学習させることでGEを強化する。
ExquisiteNetV2モデルの進化におけるGEの適用は,その有効性を示している。
論文 参考訳（メタデータ） (2024-03-18T03:44:55Z) - Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。
SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。
このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
論文 参考訳（メタデータ） (2024-01-02T18:53:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。