論文の概要: SELF: Self-Evolution with Language Feedback
- arxiv url: http://arxiv.org/abs/2310.00533v4
- Date: Thu, 1 Feb 2024 06:10:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-02 19:16:10.000619
- Title: SELF: Self-Evolution with Language Feedback
- Title(参考訳): SELF: 言語フィードバックによる自己進化
- Authors: Jianqiao Lu, Wanjun Zhong, Wenyong Huang, Yufei Wang, Qi Zhu, Fei Mi,
Baojun Wang, Weichao Wang, Xingshan Zeng, Lifeng Shang, Xin Jiang, Qun Liu
- Abstract要約: SELF(Self-Evolution with Language Feedback)は、大規模言語モデルを進化させる新しいアプローチである。
LLMは、人間の学習プロセスと同様、自己回帰を通じて自己改善を可能にする。
数学および一般タスクにおける実験により,SELFは人間の介入なしにLLMの能力を高めることができることが示された。
- 参考スコア(独自算出の注目度): 68.6673019284853
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) have demonstrated remarkable versatility across
various domains. To further advance LLMs, we propose 'SELF' (Self-Evolution
with Language Feedback), a novel approach that enables LLMs to self-improve
through self-reflection, akin to human learning processes. SELF initiates with
a meta-skill learning process that equips the LLMs with capabilities for
self-feedback and self-refinement. Subsequently, the model undergoes an
iterative process of self-evolution. In each iteration, it utilizes an
unlabeled dataset of instructions to generate initial responses. These
responses are enhanced through self-feedback and self-refinement. The model is
then fine-tuned using this enhanced data. The model undergoes progressive
improvement through this iterative self-evolution process. Moreover, the SELF
framework enables the model to apply self-refinement during inference, which
further improves response quality. Our experiments in mathematics and general
tasks demonstrate that SELF can enhance the capabilities of LLMs without human
intervention. The SELF framework indicates a promising direction for the
autonomous evolution of LLMs, transitioning them from passive information
receivers to active participants in their development.
- Abstract(参考訳): 大規模言語モデル (llm) は様々な領域において顕著な汎用性を示している。
llmをさらに前進させるために,人間の学習プロセスに類似した自己回帰による自己改善を可能にする新しいアプローチである「自己」を提案する。
SELFはメタスキルの学習プロセスで開始され、LSMに自己フィードバックと自己修正の能力を持たせる。
その後、モデルが自己進化の反復過程を行う。
各イテレーションでは、ラベルのない命令データセットを使用して初期レスポンスを生成する。
これらの反応は自己フィードバックと自己抑制によって強化される。
この拡張データを使ってモデルを微調整する。
このモデルは、反復的な自己進化プロセスを通じて、進歩的な改善を行う。
さらに、selfフレームワークにより、推論中にモデルが自己定義を適用できるようになり、応答品質がさらに向上する。
数学および一般タスクにおける実験により,SELFは人間の介入なしにLLMの能力を高めることができることが示された。
SELFフレームワークは、LSMの自律的な進化のための有望な方向を示し、それらを受動的情報受信機から開発におけるアクティブな参加者へ移行する。
関連論文リスト
- Self-Alignment for Factuality: Mitigating Hallucinations in LLMs via
Self-Evaluation [75.01017649868614]
大規模言語モデル(LLM)は、たとえ関連する知識を持っていたとしても、事実的不正確さに悩まされることが多い。
我々は,LLMの自己評価能力を活用し,現実性に向けてモデルを操る訓練信号を提供する。
提案手法は,Llamaファミリーモデルに対して,3つの重要な知識集約タスクにおいて,現実的精度を大幅に向上させることを示す。
論文 参考訳(メタデータ) (2024-02-14T15:52:42Z) - Self-Play Fine-Tuning Converts Weak Language Models to Strong Language
Models [56.84735912476625]
本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。
SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。
このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
論文 参考訳(メタデータ) (2024-01-02T18:53:13Z) - Enable Language Models to Implicitly Learn Self-Improvement From Data [51.63428207248947]
大規模言語モデル(LLM)は、オープンエンドテキスト生成タスクにおいて顕著な機能を示した。
我々は、人間の嗜好データから改善目標を暗黙的に学習するImPlicit Self-ImprovemenT(PIT)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-02T04:29:40Z) - User-Controlled Knowledge Fusion in Large Language Models: Balancing
Creativity and Hallucination [5.046007553593371]
大規模言語モデル(LLM)は多様な、関連性があり、創造的な応答を生成する。
LLMの想像力と事実情報への固執のバランスを取ることは重要な課題である。
本稿では,LLMの想像能力と現実情報への忠実さのバランスを調節する,革新的なユーザ制御機構を提案する。
論文 参考訳(メタデータ) (2023-07-30T06:06:35Z) - Self-Refine: Iterative Refinement with Self-Feedback [62.78755306241981]
Self-Refineは、反復的なフィードバックと改善を通じて、大きな言語モデル(LLM)からの初期出力を改善するアプローチである。
GPT-3.5, ChatGPT, および GPT-4) LLM を用いて, 対話応答生成から数学的推論に至るまで, 7 つのタスクにまたがる自己決定性を評価する。
我々の研究は、GPT-4のような最先端のLCMでさえ、単純でスタンドアロンなアプローチを使用してテスト時にさらに改善できることを示します。
論文 参考訳(メタデータ) (2023-03-30T18:30:01Z) - Self-directed Machine Learning [86.3709575146414]
教育科学において、自己指導型学習は受動的教師指導型学習よりも効果的であることが示されている。
本稿では,自己指向機械学習(SDML)の基本概念を紹介し,SDMLのためのフレームワークを提案する。
提案したSDMLプロセスは,自己タスク選択,自己データ選択,自己モデル選択,自己最適化戦略選択,自己評価基準選択の恩恵を受ける。
論文 参考訳(メタデータ) (2022-01-04T18:32:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。