論文の概要: LLMs Could Autonomously Learn Without External Supervision

• arxiv url: http://arxiv.org/abs/2406.00606v2
• Date: Thu, 6 Jun 2024 22:48:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 12:53:12.917473
• Title: LLMs Could Autonomously Learn Without External Supervision
• Title（参考訳）: LLMは外部の監督なしで自律的に学習できる
• Authors: Ke Ji, Junying Chen, Anningzhe Gao, Wenya Xie, Xiang Wan, Benyou Wang,
• Abstract要約: 大規模言語モデル(LLM)は、伝統的に人間の注釈付きデータセットと事前定義されたトレーニング目標に結び付けられてきた。 本稿では,LLMのための自律学習手法を提案する。 本手法は, LLMに対して, 文章と直接対話して自己学習を行う能力を与える。
• 参考スコア（独自算出の注目度）: 36.36147944680502
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the quest for super-human performance, Large Language Models (LLMs) have traditionally been tethered to human-annotated datasets and predefined training objectives-a process that is both labor-intensive and inherently limited. This paper presents a transformative approach: Autonomous Learning for LLMs, a self-sufficient learning paradigm that frees models from the constraints of human supervision. This method endows LLMs with the ability to self-educate through direct interaction with text, akin to a human reading and comprehending literature. Our approach eliminates the reliance on annotated data, fostering an Autonomous Learning environment where the model independently identifies and reinforces its knowledge gaps. Empirical results from our comprehensive experiments, which utilized a diverse array of learning materials and were evaluated against standard public quizzes, reveal that Autonomous Learning outstrips the performance of both Pre-training and Supervised Fine-Tuning (SFT), as well as retrieval-augmented methods. These findings underscore the potential of Autonomous Learning to not only enhance the efficiency and effectiveness of LLM training but also to pave the way for the development of more advanced, self-reliant AI systems.
• Abstract（参考訳）: 超人的パフォーマンスの追求において、Large Language Models (LLM) は伝統的に、人間の注釈付きデータセットと事前定義された訓練目標に結び付けられてきた。 本稿では、人間の監督の制約からモデルを解放する自己充足学習パラダイムであるLSMのための自律学習という、変革的なアプローチを提案する。 本手法は, LLMに対して, 文章と直接対話して自己学習を行う能力を与える。 我々のアプローチは、アノテーション付きデータへの依存を排除し、モデルが独立して認識し、その知識ギャップを補強する自律学習環境を育む。 各種の学習材料を応用し,一般のクイズに対して評価した包括的実験の結果,自律学習は,事前学習と監視ファインチューニング(SFT, Supervised Fine-Tuning, SFT)の両方のパフォーマンスを超越し, 検索を増強する方法も示している。 これらの知見は、LLMトレーニングの効率性と効果を高めるだけでなく、より先進的で自律的なAIシステムを開発するための道を開くために、自律学習の可能性を強調している。

関連論文リスト

• KBAlign: Efficient Self Adaptation on Specific Knowledge Bases [75.78948575957081]
  大規模言語モデル(LLM)は通常、知識材料を瞬時に活用するために、検索強化世代に依存している。 本稿では,知識ベースを含む下流タスクへの効率的な適応を目的としたKBAlignを提案する。 提案手法は,Q&Aペアやリビジョン提案などの自己注釈付きデータを用いて反復学習を行い,モデルが知識内容を効率的に把握できるようにする。
  論文  参考訳（メタデータ） (2024-11-22T08:21:03Z)
• Unlearning with Control: Assessing Real-world Utility for Large Language Model Unlearning [97.2995389188179]
  最近の研究は、勾配上昇(GA)を通した大規模言語モデル(LLM)の未学習にアプローチし始めている。 その単純さと効率性にもかかわらず、我々はGAベースの手法が過剰な未学習の傾向に直面することを示唆している。 過剰な未学習の度合いを制御できるいくつかの制御手法を提案する。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• Into the Unknown: Self-Learning Large Language Models [0.0]
  モデルに未知の原子知識を特定するために,未知の点 (PiU) という概念を導入する。 LLMの自己学習能力を評価するための評価指標を開発した。
  論文  参考訳（メタデータ） (2024-02-14T12:56:58Z)
• Rethinking Machine Unlearning for Large Language Models [85.92660644100582]
  大規模言語モデル(LLM)の領域における機械学習の研究 このイニシアチブは、望ましくないデータの影響(機密情報や違法情報など)と関連するモデル機能を排除することを目的としている。
  論文  参考訳（メタデータ） (2024-02-13T20:51:58Z)
• Human-AI Collaborative Essay Scoring: A Dual-Process Framework with LLMs [13.262711792955377]
  本研究では,Large Language Models (LLMs) のエッセイ自動評価における有効性について検討した。 本稿では,デュアルプロセス理論にインスパイアされたオープンソースのLLMベースのAESシステムを提案する。 本システムでは, 学習過程の自動化だけでなく, 成績や効率の向上も図っている。
  論文  参考訳（メタデータ） (2024-01-12T07:50:10Z)
• Democratizing Reasoning Ability: Tailored Learning from Large Language Model [97.4921006089966]
  そこで我々は,そのような推論能力をより小さなLMに蒸留する,適切な学習手法を提案する。 対話型多ラウンド学習パラダイムを構築することにより,理科教員としてのLLMの可能性を活用する。 より小さなLMの推論可能性を活用するために,学生が自作ミスから学習する動機付けを目的とした自己回帰学習を提案する。
  論文  参考訳（メタデータ） (2023-10-20T07:50:10Z)
• SELF: Self-Evolution with Language Feedback [68.6673019284853]
  SELF(Self-Evolution with Language Feedback)は、大規模言語モデルを進化させる新しいアプローチである。 LLMは、人間の学習プロセスと同様、自己回帰を通じて自己改善を可能にする。 数学および一般タスクにおける実験により,SELFは人間の介入なしにLLMの能力を高めることができることが示された。
  論文  参考訳（メタデータ） (2023-10-01T00:52:24Z)
• Self-directed Machine Learning [86.3709575146414]
  教育科学において、自己指導型学習は受動的教師指導型学習よりも効果的であることが示されている。 本稿では,自己指向機械学習(SDML)の基本概念を紹介し,SDMLのためのフレームワークを提案する。 提案したSDMLプロセスは,自己タスク選択,自己データ選択,自己モデル選択,自己最適化戦略選択,自己評価基準選択の恩恵を受ける。
  論文  参考訳（メタデータ） (2022-01-04T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。