論文の概要: Into the Unknown: Self-Learning Large Language Models

• arxiv url: http://arxiv.org/abs/2402.09147v2
• Date: Tue, 4 Jun 2024 12:44:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 12:58:06.397444
• Title: Into the Unknown: Self-Learning Large Language Models
• Title（参考訳）: Into the Unknown: Self-Learning Large Language Models
• Authors: Teddy Ferdinan, Jan Kocoń, Przemysław Kazienko,
• Abstract要約: 本研究では,LLMが未知の知識を独立して学習することのできる自己学習フレームワークを提案する。 幻覚スコアを用いて未知の点(PiU)の新たな概念を導入する。 これは、未知のポイントにおける知識ギャップにのみ焦点をあてた、自己学習ループの作成を容易にする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We address the main problem of self-learning LLM: the question of what to learn. We propose a self-learning LLM framework that enables an LLM to independently learn previously unknown knowledge through selfassessment of their own hallucinations. Using the hallucination score, we introduce a new concept of Points in the Unknown (PiUs), along with one extrinsic and three intrinsic methods for automatic PiUs identification. It facilitates the creation of a self-learning loop that focuses exclusively on the knowledge gap in Points in the Unknown, resulting in a reduced hallucination score. We also developed evaluation metrics for gauging an LLM's self-learning capability. Our experiments revealed that 7B-Mistral models that have been finetuned or aligned and RWKV5-Eagle are capable of self-learning considerably well. Our self-learning concept allows more efficient LLM updates and opens new perspectives for knowledge exchange. It may also increase public trust in AI.
• Abstract（参考訳）: 自己学習 LLM の主な課題は,何を学ぶべきかという問題である。 本研究では,LLMが自覚の自己評価を通じて,未知の知識を独立に学習することのできる自己学習型LLMフレームワークを提案する。 幻覚スコアを用いて,未知の点 (PiU) の新たな概念と,PiUの自動識別のための1つの外生法と3つの内生法を導入する。 未知の点における知識ギャップにのみ焦点をあてた自己学習ループの作成が促進され、幻覚のスコアが減少する。 LLMの自己学習能力向上のための評価指標も開発した。 実験の結果,7B-ミストラルモデルとRWKV5-Eagleが十分に自己学習できることがわかった。 我々の自己学習の概念は、より効率的なLLM更新を可能にし、知識交換のための新しい視点を開放します。 また、AIに対する公的な信頼を高めることもできる。

関連論文リスト

• Self-Cognition in Large Language Models: An Exploratory Study [77.47074736857726]
  本稿では,Large Language Models(LLMs)における自己認識の先駆的研究を行う。 まず,LLMが自己認識を示す場所を評価するために,自己認識指導のプールを構築した。 モデルサイズ, トレーニングデータ品質, 自己認識レベルとの間には, 正の相関関係が認められた。
  論文  参考訳（メタデータ） (2024-07-01T17:52:05Z)
• LLMs Could Autonomously Learn Without External Supervision [36.36147944680502]
  大規模言語モデル(LLM)は、伝統的に人間の注釈付きデータセットと事前定義されたトレーニング目標に結び付けられてきた。 本稿では,LLMのための自律学習手法を提案する。 本手法は, LLMに対して, 文章と直接対話して自己学習を行う能力を与える。
  論文  参考訳（メタデータ） (2024-06-02T03:36:37Z)
• Rethinking Machine Unlearning for Large Language Models [85.92660644100582]
  大規模言語モデル(LLM)の領域における機械学習の研究 このイニシアチブは、望ましくないデータの影響(機密情報や違法情報など)と関連するモデル機能を排除することを目的としている。
  論文  参考訳（メタデータ） (2024-02-13T20:51:58Z)
• Democratizing Reasoning Ability: Tailored Learning from Large Language Model [97.4921006089966]
  そこで我々は,そのような推論能力をより小さなLMに蒸留する,適切な学習手法を提案する。 対話型多ラウンド学習パラダイムを構築することにより,理科教員としてのLLMの可能性を活用する。 より小さなLMの推論可能性を活用するために,学生が自作ミスから学習する動機付けを目的とした自己回帰学習を提案する。
  論文  参考訳（メタデータ） (2023-10-20T07:50:10Z)
• SELF: Self-Evolution with Language Feedback [68.6673019284853]
  SELF(Self-Evolution with Language Feedback)は、大規模言語モデルを進化させる新しいアプローチである。 LLMは、人間の学習プロセスと同様、自己回帰を通じて自己改善を可能にする。 数学および一般タスクにおける実験により,SELFは人間の介入なしにLLMの能力を高めることができることが示された。
  論文  参考訳（メタデータ） (2023-10-01T00:52:24Z)
• Do Large Language Models Know What They Don't Know? [74.65014158544011]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに優れた知識を持つ。 膨大な知識にもかかわらず、LLMはそれらが適合し理解できる情報の量によって制限されている。 本研究の目的は,LLMの自己理解能力を評価することである。
  論文  参考訳（メタデータ） (2023-05-29T15:30:13Z)
• Self-directed Machine Learning [86.3709575146414]
  教育科学において、自己指導型学習は受動的教師指導型学習よりも効果的であることが示されている。 本稿では,自己指向機械学習(SDML)の基本概念を紹介し,SDMLのためのフレームワークを提案する。 提案したSDMLプロセスは,自己タスク選択,自己データ選択,自己モデル選択,自己最適化戦略選択,自己評価基準選択の恩恵を受ける。
  論文  参考訳（メタデータ） (2022-01-04T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。