論文の概要: Into the Unknown: Self-Learning Large Language Models

• arxiv url: http://arxiv.org/abs/2402.09147v4
• Date: Tue, 12 Nov 2024 03:50:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:17:12.171834
• Title: Into the Unknown: Self-Learning Large Language Models
• Title（参考訳）: Into the Unknown: Self-Learning Large Language Models
• Authors: Teddy Ferdinan, Jan Kocoń, Przemysław Kazienko,
• Abstract要約: モデルに未知の原子知識を特定するために,未知の点 (PiU) という概念を導入する。 LLMの自己学習能力を評価するための評価指標を開発した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We address the main problem of self-learning LLM: the question of what to learn. We propose a self-learning LLM framework that enables an LLM to independently learn previously unknown knowledge through self-assessment of their own hallucinations. We introduce a concept called Point in the Unknown (PiU) to identify atomic knowledge unknown to a model, along with four methods for automatic PiUs identification, facilitating the creation of a self-learning loop that focuses exclusively on the absorption of currently unknown knowledge into the model. Additionally, we developed evaluation metrics to gauge an LLM's self-learning capability. Our experiments revealed that LLMs with at least 3B parameters that have undergone some instruction training would be able to perform self-learning well. We further proved the effectiveness of self-learning by comparing the performance of a model that has undergone self-learning to a model that has not. Our self-learning concept allows more efficient LLM updates and opens new perspectives for LLM knowledge exchange.
• Abstract（参考訳）: 自己学習 LLM の主な課題は,何を学ぶべきかという問題である。 本研究では,LLMが自覚の自己評価を通じて,未知の知識を独立に学習することのできる自己学習型LLMフレームワークを提案する。 我々は、モデルに未知の原子知識を識別する「未知のポイント」という概念と、モデルに未知の知識を吸収することに特化した自己学習ループの作成を促進する4つの方法を紹介した。 さらに,LLMの自己学習能力を評価するための評価指標を開発した。 実験の結果,少なくとも3Bパラメータを持つLCMは,ある程度の指導訓練を行えば,自己学習をうまく行うことができることがわかった。 さらに,自己学習を行ったモデルの性能を未学習モデルと比較することにより,自己学習の有効性を実証した。 我々の自己学習の概念は、より効率的なLLM更新を可能にし、LLM知識交換のための新しい視点を開放します。

関連論文リスト

• Self-Cognition in Large Language Models: An Exploratory Study [77.47074736857726]
  本稿では,Large Language Models(LLMs)における自己認識の先駆的研究を行う。 まず,LLMが自己認識を示す場所を評価するために,自己認識指導のプールを構築した。 モデルサイズ, トレーニングデータ品質, 自己認識レベルとの間には, 正の相関関係が認められた。
  論文  参考訳（メタデータ） (2024-07-01T17:52:05Z)
• LLMs Could Autonomously Learn Without External Supervision [36.36147944680502]
  大規模言語モデル(LLM)は、伝統的に人間の注釈付きデータセットと事前定義されたトレーニング目標に結び付けられてきた。 本稿では,LLMのための自律学習手法を提案する。 本手法は, LLMに対して, 文章と直接対話して自己学習を行う能力を与える。
  論文  参考訳（メタデータ） (2024-06-02T03:36:37Z)
• Rethinking Machine Unlearning for Large Language Models [85.92660644100582]
  大規模言語モデル(LLM)の領域における機械学習の研究 このイニシアチブは、望ましくないデータの影響(機密情報や違法情報など)と関連するモデル機能を排除することを目的としている。
  論文  参考訳（メタデータ） (2024-02-13T20:51:58Z)
• Democratizing Reasoning Ability: Tailored Learning from Large Language Model [97.4921006089966]
  そこで我々は,そのような推論能力をより小さなLMに蒸留する,適切な学習手法を提案する。 対話型多ラウンド学習パラダイムを構築することにより,理科教員としてのLLMの可能性を活用する。 より小さなLMの推論可能性を活用するために,学生が自作ミスから学習する動機付けを目的とした自己回帰学習を提案する。
  論文  参考訳（メタデータ） (2023-10-20T07:50:10Z)
• SELF: Self-Evolution with Language Feedback [68.6673019284853]
  SELF(Self-Evolution with Language Feedback)は、大規模言語モデルを進化させる新しいアプローチである。 LLMは、人間の学習プロセスと同様、自己回帰を通じて自己改善を可能にする。 数学および一般タスクにおける実験により,SELFは人間の介入なしにLLMの能力を高めることができることが示された。
  論文  参考訳（メタデータ） (2023-10-01T00:52:24Z)
• Do Large Language Models Know What They Don't Know? [74.65014158544011]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに優れた知識を持つ。 膨大な知識にもかかわらず、LLMはそれらが適合し理解できる情報の量によって制限されている。 本研究の目的は,LLMの自己理解能力を評価することである。
  論文  参考訳（メタデータ） (2023-05-29T15:30:13Z)
• Self-directed Machine Learning [86.3709575146414]
  教育科学において、自己指導型学習は受動的教師指導型学習よりも効果的であることが示されている。 本稿では,自己指向機械学習(SDML)の基本概念を紹介し,SDMLのためのフレームワークを提案する。 提案したSDMLプロセスは,自己タスク選択,自己データ選択,自己モデル選択,自己最適化戦略選択,自己評価基準選択の恩恵を受ける。
  論文  参考訳（メタデータ） (2022-01-04T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。