論文の概要: Self-Cognition in Large Language Models: An Exploratory Study

• arxiv url: http://arxiv.org/abs/2407.01505v1
• Date: Mon, 1 Jul 2024 17:52:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 20:21:46.297009
• Title: Self-Cognition in Large Language Models: An Exploratory Study
• Title（参考訳）: 大規模言語モデルにおける自己認知 : 探索的研究
• Authors: Dongping Chen, Jiawen Shi, Yao Wan, Pan Zhou, Neil Zhenqiang Gong, Lichao Sun,
• Abstract要約: 本稿では,Large Language Models(LLMs)における自己認識の先駆的研究を行う。 まず,LLMが自己認識を示す場所を評価するために,自己認識指導のプールを構築した。 モデルサイズ, トレーニングデータ品質, 自己認識レベルとの間には, 正の相関関係が認められた。
• 参考スコア（独自算出の注目度）: 77.47074736857726
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While Large Language Models (LLMs) have achieved remarkable success across various applications, they also raise concerns regarding self-cognition. In this paper, we perform a pioneering study to explore self-cognition in LLMs. Specifically, we first construct a pool of self-cognition instruction prompts to evaluate where an LLM exhibits self-cognition and four well-designed principles to quantify LLMs' self-cognition. Our study reveals that 4 of the 48 models on Chatbot Arena--specifically Command R, Claude3-Opus, Llama-3-70b-Instruct, and Reka-core--demonstrate some level of detectable self-cognition. We observe a positive correlation between model size, training data quality, and self-cognition level. Additionally, we also explore the utility and trustworthiness of LLM in the self-cognition state, revealing that the self-cognition state enhances some specific tasks such as creative writing and exaggeration. We believe that our work can serve as an inspiration for further research to study the self-cognition in LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は様々なアプリケーションで顕著な成功を収めてきたが、自己認識に関する懸念も持ち上がっている。 本稿では,LLMにおける自己認識の先駆的な研究を行う。 具体的には、まず、LLMが自己認識を示す場所と、LLMの自己認識を定量化するための4つのよく設計された原則を評価するための自己認識指導のプールを構築する。 本研究により,Chatbot Arenaの48モデルのうち4モデルがコマンドR,Claude3-Opus,Llama-3-70b-Instruct,Reka-coreで検出可能な自己認識のレベルを実証していることがわかった。 モデルサイズ, トレーニングデータ品質, 自己認識レベルとの間には, 正の相関関係が認められた。 さらに、自己認識状態におけるLCMの有用性と信頼性についても検討し、自己認識状態が創造的な文章や誇張といった特定のタスクを強化することを明らかにした。 我々の研究は、LLMの自己認知を研究するためのさらなる研究のインスピレーションとなると信じている。

関連論文リスト

• Self-Tuning: Instructing LLMs to Effectively Acquire New Knowledge through Self-Teaching [67.11497198002165]
  大きな言語モデル(LLM)は、一度のトレーニングのために最新の情報を提供するのに苦労することが多い。 効率的なヒューマンラーニングにおけるFeynman Techniqueの顕著な成功に感銘を受け、セルフチューニングを紹介した。
  論文  参考訳（メタデータ） (2024-06-10T14:42:20Z)
• Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing [56.75702900542643]
  大規模言語モデルの自己改善のためのAlphaLLMを紹介する。 モンテカルロ木探索(MCTS)とLLMを統合し、自己改善ループを確立する。 実験の結果,AlphaLLM は付加アノテーションを使わずに LLM の性能を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-04-18T15:21:34Z)
• LLM Evaluators Recognize and Favor Their Own Generations [33.672365386365236]
  自己認識能力が自己評価に寄与するかどうかを検討する。 自己認識能力と自己参照バイアスの強さとの間には線形な相関関係が認められた。 我々は、自己認識が偏見のない評価やAIの安全性をより一般的に阻害する方法について論じる。
  論文  参考訳（メタデータ） (2024-04-15T16:49:59Z)
• Self-Alignment for Factuality: Mitigating Hallucinations in LLMs via Self-Evaluation [71.91287418249688]
  大規模言語モデル(LLM)は、たとえ関連する知識を持っていたとしても、事実的不正確さに悩まされることが多い。 我々は,LLMの自己評価能力を活用し,現実性に向けてモデルを操る訓練信号を提供する。 提案手法は,Llamaファミリーモデルに対して,3つの重要な知識集約タスクにおいて,現実的精度を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-02-14T15:52:42Z)
• Into the Unknown: Self-Learning Large Language Models [0.0]
  モデルに未知の原子知識を特定するために,未知の点 (PiU) という概念を導入する。 LLMの自己学習能力を評価するための評価指標を開発した。
  論文  参考訳（メタデータ） (2024-02-14T12:56:58Z)
• Exploring the Cognitive Knowledge Structure of Large Language Models: An Educational Diagnostic Assessment Approach [50.125704610228254]
  大規模言語モデル(LLM)は、様々なタスクにまたがる例外的なパフォーマンスを示すだけでなく、知性の火花も示している。 近年の研究では、人間の試験における能力の評価に焦点が当てられ、異なる領域における彼らの印象的な能力を明らかにしている。 ブルーム分類に基づく人体検査データセットであるMoocRadarを用いて評価を行った。
  論文  参考訳（メタデータ） (2023-10-12T09:55:45Z)
• The Confidence-Competence Gap in Large Language Models: A Cognitive Study [3.757390057317548]
  大規模言語モデル(LLM)は、様々な領域にわたるパフォーマンスに対して、広く注目を集めている。 我々はこれらのモデルを多様なアンケートと実世界のシナリオで活用する。 この結果から,モデルが誤答しても高い信頼性を示す興味深い事例が判明した。
  論文  参考訳（メタデータ） (2023-09-28T03:50:09Z)
• Do Large Language Models Know What They Don't Know? [74.65014158544011]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに優れた知識を持つ。 膨大な知識にもかかわらず、LLMはそれらが適合し理解できる情報の量によって制限されている。 本研究の目的は,LLMの自己理解能力を評価することである。
  論文  参考訳（メタデータ） (2023-05-29T15:30:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。