論文の概要: Supervised Knowledge Makes Large Language Models Better In-context Learners

• arxiv url: http://arxiv.org/abs/2312.15918v2
• Date: Thu, 11 Apr 2024 06:41:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-12 18:45:46.819596
• Title: Supervised Knowledge Makes Large Language Models Better In-context Learners
• Title（参考訳）: 文脈内学習者のための大規模言語モデル構築のための教師付き知識
• Authors: Linyi Yang, Shuibai Zhang, Zhuohao Yu, Guangsheng Bao, Yidong Wang, Jindong Wang, Ruochen Xu, Wei Ye, Xing Xie, Weizhu Chen, Yue Zhang,
• Abstract要約: 大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
• 参考スコア（独自算出の注目度）: 94.89301696512776
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) exhibit emerging in-context learning abilities through prompt engineering. The recent progress in large-scale generative models has further expanded their use in real-world language applications. However, the critical challenge of improving the generalizability and factuality of LLMs in natural language understanding and question answering remains under-explored. While previous in-context learning research has focused on enhancing models to adhere to users' specific instructions and quality expectations, and to avoid undesired outputs, little to no work has explored the use of task-Specific fine-tuned Language Models (SLMs) to improve LLMs' in-context learning during the inference stage. Our primary contribution is the establishment of a simple yet effective framework that enhances the reliability of LLMs as it: 1) generalizes out-of-distribution data, 2) elucidates how LLMs benefit from discriminative models, and 3) minimizes hallucinations in generative tasks. Using our proposed plug-in method, enhanced versions of Llama 2 and ChatGPT surpass their original versions regarding generalizability and factuality. We offer a comprehensive suite of resources, including 16 curated datasets, prompts, model checkpoints, and LLM outputs across 9 distinct tasks. The code and data are released at: https://github.com/YangLinyi/Supervised-Knowledge-Makes-Large-Language-Models-Better-In-context-Lear ners. Our empirical analysis sheds light on the advantages of incorporating discriminative models into LLMs and highlights the potential of our methodology in fostering more reliable LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 大規模生成モデルの最近の進歩は、現実世界の言語アプリケーションでの使用をさらに拡大している。 しかし、自然言語理解や質問応答におけるLLMの一般化性と現実性を改善するという重要な課題は、まだ未解決のままである。 従来のインコンテキスト学習研究は,ユーザの特定の指示や品質期待に順応するモデルの改善と,望ましくないアウトプットを避けることに注力してきたが,推論段階におけるLLMのインコンテキスト学習を改善するために,タスク特化言語モデル(SLM)の使用を検討する研究はほとんど行われていない。 我々の主な貢献は、LCMの信頼性を高めるシンプルで効果的なフレームワークの確立である。 1)アウト・オブ・ディストリビューションデータを一般化する。 2) LLM の差別モデルによる利益の解明,及び 3) 生成タスクにおける幻覚の最小化。 提案手法を用いて,Llama 2 と ChatGPT の強化版が,一般化可能性および事実性に関する原バージョンを上回った。 16のキュレートされたデータセット、プロンプト、モデルチェックポイント、9つの異なるタスクにわたるLLM出力を含む、包括的なリソーススイートを提供しています。 コードとデータは、https://github.com/YangLinyi/Supervised-Knowledge-Makes-Language-Models-Better-In-context-Learnersでリリースされる。 実験分析では, LLMに識別モデルを組み込むことの利点に光を当て, より信頼性の高い LLM を育成する手法の可能性を強調した。

関連論文リスト

• Leveraging Open-Source Large Language Models for Native Language Identification [1.6267479602370543]
  ネイティブ言語識別(NLI)は、法医学、マーケティング、第二言語習得に応用されている。 本研究では,オープンソース生成型大規模言語モデル(LLM)をNLIに適用する可能性について検討する。
  論文  参考訳（メタデータ） (2024-09-15T08:14:18Z)
• SNAP: Unlearning Selective Knowledge in Large Language Models with Negative Instructions [37.172662930947446]
  命令追従型大規模言語モデル(LLM)は、個人または著作権のある情報を故意に開示する。 SNAPは,情報を選択的に学習するための革新的なフレームワークである。 我々は,NLPベンチマークにおけるフレームワークの評価を行い,提案手法が元のLLM能力を維持していることを示す。
  論文  参考訳（メタデータ） (2024-06-18T06:54:05Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• History, Development, and Principles of Large Language Models-An Introductory Survey [15.875687167037206]
  自然言語処理(NLP)の基盤となる言語モデル 数十年にわたる広範な研究を経て、言語モデリングは、初期統計言語モデル(SLM)から、大規模言語モデル(LLM)の現代的景観へと進歩してきた。
  論文  参考訳（メタデータ） (2024-02-10T01:18:15Z)
• Continual Learning for Large Language Models: A Survey [95.79977915131145]
  大規模言語モデル(LLM)は、大規模なトレーニングコストが高いため、頻繁な再トレーニングには適さない。 本稿では,LLMの連続学習に関する最近の研究について述べる。
  論文  参考訳（メタデータ） (2024-02-02T12:34:09Z)
• Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。 自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。 これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
  論文  参考訳（メタデータ） (2024-01-30T17:38:54Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• Give Us the Facts: Enhancing Large Language Models with Knowledge Graphs for Fact-aware Language Modeling [34.59678835272862]
  代表的大規模言語モデル(LLM)であるChatGPTは、その強力な創発的能力のために注目されている。 本稿では,知識グラフ強化大言語モデル(KGLLM)によるLLMの強化を提案する。 KGLLMはLLMの事実推論能力を高めるソリューションを提供し、LLM研究のための新たな道を開く。
  論文  参考訳（メタデータ） (2023-06-20T12:21:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。