論文の概要: Small Language Model Can Self-correct
- arxiv url: http://arxiv.org/abs/2401.07301v1
- Date: Sun, 14 Jan 2024 14:29:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-17 18:57:50.011282
- Title: Small Language Model Can Self-correct
- Title(参考訳): 小さい言語モデルは自己修正できる
- Authors: Haixia Han, Jiaqing Liang, Jie Shi, Qianyu He, Yanghua Xiao
- Abstract要約: 本稿では,自己トリガー方式でLMの初期出力を補正することを目的として,生成言語モデルに内在的アンダーライン・アンダーライン・コレクション(ISC)を導入する。
我々は,60億から13億のパラメータサイズを持つLMを用いて,常識推論と事実知識推論を含む2つのタスクで実験を行う。
- 参考スコア(独自算出の注目度): 45.88146019748852
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative Language Models (LMs) such as ChatGPT have exhibited remarkable
performance across various downstream tasks. Nevertheless, one of their most
prominent drawbacks is generating inaccurate or false information with a
confident tone. Previous studies have devised sophisticated pipelines and
prompts to induce large LMs to exhibit the capability for self-correction.
However, large LMs are explicitly prompted to verify and modify its answers
separately rather than completing all steps spontaneously like humans.
Moreover, these complex prompts are extremely challenging for small LMs to
follow. In this paper, we introduce the \underline{I}ntrinsic
\underline{S}elf-\underline{C}orrection (ISC) in generative language models,
aiming to correct the initial output of LMs in a self-triggered manner, even
for those small LMs with 6 billion parameters. Specifically, we devise a
pipeline for constructing self-correction data and propose Partial Answer
Masking (PAM), aiming to endow the model with the capability for intrinsic
self-correction through fine-tuning. We conduct experiments using LMs with
parameters sizes ranging from 6 billion to 13 billion in two tasks, including
commonsense reasoning and factual knowledge reasoning. Our experiments
demonstrate that the outputs generated using ISC outperform those generated
without self-correction. We believe that the output quality of even small LMs
can be further improved by empowering them with the ability to intrinsic
self-correct.
- Abstract(参考訳): ChatGPTのようなジェネレーティブ言語モデル(LM)は、様々な下流タスクで顕著なパフォーマンスを示している。
それでも、最も顕著な欠点の1つは、自信のあるトーンで不正確または偽の情報を生成することである。
従来の研究では、高度なパイプラインを考案し、大規模なLMを誘導して自己補正能力を示すよう促している。
しかし、大きなLMは、自然に人間のように全てのステップを完了させるのではなく、その答えを個別に検証し、修正するよう明示的に促される。
さらに、これらの複雑なプロンプトは小さなlmsでは極めて困難である。
本稿では,60億個のパラメータを持つ小さなLMであっても,自己トリガー方式でLMの初期出力を補正することを目的として,生成言語モデルに \underline{I}ntrinsic \underline{S}elf-\underline{C}orrection (ISC) を導入する。
具体的には,自己修正データ構築のためのパイプラインを考案し,微調整による内在的自己修正能力を有するモデルへの支援を目的とした部分的回答マスク(pam)を提案する。
我々は,60億から13億のパラメータサイズを持つLMを用いて,常識推論と事実知識推論を含む2つのタスクで実験を行う。
ISCを用いて生成した出力は自己補正なしで生成した出力よりも優れていた。
内在的な自己修正能力を持たせることで、小さなlmsでも出力品質がさらに向上できると考えています。
関連論文リスト
- Perils of Self-Feedback: Self-Bias Amplifies in Large Language Models [79.5116305401044]
セルフフィードバックは、特定のタスクにおいて大きな言語モデル(LLM)を改善し、他のタスクを悪化させる。
近年の研究では、自己フィードバックは特定のタスクにおいて大きな言語モデル(LLM)を改善する一方で、他のタスクを悪化させることが示されている。
本稿は、LSMの自己バイアス(自称世代を好む傾向)を正式に定義する。
論文 参考訳(メタデータ) (2024-02-18T03:10:39Z) - Language Models with Conformal Factuality Guarantees [44.767328168194815]
コンフォーマルな事実性(conformal factuality)は、言語モデル(LM)出力に対する高い確率の正確性を保証するフレームワークである。
言語モデルにおける共形予測は,高い確率精度保証を提供するバックオフアルゴリズムに対応することを示す。
論文 参考訳(メタデータ) (2024-02-15T18:31:53Z) - Deductive Closure Training of Language Models for Coherence, Accuracy,
and Updatability [52.298001704957635]
言語モデル(LM)は、実際に正しいテキストを生成し、個々のクレームの真理値を推定することがある。
現在のLMは誤った内容や非意味な内容を生成しており、編集や更新は困難である。
本稿では,DCT(Deductive Closure Training)と呼ばれる手法を提案する。
論文 参考訳(メタデータ) (2024-01-16T18:58:37Z) - DSPy Assertions: Computational Constraints for Self-Refining Language
Model Pipelines [41.779902953557425]
組込み言語モデル(LM)は構成可能なモジュールと呼ばれ、新しいプログラミング方法の原動力となっている。
本稿では,LM が満たすべき計算制約を表現する構造である LM Assertions を紹介する。
我々は、DSPyがLM Assertionsでプログラムをより信頼性が高く正確なシステムにコンパイルできる新しい戦略を提案する。
論文 参考訳(メタデータ) (2023-12-20T19:13:26Z) - Frugal LMs Trained to Invoke Symbolic Solvers Achieve
Parameter-Efficient Arithmetic Reasoning [36.8749786658624]
大規模言語モデル(LLM)は、スケールで発生した振る舞いとしてゼロショットの数学的推論能力を示す。
算術語問題を正規化テーマ解決タスクとして提案した場合,小さいLMでは合理的な算術的推論が可能であることを示す。
論文 参考訳(メタデータ) (2023-12-09T13:20:49Z) - The False Promise of Imitating Proprietary LLMs [158.65692029352584]
より弱い言語モデルを安価に改善するための新しい方法は、より強力なモデルからの出力に対してそれを微調整することである。
このアプローチは、より弱いオープンソースモデルを使用して、プロプライエタリなモデルの機能を安価に模倣することを目指している。
まず、様々なベースモデルサイズを用いてChatGPTを模倣する一連のLMを微調整する。
次に、群衆レーダと標準NLPベンチマークを用いてモデルを評価する。
論文 参考訳(メタデータ) (2023-05-25T05:00:12Z) - Prompting as Probing: Using Language Models for Knowledge Base
Construction [1.6050172226234583]
我々は,2020年にOpenAIが提案した大規模言語モデルであるGPT-3を利用したProP(Prompting as Probing)を提案する。
ProPは、様々なプロンプト技術を組み合わせてこれを実現するマルチステップアプローチを実装している。
評価の結果,提案手法は最終的な予測精度を大幅に向上させることが可能であることが示唆された。
論文 参考訳(メタデータ) (2022-08-23T16:03:50Z) - Librispeech Transducer Model with Internal Language Model Prior
Correction [58.579080710256704]
外部言語モデル (LM) を浅い融合で含み、推定された内部 LM を減算する変種を研究する。
内部LMの減算は、通常の浅い融合よりも14%以上の相対的な改善をもたらします。
我々のトランスデューサは、非ブランクラベルに対して異なる確率分布を持つ。
論文 参考訳(メタデータ) (2021-04-07T09:18:56Z) - Language Model Prior for Low-Resource Neural Machine Translation [85.55729693003829]
ニューラル翻訳モデル (TM) において, LM を事前に組み込む新しい手法を提案する。
正規化項を追加し、TMの出力分布をLMの下で予測可能とする。
2つの低リソース機械翻訳データセットの結果は、限られたモノリンガルデータであっても明らかな改善を示している。
論文 参考訳(メタデータ) (2020-04-30T16:29:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。