論文の概要: Small Language Model Can Self-correct

• arxiv url: http://arxiv.org/abs/2401.07301v1
• Date: Sun, 14 Jan 2024 14:29:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-17 18:57:50.011282
• Title: Small Language Model Can Self-correct
• Title（参考訳）: 小さい言語モデルは自己修正できる
• Authors: Haixia Han, Jiaqing Liang, Jie Shi, Qianyu He, Yanghua Xiao
• Abstract要約: 本稿では,自己トリガー方式でLMの初期出力を補正することを目的として,生成言語モデルに内在的アンダーライン・アンダーライン・コレクション(ISC)を導入する。 我々は,60億から13億のパラメータサイズを持つLMを用いて,常識推論と事実知識推論を含む2つのタスクで実験を行う。
• 参考スコア（独自算出の注目度）: 45.88146019748852
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative Language Models (LMs) such as ChatGPT have exhibited remarkable performance across various downstream tasks. Nevertheless, one of their most prominent drawbacks is generating inaccurate or false information with a confident tone. Previous studies have devised sophisticated pipelines and prompts to induce large LMs to exhibit the capability for self-correction. However, large LMs are explicitly prompted to verify and modify its answers separately rather than completing all steps spontaneously like humans. Moreover, these complex prompts are extremely challenging for small LMs to follow. In this paper, we introduce the \underline{I}ntrinsic \underline{S}elf-\underline{C}orrection (ISC) in generative language models, aiming to correct the initial output of LMs in a self-triggered manner, even for those small LMs with 6 billion parameters. Specifically, we devise a pipeline for constructing self-correction data and propose Partial Answer Masking (PAM), aiming to endow the model with the capability for intrinsic self-correction through fine-tuning. We conduct experiments using LMs with parameters sizes ranging from 6 billion to 13 billion in two tasks, including commonsense reasoning and factual knowledge reasoning. Our experiments demonstrate that the outputs generated using ISC outperform those generated without self-correction. We believe that the output quality of even small LMs can be further improved by empowering them with the ability to intrinsic self-correct.
• Abstract（参考訳）: ChatGPTのようなジェネレーティブ言語モデル(LM)は、様々な下流タスクで顕著なパフォーマンスを示している。 それでも、最も顕著な欠点の1つは、自信のあるトーンで不正確または偽の情報を生成することである。 従来の研究では、高度なパイプラインを考案し、大規模なLMを誘導して自己補正能力を示すよう促している。 しかし、大きなLMは、自然に人間のように全てのステップを完了させるのではなく、その答えを個別に検証し、修正するよう明示的に促される。 さらに、これらの複雑なプロンプトは小さなlmsでは極めて困難である。 本稿では,60億個のパラメータを持つ小さなLMであっても,自己トリガー方式でLMの初期出力を補正することを目的として,生成言語モデルに \underline{I}ntrinsic \underline{S}elf-\underline{C}orrection (ISC) を導入する。 具体的には,自己修正データ構築のためのパイプラインを考案し,微調整による内在的自己修正能力を有するモデルへの支援を目的とした部分的回答マスク(pam)を提案する。 我々は,60億から13億のパラメータサイズを持つLMを用いて,常識推論と事実知識推論を含む2つのタスクで実験を行う。 ISCを用いて生成した出力は自己補正なしで生成した出力よりも優れていた。 内在的な自己修正能力を持たせることで、小さなlmsでも出力品質がさらに向上できると考えています。

関連論文リスト

• Smaller Large Language Models Can Do Moral Self-Correction [7.899707459486236]
  自己補正は、大規模言語モデル(LLM)の最も驚くべき新興能力の1つです。 道徳的自己補正(Moral self-correction)は、非倫理的世代を勾配更新を必要とせずに修正するポストホックアプローチである。 以前の研究では、LLMは自己退行を可能としており、22B未満のパラメータを持つ小さなモデルでは道徳的な自己訂正ができないことが報告されている。
  論文  参考訳（メタデータ） (2024-10-30T22:58:57Z)
• CaLM: Contrasting Large and Small Language Models to Verify Grounded Generation [76.31621715032558]
  グラウンデッドジェネレーションは、言語モデル(LM)に、より信頼性が高く説明可能な応答を生成する能力を持たせることを目的としている。 本稿では,新しい検証フレームワークであるCaLMを紹介する。 我々のフレームワークは、より少ないパラメトリックメモリに依存する小さなLMを有効活用し、より大きなLMの出力を検証する。
  論文  参考訳（メタデータ） (2024-06-08T06:04:55Z)
• Small Language Models Need Strong Verifiers to Self-Correct Reasoning [69.94251699982388]
  大規模言語モデル(LLM)の推論性能を高めるための有望なソリューションとして自己補正が登場した。 この研究は、小さい(=13B)言語モデル(LM)が、より強いLMから最小の入力で推論タスクを自己補正できるかどうかを考察する。
  論文  参考訳（メタデータ） (2024-04-26T03:41:28Z)
• Can Small Language Models Help Large Language Models Reason Better?: LM-Guided Chain-of-Thought [51.240387516059535]
  タスク推論において,ブラックボックスの大きな (>10B) LMを導くために,軽量 (すなわち 1B) 言語モデル (LM) を利用する新しいフレームワーク LM-Guided CoT を導入する。 1)知識蒸留と2)合理性指向とタスク指向の報酬信号からの強化学習を通してモデルを最適化する。
  論文  参考訳（メタデータ） (2024-04-04T12:46:37Z)
• Pride and Prejudice: LLM Amplifies Self-Bias in Self-Refinement [75.7148545929689]
  大規模言語モデル(LLM)は、特定のタスクの自己フィードバックを通じてパフォーマンスを向上し、他のタスクを劣化させる。 我々は、LSMの自己バイアス(自称世代を好む傾向)を正式に定義する。 我々は、翻訳、制約付きテキスト生成、数学的推論の6つのLCMを解析する。
  論文  参考訳（メタデータ） (2024-02-18T03:10:39Z)
• Language Models with Conformal Factuality Guarantees [44.767328168194815]
  コンフォーマルな事実性(conformal factuality)は、言語モデル(LM)出力に対する高い確率の正確性を保証するフレームワークである。 言語モデルにおける共形予測は,高い確率精度保証を提供するバックオフアルゴリズムに対応することを示す。
  論文  参考訳（メタデータ） (2024-02-15T18:31:53Z)
• Deductive Closure Training of Language Models for Coherence, Accuracy, and Updatability [58.582216812183496]
  言語モデル(LM)は、実際に正しいテキストを生成し、個々のクレームの真理値を推定することがある。 現在のLMは誤った内容や非意味な内容を生成しており、編集や更新は困難である。 本稿では,DCT(Deductive Closure Training)と呼ばれる手法を提案する。
  論文  参考訳（メタデータ） (2024-01-16T18:58:37Z)
• DSPy Assertions: Computational Constraints for Self-Refining Language Model Pipelines [41.779902953557425]
  組込み言語モデル(LM)は構成可能なモジュールと呼ばれ、新しいプログラミング方法の原動力となっている。 本稿では,LM が満たすべき計算制約を表現する構造である LM Assertions を紹介する。 我々は、DSPyがLM Assertionsでプログラムをより信頼性が高く正確なシステムにコンパイルできる新しい戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-20T19:13:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。