論文の概要: I Learn Better If You Speak My Language: Enhancing Large Language Model
Fine-Tuning with Style-Aligned Response Adjustments
- arxiv url: http://arxiv.org/abs/2402.11192v1
- Date: Sat, 17 Feb 2024 05:05:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 22:50:04.705080
- Title: I Learn Better If You Speak My Language: Enhancing Large Language Model
Fine-Tuning with Style-Aligned Response Adjustments
- Title(参考訳): 私の言語を話せば、もっと学ぶ - スタイル調整による大規模言語モデルの微調整
- Authors: Xuan Ren and Biao Wu and Lingqiao Liu
- Abstract要約: 本研究では,微調整過程における接地構造応答のスタイルの影響について検討した。
提案手法は,モデルの既存応答を最小限に修正して誤りを訂正する手法である。
この技術は、モデルのネイティブレスポンススタイルに合わせて正確な修正を可能にし、モデルのコア能力を保護し、過剰な適合を避ける。
- 参考スコア(独自算出の注目度): 25.910151136027064
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fine-tuning large language models (LLMs) with a small data set for particular
tasks is a widely encountered yet complex challenge. The potential for
overfitting on a limited number of examples can negatively impact the model's
ability to generalize and retain its original skills. Our research explores the
impact of the style of ground-truth responses during the fine-tuning process.
We found that matching the ground-truth response style with the LLM's inherent
style results in better learning outcomes. Building on this insight, we
developed a method that minimally alters the LLM's pre-existing responses to
correct errors, using these adjusted responses as training targets. This
technique enables precise corrections in line with the model's native response
style, safeguarding the model's core capabilities and thus avoid overfitting.
Our findings show that this approach not only improves the LLM's task-specific
accuracy but also crucially maintains its original competencies and
effectiveness.
- Abstract(参考訳): 特定のタスクのための小さなデータセットを持つ細調整された大型言語モデル(LLM)は、広く遭遇するが複雑である。
限られた数の例に過剰に適合する可能性は、元のスキルを一般化し維持するモデルの能力に負の影響を与える可能性がある。
本研究は,微調整過程における地中応答の様式の影響について検討する。
その結果,基底応答スタイルとllm固有のスタイルを一致させることで,よりよい学習結果が得られることがわかった。
そこで本研究では,これらの適応応答を訓練対象として,llmの既存の応答を最小に修正して誤りを訂正する手法を開発した。
この技術は、モデルのネイティブレスポンススタイルに合わせて正確な修正を可能にし、モデルのコア能力を保護し、過剰な適合を避ける。
以上の結果から,本手法はLLMのタスク固有精度を向上するだけでなく,本来の能力と有効性も維持することが明らかとなった。
関連論文リスト
- Unveiling the Generalization Power of Fine-Tuned Large Language Models [81.70754292058258]
大規模言語モデル(LLM)に固有の内在的一般化能力に微調整が及ぼす影響について検討する。
本研究の主目的は、生成タスクと分類タスクを微調整したモデルが、異なる領域やタスクに一般化する際に異なる振る舞いを示すことである。
生成タスクの微調整中にコンテキスト内学習戦略を統合することで、モデルの一般化能力を高めることができる。
論文 参考訳(メタデータ) (2024-03-14T08:18:59Z) - Personalized Large Language Models [8.714932744665958]
本稿では,大規模言語モデル(LLM)のパーソナライズ手法について検討する。
その結果、パーソナライズされた微調整は、非パーソナライズされたモデルと比較してモデル推論を改善することが示された。
感情認識とヘイトスピーチ検出のためのデータセットの実験は、パーソナライズされた方法で一貫したパフォーマンス向上を示す。
論文 参考訳(メタデータ) (2024-02-14T15:55:30Z) - Enhancing Large Language Model Performance To Answer Questions and
Extract Information More Accurately [2.1715455600756646]
大きな言語モデル(LLM)は質問に対する応答を生成する。
それらの効果は、答えの最適でない品質や、質問に対する正確な回答を提供するための失敗によってしばしば妨げられる。
これらの課題に対処するため、モデルを改善するためのフィードバックやサンプルを含む、微調整プロセスが採用されている。
論文 参考訳(メタデータ) (2024-01-27T00:18:07Z) - Model Editing Can Hurt General Abilities of Large Language Models [128.32797540883507]
LLaMA-1 (7B) の編集に特定の方法を用いることで、単一の編集だけで選択された全てのタスクにおいて、大幅な性能低下が0に近づいた。
LLaMA-1 (7B) の編集に特定の方法を用いることで、単一の編集だけで選択された全てのタスクにおいて、大幅な性能低下が0に近づいた。
論文 参考訳(メタデータ) (2024-01-09T18:03:15Z) - LLM-augmented Preference Learning from Natural Language [19.700169351688768]
大規模言語モデル(LLM)は、より大きな文脈長を扱う。
LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。
ゼロショット学習よりもパフォーマンスが向上する。
論文 参考訳(メタデータ) (2023-10-12T17:17:27Z) - Large Language Models Cannot Self-Correct Reasoning Yet [78.16697476530994]
LLM(Large Language Models)は、非並列テキスト生成機能を備えた画期的な技術として登場した。
生成したコンテンツの正確性と適切性に関する懸念が続いている。
現代の方法論である自己補正がこれらの問題に対する対策として提案されている。
論文 参考訳(メタデータ) (2023-10-03T04:56:12Z) - Enable Language Models to Implicitly Learn Self-Improvement From Data [51.63428207248947]
大規模言語モデル(LLM)は、オープンエンドテキスト生成タスクにおいて顕著な機能を示した。
我々は、人間の嗜好データから改善目標を暗黙的に学習するImPlicit Self-ImprovemenT(PIT)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-02T04:29:40Z) - Learning Objective-Specific Active Learning Strategies with Attentive
Neural Processes [72.75421975804132]
学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。
能動学習問題の対称性と独立性を利用した新しい分類法を提案する。
私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
論文 参考訳(メタデータ) (2023-09-11T14:16:37Z) - Automatically Correcting Large Language Models: Surveying the landscape
of diverse self-correction strategies [104.32199881187607]
大規模言語モデル(LLM)は、幅広いNLPタスクで顕著な性能を示した。
これらの欠陥を正すための有望なアプローチは自己補正であり、LLM自体が自身の出力で問題を修正するために誘導される。
本稿では,この新技術について概観する。
論文 参考訳(メタデータ) (2023-08-06T18:38:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。