論文の概要: Automatically Correcting Large Language Models: Surveying the landscape
of diverse self-correction strategies
- arxiv url: http://arxiv.org/abs/2308.03188v2
- Date: Wed, 30 Aug 2023 03:47:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-31 16:34:04.907413
- Title: Automatically Correcting Large Language Models: Surveying the landscape
of diverse self-correction strategies
- Title(参考訳): 大規模言語モデルの自動修正:多様な自己補正戦略の展望
- Authors: Liangming Pan, Michael Saxon, Wenda Xu, Deepak Nathani, Xinyi Wang,
William Yang Wang
- Abstract要約: 大規模言語モデル(LLM)は、幅広いNLPタスクで顕著な性能を示した。
これらの欠陥を正すための有望なアプローチは自己補正であり、LLM自体が自身の出力で問題を修正するために誘導される。
本稿では,この新技術について概観する。
- 参考スコア(独自算出の注目度): 104.32199881187607
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have demonstrated remarkable performance across
a wide array of NLP tasks. However, their efficacy is undermined by undesired
and inconsistent behaviors, including hallucination, unfaithful reasoning, and
toxic content. A promising approach to rectify these flaws is self-correction,
where the LLM itself is prompted or guided to fix problems in its own output.
Techniques leveraging automated feedback -- either produced by the LLM itself
or some external system -- are of particular interest as they are a promising
way to make LLM-based solutions more practical and deployable with minimal
human feedback. This paper presents a comprehensive review of this emerging
class of techniques. We analyze and taxonomize a wide array of recent work
utilizing these strategies, including training-time, generation-time, and
post-hoc correction. We also summarize the major applications of this strategy
and conclude by discussing future directions and challenges.
- Abstract(参考訳): 大規模言語モデル(LLM)は、幅広いNLPタスクで顕著な性能を示した。
しかし、その効果は幻覚、不誠実な推論、有害な内容など、望ましくない、一貫性のない行動によって損なわれる。
これらの欠陥を正すための有望なアプローチは自己補正であり、LLM自体が自身の出力で問題を修正するために誘導される。
LLM自体や外部システムによって生み出される自動フィードバックを活用する技術は、LLMベースのソリューションをより実用的で、最小限のフィードバックでデプロイ可能にする有望な方法であるため、特に興味深い。
本稿では,この新しい手法の包括的レビューを行う。
我々は、トレーニング時間、ジェネレーション時間、ポストホック補正を含む、これらの戦略を利用した様々な最近の研究を分析し、分類する。
また,この戦略の主な応用を要約し,今後の方向性と課題を論じて結論づける。
関連論文リスト
- Debiasing Large Visual Language Models [61.6896704217147]
LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。
本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。
これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
論文 参考訳(メタデータ) (2024-03-08T12:35:07Z) - I Learn Better If You Speak My Language: Enhancing Large Language Model
Fine-Tuning with Style-Aligned Response Adjustments [25.910151136027064]
本研究では,微調整過程における接地構造応答のスタイルの影響について検討した。
提案手法は,モデルの既存応答を最小限に修正して誤りを訂正する手法である。
この技術は、モデルのネイティブレスポンススタイルに合わせて正確な修正を可能にし、モデルのコア能力を保護し、過剰な適合を避ける。
論文 参考訳(メタデータ) (2024-02-17T05:05:31Z) - Unmemorization in Large Language Models via Self-Distillation and
Deliberate Imagination [58.36408867180233]
大規模言語モデル(LLM)は、プライバシー侵害や機密データの不要な露出といった重要な問題に苦慮している。
我々は、LLMアンラーニングの文脈において、意図的な想像力という新しいアプローチを導入する。
本研究は,異なるモデルとサイズにまたがるこのアプローチの有用性を示し,パラメータ効率の良い微調整を行った。
論文 参考訳(メタデータ) (2024-02-15T16:21:14Z) - Pedagogical Alignment of Large Language Models [26.68545613232345]
本稿では,Large Language Models (LLM) の新たな概念について紹介する。
LLMは足場ツールとして機能し、複雑な問題を管理可能なサブプロブレムに分解し、建設的なフィードバックとヒントを通じて最終回答へと導く。
本研究では、アライメントのレンズを通してタスクを観察することで物語を再解釈し、RLHF法がいかに優れた代替手段として自然に現れるかを実証する。
論文 参考訳(メタデータ) (2024-02-07T16:15:59Z) - Large Language Models Cannot Self-Correct Reasoning Yet [78.16697476530994]
LLM(Large Language Models)は、非並列テキスト生成機能を備えた画期的な技術として登場した。
生成したコンテンツの正確性と適切性に関する懸念が続いている。
現代の方法論である自己補正がこれらの問題に対する対策として提案されている。
論文 参考訳(メタデータ) (2023-10-03T04:56:12Z) - Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。
より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。
この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
論文 参考訳(メタデータ) (2023-09-20T09:23:46Z) - Editing Large Language Models: Problems, Methods, and Opportunities [51.903537096207]
本稿では, LLMのモデル編集に関わる問題, 方法, 機会を深く探究する。
本稿では,モデル編集に関わるタスク定義と課題の概観と,現在処理中の最も進歩的な手法の詳細な実証分析について述べる。
本研究の目的は,各編集手法の有効性と実現可能性に関する貴重な知見を提供することであり,特定のタスクやコンテキストに対して,最も適切な方法の選択に関する情報決定を行う上で,コミュニティを支援することである。
論文 参考訳(メタデータ) (2023-05-22T16:00:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。