論文の概要: Prompting in Autoregressive Large Language Models
- arxiv url: http://arxiv.org/abs/2312.03740v1
- Date: Tue, 28 Nov 2023 17:56:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-11 02:54:38.706319
- Title: Prompting in Autoregressive Large Language Models
- Title(参考訳): 自己回帰型大規模言語モデルのプロンプト
- Authors: Prabin Bhandari
- Abstract要約: 自己回帰型大規模言語モデルは自然言語処理のランドスケープに変化をもたらした。
本研究は,既存の文献の分類手法について紹介し,この分類法に基づく簡潔な調査を行う。
我々は、将来の研究の方向性として役立つ自己回帰型LSMの推進という領域において、いくつかの未解決の問題を特定した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Autoregressive Large Language Models have transformed the landscape of
Natural Language Processing. Pre-train and prompt paradigm has replaced the
conventional approach of pre-training and fine-tuning for many downstream NLP
tasks. This shift has been possible largely due to LLMs and innovative
prompting techniques. LLMs have shown great promise for a variety of downstream
tasks owing to their vast parameters and huge datasets that they are
pre-trained on. However, in order to fully realize their potential, their
outputs must be guided towards the desired outcomes. Prompting, in which a
specific input or instruction is provided to guide the LLMs toward the intended
output, has become a tool for achieving this goal. In this paper, we discuss
the various prompting techniques that have been applied to fully harness the
power of LLMs. We present a taxonomy of existing literature on prompting
techniques and provide a concise survey based on this taxonomy. Further, we
identify some open problems in the realm of prompting in autoregressive LLMs
which could serve as a direction for future research.
- Abstract(参考訳): 自己回帰型大規模言語モデルは自然言語処理のランドスケープに変化をもたらした。
プレトレインとプロンプトのパラダイムは、多くの下流NLPタスクに対する事前トレーニングと微調整の従来のアプローチに取って代わられた。
この変化は、LLMと革新的なプロンプト技術によって起こりうる。
LLMは、膨大なパラメータとトレーニング済みの巨大なデータセットのために、さまざまなダウンストリームタスクに対して大きな期待を示している。
しかし、その潜在能力を十分に実現するためには、その成果を望ましい結果へと導く必要がある。
LLMを目的の出力に導くための特定の入力や命令が提供されるプロンプトは、この目標を達成するためのツールとなっている。
本稿では,LLMのパワーをフル活用するための様々なプロンプト技術について論じる。
我々は,既存の文献の分類法と,この分類法に基づく簡潔な調査を行った。
さらに,今後の研究の方向性として期待できる自己回帰型LSMを推し進める領域において,いくつかの未解決問題を明らかにした。
関連論文リスト
- Large Language Models: A Survey [69.72787936480394]
大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。
LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
論文 参考訳(メタデータ) (2024-02-09T05:37:09Z) - Continual Learning for Large Language Models: A Survey [95.79977915131145]
大規模言語モデル(LLM)は、大規模なトレーニングコストが高いため、頻繁な再トレーニングには適さない。
本稿では,LLMの連続学習に関する最近の研究について述べる。
論文 参考訳(メタデータ) (2024-02-02T12:34:09Z) - Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。
自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。
これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
論文 参考訳(メタデータ) (2024-01-30T17:38:54Z) - Let Models Speak Ciphers: Multiagent Debate through Embeddings [84.20336971784495]
この問題を解決するためにCIPHER(Communicative Inter-Model Protocol Through Embedding Representation)を導入する。
自然言語から逸脱することで、CIPHERはモデルの重みを変更することなく、より広い範囲の情報を符号化する利点を提供する。
このことは、LLM間の通信における代替の"言語"としての埋め込みの優越性と堅牢性を示している。
論文 参考訳(メタデータ) (2023-10-10T03:06:38Z) - Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。
より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。
この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
論文 参考訳(メタデータ) (2023-09-20T09:23:46Z) - Prompts Matter: Insights and Strategies for Prompt Engineering in
Automated Software Traceability [45.235173351109374]
大規模言語モデル(LLM)は、自動化トレーサビリティに革命をもたらす可能性がある。
本稿では,LLMからリンク予測を抽出するプロセスについて検討する。
論文 参考訳(メタデータ) (2023-08-01T01:56:22Z) - Aligning Large Language Models with Human: A Survey [53.6014921995006]
広範囲なテキストコーパスで訓練されたLarge Language Models (LLM) は、幅広い自然言語処理(NLP)タスクの先導的なソリューションとして登場した。
その顕著な性能にもかかわらず、これらのモデルは、人間の指示を誤解したり、偏見のあるコンテンツを生成したり、事実的に誤った情報を生成するといった、ある種の制限を受ける傾向にある。
本調査では,これらのアライメント技術の概要について概観する。
論文 参考訳(メタデータ) (2023-07-24T17:44:58Z) - Knowledge Enhanced Pretrained Language Models: A Compreshensive Survey [8.427521246916463]
事前学習型言語モデル(PLM)は,大規模テキストコーパス上で情報表現を学習することで,新たなパラダイムを確立した。
この新しいパラダイムは、自然言語処理の分野全体に革命をもたらし、さまざまなNLPタスクに対して、新しい最先端のパフォーマンスを設定した。
この問題に対処するため, PLM への知識統合は近年, 非常に活発な研究領域となり, 様々なアプローチが開発されている。
論文 参考訳(メタデータ) (2021-10-16T03:27:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。