論文の概要: A Brief History of Prompt: Leveraging Language Models. (Through Advanced
Prompting)
- arxiv url: http://arxiv.org/abs/2310.04438v2
- Date: Tue, 28 Nov 2023 18:27:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-30 14:13:22.342098
- Title: A Brief History of Prompt: Leveraging Language Models. (Through Advanced
Prompting)
- Title(参考訳): A brief History of Prompt: Leveraging Language Models (英語)
(先進的なプロンプティング)
- Authors: Golam Md Muktadir
- Abstract要約: 私たちは、何年にもわたって急進的なエンジニアリングを形作った重要な発展を辿っている。
2018年と2019年の重要なコントリビューションについて検討し、微調整戦略、コントロールコード、テンプレートベースの生成に重点を置いている。
また、フェアネス、人間とAIのコラボレーション、低リソース適応の重要性の増大についても論じる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents a comprehensive exploration of the evolution of prompt
engineering and generation in the field of natural language processing (NLP).
Starting from the early language models and information retrieval systems, we
trace the key developments that have shaped prompt engineering over the years.
The introduction of attention mechanisms in 2015 revolutionized language
understanding, leading to advancements in controllability and
context-awareness. Subsequent breakthroughs in reinforcement learning
techniques further enhanced prompt engineering, addressing issues like exposure
bias and biases in generated text. We examine the significant contributions in
2018 and 2019, focusing on fine-tuning strategies, control codes, and
template-based generation. The paper also discusses the growing importance of
fairness, human-AI collaboration, and low-resource adaptation. In 2020 and
2021, contextual prompting and transfer learning gained prominence, while 2022
and 2023 witnessed the emergence of advanced techniques like unsupervised
pre-training and novel reward shaping. Throughout the paper, we reference
specific research studies that exemplify the impact of various developments on
prompt engineering. The journey of prompt engineering continues, with ethical
considerations being paramount for the responsible and inclusive future of AI
systems.
- Abstract(参考訳): 本稿では,自然言語処理(NLP)分野における迅速なエンジニアリングと生成の進化を包括的に探求する。
初期の言語モデルと情報検索システムから始まり、長年にわたってプロンプトエンジニアリングを形成してきた重要な発展を追跡する。
2015年のアテンションメカニズムの導入は言語理解に革命をもたらし、制御性と文脈認識の進歩につながった。
その後の強化学習技術のブレークスルーにより、さらなるエンジニアリングが促進され、生成されたテキストの露出バイアスやバイアスといった問題に対処する。
2018年と2019年における重要な貢献について検討し、微調整戦略、制御コード、テンプレートベースの生成に焦点を当てた。
また,公平性,人間とaiのコラボレーション,低リソース適応の重要性についても論じた。
2020年と2021年には、文脈的なプロンプトとトランスファー学習が注目され、2022年と2023年には、教師なし事前学習や新しい報酬形成のような高度な技術が出現した。
本稿では,各種開発が迅速工学に与える影響を実証する研究成果について紹介する。
迅速なエンジニアリングの旅は続き、倫理的考慮がAIシステムの責任と包括的未来にとって最重要である。
関連論文リスト
- Navigating the Landscape of Hint Generation Research: From the Past to the Future [34.47999708205151]
本稿では,学習研究と認知科学のギャップを埋めることを目的として,ヒント生成に関する先行研究のレビューを行う。
本稿では,ヒント生成タスクの形式的定義を提案し,効果的なヒント生成システム構築のロードマップについて論じる。
論文 参考訳(メタデータ) (2024-04-06T20:42:46Z) - History of generative Artificial Intelligence (AI) chatbots: past,
present, and future development [1.6019538204169677]
この研究は、ChatGPTやGoogle Bardといった、今日の高度な会話エージェントに繋がる重要なイノベーションをトレースする。
この論文は、自然言語処理と機械学習が、より高度な機能のために現代のチャットボットにどのように統合されたかを強調している。
論文 参考訳(メタデータ) (2024-02-04T05:01:38Z) - Recommender Systems in the Era of Large Language Models (LLMs) [62.0129013439038]
大規模言語モデル(LLM)は自然言語処理(NLP)と人工知能(AI)の分野に革命をもたらした。
我々は, プレトレーニング, ファインチューニング, プロンプティングなどの様々な側面から, LLM を利用したレコメンデータシステムの総合的なレビューを行う。
論文 参考訳(メタデータ) (2023-07-05T06:03:40Z) - Opportunities for Large Language Models and Discourse in Engineering
Design [0.0]
談話はエンジニアリング設計プロセスの中核と見なされるべきであり、したがってデジタルアーティファクトで表現されるべきである、と我々は主張する。
シミュレーション,実験,トポロジ最適化,その他のプロセスステップを,機械操作可能な,談話中心の設計プロセスに統合する方法について述べる。
論文 参考訳(メタデータ) (2023-06-15T14:46:44Z) - Prompt Engineering for Healthcare: Methodologies and Applications [93.63832575498844]
本総説では,医学分野の自然言語処理分野における情報工学の最近の進歩を紹介する。
我々は、迅速なエンジニアリングの開発を提供し、その医療自然言語処理アプリケーションへの重要な貢献を強調します。
論文 参考訳(メタデータ) (2023-04-28T08:03:42Z) - A Survey of Large Language Models [81.06947636926638]
言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。
近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。
パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
論文 参考訳(メタデータ) (2023-03-31T17:28:46Z) - Practical and Ethical Challenges of Large Language Models in Education:
A Systematic Scoping Review [5.329514340780243]
大規模言語モデル(LLM)は、テキストコンテンツの生成と分析の面倒なプロセスを自動化する可能性がある。
これらの革新の実践性と倫理性には懸念がある。
我々は2017年以降に発行された118件の査読論文の体系的スコーピングレビューを行い、研究の現状を明らかにした。
論文 参考訳(メタデータ) (2023-03-17T18:14:46Z) - Selected Trends in Artificial Intelligence for Space Applications [69.3474006357492]
この章は、差別化可能なインテリジェンスとオンボード機械学習に焦点を当てている。
欧州宇宙機関(ESA)Advanced Concepts Team(ACT)から選ばれたいくつかのプロジェクトについて論じる。
論文 参考訳(メタデータ) (2022-12-10T07:49:50Z) - Deep Active Learning for Computer Vision: Past and Future [50.19394935978135]
AIモデルの開発に欠かせない役割にもかかわらず、アクティブラーニングの研究は他の研究の方向性ほど集中的ではない。
データ自動化の課題に対処し、自動化された機械学習システムに対処することによって、アクティブな学習はAI技術の民主化を促進する。
論文 参考訳(メタデータ) (2022-11-27T13:07:14Z) - Deep Transfer Learning & Beyond: Transformer Language Models in
Information Systems Research [0.913755431537592]
トランスフォーマー言語モデル(TLM)を含む自然言語処理の最近の進歩は、AI駆動型ビジネスと社会変革の潜在的な道を提供する。
本稿は、IS研究がこれらの新技術にどのような恩恵をもたらすかを概観する上で、最近の研究動向と、上位IS誌のテキストマイニングを活用した最近の文献を概観する。
論文 参考訳(メタデータ) (2021-10-18T02:01:39Z) - Deep Learning for Text Style Transfer: A Survey [71.8870854396927]
テキストスタイル転送は、生成したテキストの特定の属性を制御することを目的として、自然言語生成において重要なタスクである。
2017年の最初のニューラルテキストスタイル転送作業以降,100以上の代表的な記事を対象とした,ニューラルテキストスタイル転送の研究の体系的な調査を行う。
タスクの定式化、既存のデータセットとサブタスク、評価、並列データと非並列データの存在下での豊富な方法論について論じる。
論文 参考訳(メタデータ) (2020-11-01T04:04:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。