論文の概要: A Brief History of Prompt: Leveraging Language Models
- arxiv url: http://arxiv.org/abs/2310.04438v1
- Date: Sat, 30 Sep 2023 22:27:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-15 14:35:51.085084
- Title: A Brief History of Prompt: Leveraging Language Models
- Title（参考訳）: Promptの簡単な歴史:言語モデルの活用
- Authors: Golam Md Muktadir
- Abstract要約: 私たちは、何年にもわたって急進的なエンジニアリングを形作った重要な発展を辿っている。
2018年と2019年の重要なコントリビューションについて検討し、微調整戦略、コントロールコード、テンプレートベースの生成に重点を置いている。
また、フェアネス、人間とAIのコラボレーション、低リソース適応の重要性の増大についても論じる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents a comprehensive exploration of the evolution of prompt
engineering and generation in the field of natural language processing (NLP).
Starting from the early language models and information retrieval systems, we
trace the key developments that have shaped prompt engineering over the years.
The introduction of attention mechanisms in 2015 revolutionized language
understanding, leading to advancements in controllability and
context-awareness. Subsequent breakthroughs in reinforcement learning
techniques further enhanced prompt engineering, addressing issues like exposure
bias and biases in generated text. We examine the significant contributions in
2018 and 2019, focusing on fine-tuning strategies, control codes, and
template-based generation. The paper also discusses the growing importance of
fairness, human-AI collaboration, and low-resource adaptation. In 2020 and
2021, contextual prompting and transfer learning gained prominence, while 2022
and 2023 witnessed the emergence of advanced techniques like unsupervised
pre-training and novel reward shaping. Throughout the paper, we reference
specific research studies that exemplify the impact of various developments on
prompt engineering. The journey of prompt engineering continues, with ethical
considerations being paramount for the responsible and inclusive future of AI
systems.
- Abstract（参考訳）: 本稿では,自然言語処理(NLP)分野における迅速なエンジニアリングと生成の進化を包括的に探求する。
初期の言語モデルと情報検索システムから始まり、長年にわたってプロンプトエンジニアリングを形成してきた重要な発展を追跡する。
2015年のアテンションメカニズムの導入は言語理解に革命をもたらし、制御性と文脈認識の進歩につながった。
その後の強化学習技術のブレークスルーにより、さらなるエンジニアリングが促進され、生成されたテキストの露出バイアスやバイアスといった問題に対処する。
2018年と2019年における重要な貢献について検討し、微調整戦略、制御コード、テンプレートベースの生成に焦点を当てた。
また,公平性,人間とaiのコラボレーション,低リソース適応の重要性についても論じた。
2020年と2021年には、文脈的なプロンプトとトランスファー学習が注目され、2022年と2023年には、教師なし事前学習や新しい報酬形成のような高度な技術が出現した。
本稿では,各種開発が迅速工学に与える影響を実証する研究成果について紹介する。
迅速なエンジニアリングの旅は続き、倫理的考慮がAIシステムの責任と包括的未来にとって最重要である。
関連論文リスト
- Search, Verify and Feedback: Towards Next Generation Post-training Paradigm of Foundation Models via Verifier Engineering [51.31836988300326]
検証工学は、基礎モデルの時代のために特別に設計された新しいポストトレーニングパラダイムである。
検証工学のプロセスは,検索,検証,フィードバックの3段階に分類する。
論文 参考訳（メタデータ） (2024-11-18T12:04:52Z) - Recent Advances in Generative AI and Large Language Models: Current Status, Challenges, and Perspectives [10.16399860867284]
生成人工知能(AI)と大規模言語モデル(LLM)の出現は、自然言語処理(NLP)の新しい時代を象徴している。
本稿では,これらの最先端技術の現状を概観し,その顕著な進歩と広範囲な応用を実証する。
論文 参考訳（メタデータ） (2024-07-20T18:48:35Z) - Artificial Intelligence from Idea to Implementation. How Can AI Reshape the Education Landscape? [0.0]
論文は、AI技術が理論的構成から、教育的アプローチや学生のエンゲージメントを変える実践的なツールへとどのように移行してきたかを示す。
このエッセイは、教育におけるAIの可能性について議論し、技術的進歩と社会的意味の両方を考慮するバランスのとれたアプローチの必要性を強調することで締めくくられている。
論文 参考訳（メタデータ） (2024-07-14T04:40:16Z) - Generative Artificial Intelligence: A Systematic Review and Applications [7.729155237285151]
本稿では、ジェネレーティブAIにおける最近の進歩と技術に関する体系的なレビューと分析について述べる。
生成AIがこれまで行った大きな影響は、大きな言語モデルの開発による言語生成である。
論文は、責任あるAIの原則と、これらの生成モデルの持続可能性と成長に必要な倫理的考察から締めくくられる。
論文 参考訳（メタデータ） (2024-05-17T18:03:59Z) - Recommender Systems in the Era of Large Language Models (LLMs) [62.0129013439038]
大規模言語モデル(LLM)は自然言語処理(NLP)と人工知能(AI)の分野に革命をもたらした。
我々は, プレトレーニング, ファインチューニング, プロンプティングなどの様々な側面から, LLM を利用したレコメンデータシステムの総合的なレビューを行う。
論文 参考訳（メタデータ） (2023-07-05T06:03:40Z) - Opportunities for Large Language Models and Discourse in Engineering
Design [0.0]
談話はエンジニアリング設計プロセスの中核と見なされるべきであり、したがってデジタルアーティファクトで表現されるべきである、と我々は主張する。
シミュレーション,実験,トポロジ最適化,その他のプロセスステップを,機械操作可能な,談話中心の設計プロセスに統合する方法について述べる。
論文 参考訳（メタデータ） (2023-06-15T14:46:44Z) - Prompt Engineering for Healthcare: Methodologies and Applications [93.63832575498844]
本総説では,医学分野の自然言語処理分野における情報工学の最近の進歩を紹介する。
我々は、迅速なエンジニアリングの開発を提供し、その医療自然言語処理アプリケーションへの重要な貢献を強調します。
論文 参考訳（メタデータ） (2023-04-28T08:03:42Z) - A Survey of Large Language Models [81.06947636926638]
言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。
近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。
パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
論文 参考訳（メタデータ） (2023-03-31T17:28:46Z) - Selected Trends in Artificial Intelligence for Space Applications [69.3474006357492]
この章は、差別化可能なインテリジェンスとオンボード機械学習に焦点を当てている。
欧州宇宙機関(ESA)Advanced Concepts Team(ACT)から選ばれたいくつかのプロジェクトについて論じる。
論文 参考訳（メタデータ） (2022-12-10T07:49:50Z) - Deep Transfer Learning & Beyond: Transformer Language Models in
Information Systems Research [0.913755431537592]
トランスフォーマー言語モデル(TLM)を含む自然言語処理の最近の進歩は、AI駆動型ビジネスと社会変革の潜在的な道を提供する。
本稿は、IS研究がこれらの新技術にどのような恩恵をもたらすかを概観する上で、最近の研究動向と、上位IS誌のテキストマイニングを活用した最近の文献を概観する。
論文 参考訳（メタデータ） (2021-10-18T02:01:39Z) - Deep Learning for Text Style Transfer: A Survey [71.8870854396927]
テキストスタイル転送は、生成したテキストの特定の属性を制御することを目的として、自然言語生成において重要なタスクである。
2017年の最初のニューラルテキストスタイル転送作業以降,100以上の代表的な記事を対象とした,ニューラルテキストスタイル転送の研究の体系的な調査を行う。
タスクの定式化、既存のデータセットとサブタスク、評価、並列データと非並列データの存在下での豊富な方法論について論じる。
論文 参考訳（メタデータ） (2020-11-01T04:04:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。