論文の概要: From Prompt Engineering to Prompt Science With Human in the Loop
- arxiv url: http://arxiv.org/abs/2401.04122v2
- Date: Tue, 6 Feb 2024 23:58:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-08 19:23:55.183178
- Title: From Prompt Engineering to Prompt Science With Human in the Loop
- Title(参考訳): プロンプト工学から、ループの中の人間とのプロンプト科学へ
- Authors: Chirag Shah
- Abstract要約: 本稿では、それに対応する定性的な方法を通じて、コードブック構築にインスパイアされた新しい方法論を提案する。
研究者の集合が、厳密なラベル付け、検討、文書化のプロセスを通じて、主観性を排除し、生成プロセスに透明性と複製性をもたらす方法を示します。
- 参考スコア(独自算出の注目度): 12.230632679443364
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: As LLMs make their way into many aspects of our lives, one place that
warrants increased scrutiny with LLM usage is scientific research. Using LLMs
for generating or analyzing data for research purposes is gaining popularity.
But when such application is marred with ad-hoc decisions and engineering
solutions, we need to be concerned about how it may affect that research, its
findings, or any future works based on that research. We need a more scientific
approach to using LLMs in our research. While there are several active efforts
to support more systematic construction of prompts, they are often focused more
on achieving desirable outcomes rather than producing replicable and
generalizable knowledge with sufficient transparency, objectivity, or rigor.
This article presents a new methodology inspired by codebook construction
through qualitative methods to address that. Using humans in the loop and a
multi-phase verification processes, this methodology lays a foundation for more
systematic, objective, and trustworthy way of applying LLMs for analyzing data.
Specifically, we show how a set of researchers can work through a rigorous
process of labeling, deliberating, and documenting to remove subjectivity and
bring transparency and replicability to prompt generation process.
- Abstract(参考訳): LLMが私たちの生活の様々な側面に進出するにつれ、LCMの使用に関する精査が増加するのは科学的研究である。
研究目的のデータの生成や分析にLLMを使うことが普及している。
しかし、そのようなアプリケーションがアドホックな決定とエンジニアリングのソリューションに満ちている場合、その研究、その発見、またはその研究に基づく将来にどのように影響するかを心配する必要があります。
研究にllmを使うには、もっと科学的アプローチが必要です。
より体系的なプロンプトの構築を支援するための活動はいくつかあるが、しばしば、十分な透明性、客観性、または厳密さで複製可能で一般化可能な知識を生成するよりも、望ましい結果を達成することに重点を置いている。
本稿では,質的手法によるコードブック構築に着想を得た新しい手法を提案する。
この手法は、ループ内の人間と多相検証プロセスを用いて、データ分析にLLMを適用するためのより体系的で客観的で信頼できる方法の基礎を定めている。
具体的には、一連の研究者が厳密なラベル付け、検討、文書化のプロセスを通じて、主観性を排除し、透明性と複製性を生成プロセスにもたらす方法を示す。
関連論文リスト
- LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳(メタデータ) (2024-02-26T07:33:05Z) - Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When
and What to Retrieve for LLMs [64.0049955128318]
本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。
パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。
ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
論文 参考訳(メタデータ) (2024-02-19T11:11:08Z) - A Reliable Knowledge Processing Framework for Combustion Science using
Foundation Models [0.0]
この研究は、多様な燃焼研究データを処理し、実験研究、シミュレーション、文献にまたがるアプローチを導入している。
開発されたアプローチは、データのプライバシと精度を最適化しながら、計算と経済の費用を最小化する。
このフレームワークは、最小限の人間の監視で、常に正確なドメイン固有の応答を提供する。
論文 参考訳(メタデータ) (2023-12-31T17:15:25Z) - LLMs for Science: Usage for Code Generation and Data Analysis [0.07499722271664144]
大規模言語モデル (LLMs) は、今日の作業環境の多くの領域で生産性の向上を図っている。
LLMのポテンシャルが研究の実践においてどのように実現されるのかは、いまだ不明である。
論文 参考訳(メタデータ) (2023-11-28T12:29:33Z) - Towards an Understanding of Large Language Models in Software
Engineering Tasks [32.09925582943177]
大規模言語モデル(LLM)は、テキスト生成や推論といったタスクにおける驚くべき性能のために、広く注目され、研究されている。
本論文は, LLMとソフトウェア工学を組み合わせた研究・製品について, 総合的に調査し, 検討した最初の論文である。
我々は7つの主流データベースから関連文献を広範囲に収集し、分析のために123の論文を選択した。
論文 参考訳(メタデータ) (2023-08-22T12:37:29Z) - Aligning Large Language Models with Human: A Survey [53.6014921995006]
広範囲なテキストコーパスで訓練されたLarge Language Models (LLM) は、幅広い自然言語処理(NLP)タスクの先導的なソリューションとして登場した。
その顕著な性能にもかかわらず、これらのモデルは、人間の指示を誤解したり、偏見のあるコンテンツを生成したり、事実的に誤った情報を生成するといった、ある種の制限を受ける傾向にある。
本調査では,これらのアライメント技術の概要について概観する。
論文 参考訳(メタデータ) (2023-07-24T17:44:58Z) - A Comprehensive Overview of Large Language Models [68.22178313875618]
大規模言語モデル(LLM)は、最近自然言語処理タスクにおいて顕著な機能を示した。
本稿では, LLM関連概念の幅広い範囲について, 既存の文献について概説する。
論文 参考訳(メタデータ) (2023-07-12T20:01:52Z) - On the Risk of Misinformation Pollution with Large Language Models [127.1107824751703]
本稿では,現代大規模言語モデル (LLM) の誤用の可能性について検討する。
本研究は, LLMが効果的な誤情報発生器として機能し, DOQAシステムの性能が著しく低下することを明らかにする。
論文 参考訳(メタデータ) (2023-05-23T04:10:26Z) - Editing Large Language Models: Problems, Methods, and Opportunities [51.903537096207]
本稿では, LLMのモデル編集に関わる問題, 方法, 機会を深く探究する。
本稿では,モデル編集に関わるタスク定義と課題の概観と,現在処理中の最も進歩的な手法の詳細な実証分析について述べる。
本研究の目的は,各編集手法の有効性と実現可能性に関する貴重な知見を提供することであり,特定のタスクやコンテキストに対して,最も適切な方法の選択に関する情報決定を行う上で,コミュニティを支援することである。
論文 参考訳(メタデータ) (2023-05-22T16:00:00Z) - A Bibliometric Review of Large Language Models Research from 2017 to
2023 [1.4190701053683017]
LLM(Large Language Model)は、自然言語処理(NLP)タスクにおいて優れた性能を示す言語モデルである。
本稿は,LLM研究の現在の姿を知るための研究者,実践者,政策立案者のロードマップとして機能する。
論文 参考訳(メタデータ) (2023-04-03T21:46:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。