論文の概要: From Prompt Engineering to Prompt Science With Human in the Loop
- arxiv url: http://arxiv.org/abs/2401.04122v1
- Date: Mon, 1 Jan 2024 01:37:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-15 09:22:40.647865
- Title: From Prompt Engineering to Prompt Science With Human in the Loop
- Title（参考訳）: プロンプト工学から、ループの中の人間とのプロンプト科学へ
- Authors: Chirag Shah
- Abstract要約: 本稿では、それに対応する定性的な方法を通じて、コードブック構築にインスパイアされた新しい方法論を提案する。
研究者の集合が、厳密なラベル付け、検討、文書化のプロセスを通じて、主観性を排除し、生成プロセスに透明性と複製性をもたらす方法を示します。
- 参考スコア（独自算出の注目度）: 12.230632679443364
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: As LLMs make their way into many aspects of our lives, one place that
warrants increased scrutiny with LLM usage is scientific research. Using LLMs
for generating or analyzing data for research purposes is gaining popularity.
But when such application is marred with ad-hoc decisions and engineering
solutions, we need to be concerned about how it may affect that research, its
findings, or any future works based on that research. We need a more scientific
approach to using LLMs in our research. While there are several active efforts
to support more systematic construction of prompts, they are often focused more
on achieving desirable outcomes rather than producing replicable and
generalizable knowledge with sufficient transparency, objectivity, or rigor.
This article presents a new methodology inspired by codebook construction
through qualitative methods to address that. Using humans in the loop and a
multi-phase verification processes, this methodology lays a foundation for more
systematic, objective, and trustworthy way of applying LLMs for analyzing data.
Specifically, we show how a set of researchers can work through a rigorous
process of labeling, deliberating, and documenting to remove subjectivity and
bring transparency and replicability to prompt generation process. A set of
experiments are presented to show how this methodology can be put in practice.
- Abstract（参考訳）: LLMが私たちの生活の様々な側面に進出するにつれ、LCMの使用に関する精査が増加するのは科学的研究である。
研究目的のデータの生成や分析にLLMを使うことが普及している。
しかし、そのようなアプリケーションがアドホックな決定とエンジニアリングのソリューションに満ちている場合、その研究、その発見、またはその研究に基づく将来にどのように影響するかを心配する必要があります。
研究にllmを使うには、もっと科学的アプローチが必要です。
より体系的なプロンプトの構築を支援するための活動はいくつかあるが、しばしば、十分な透明性、客観性、または厳密さで複製可能で一般化可能な知識を生成するよりも、望ましい結果を達成することに重点を置いている。
本稿では,質的手法によるコードブック構築に着想を得た新しい手法を提案する。
この手法は、ループ内の人間と多相検証プロセスを用いて、データ分析にLLMを適用するためのより体系的で客観的で信頼できる方法の基礎を定めている。
具体的には、一連の研究者が厳密なラベル付け、検討、文書化のプロセスを通じて、主観性を排除し、透明性と複製性を生成プロセスにもたらす方法を示す。
この方法論を実践する方法を示すために、一連の実験が行われた。
関連論文リスト
- EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。
多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。
最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
論文 参考訳（メタデータ） (2024-10-08T17:54:03Z) - What is the Role of Large Language Models in the Evolution of Astronomy Research? [0.0]
ChatGPTや他の最先端の大規模言語モデル(LLM)は、急速に複数のフィールドを変換している。
これらのモデルは、一般に広大なデータセットに基づいて訓練され、人間のようなテキスト生成能力を示す。
論文 参考訳（メタデータ） (2024-09-30T12:42:25Z) - Towards Efficient Large Language Models for Scientific Text: A Review [4.376712802685017]
大規模言語モデル(LLM)は、科学を含む様々な分野において複雑な情報を処理するための新しい時代を迎えている。
LLMのパワーのため、非常に高価な計算資源、大量のデータ、訓練時間が必要である。
近年、研究者は科学的LLMをより手頃な価格にするための様々な手法を提案している。
論文 参考訳（メタデータ） (2024-08-20T10:57:34Z) - LLMs Assist NLP Researchers: Critique Paper (Meta-)Reviewing [106.45895712717612]
大規模言語モデル(LLM)は、様々な生成タスクにおいて顕著な汎用性を示している。
本研究は,NLP研究者を支援するLLMの話題に焦点を当てる。
私たちの知る限りでは、このような包括的な分析を提供するのはこれが初めてです。
論文 参考訳（メタデータ） (2024-06-24T01:30:22Z) - A Comprehensive Survey of Scientific Large Language Models and Their Applications in Scientific Discovery [68.48094108571432]
大規模言語モデル(LLM)は、テキストやその他のデータ処理方法に革命をもたらした。
我々は,科学LLM間のクロスフィールドおよびクロスモーダル接続を明らかにすることで,研究ランドスケープのより総合的なビューを提供することを目指している。
論文 参考訳（メタデータ） (2024-06-16T08:03:24Z) - LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳（メタデータ） (2024-02-26T07:33:05Z) - Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。
パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。
ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
論文 参考訳（メタデータ） (2024-02-19T11:11:08Z) - A Reliable Knowledge Processing Framework for Combustion Science using
Foundation Models [0.0]
この研究は、多様な燃焼研究データを処理し、実験研究、シミュレーション、文献にまたがるアプローチを導入している。
開発されたアプローチは、データのプライバシと精度を最適化しながら、計算と経済の費用を最小化する。
このフレームワークは、最小限の人間の監視で、常に正確なドメイン固有の応答を提供する。
論文 参考訳（メタデータ） (2023-12-31T17:15:25Z) - LLMs for Science: Usage for Code Generation and Data Analysis [0.07499722271664144]
大規模言語モデル (LLMs) は、今日の作業環境の多くの領域で生産性の向上を図っている。
LLMのポテンシャルが研究の実践においてどのように実現されるのかは、いまだ不明である。
論文 参考訳（メタデータ） (2023-11-28T12:29:33Z) - Towards an Understanding of Large Language Models in Software Engineering Tasks [29.30433406449331]
大規模言語モデル(LLM)は、テキスト生成や推論タスクにおける驚くべきパフォーマンスのために、広く注目を集め、研究している。
コード生成などのソフトウェア工学タスクにおけるLLMの評価と最適化が研究の焦点となっている。
本稿では,LLMとソフトウェア工学を組み合わせた研究・製品について包括的に検討・検討する。
論文 参考訳（メタデータ） (2023-08-22T12:37:29Z) - A Comprehensive Overview of Large Language Models [68.22178313875618]
大規模言語モデル(LLM)は、最近自然言語処理タスクにおいて顕著な機能を示した。
本稿では, LLM関連概念の幅広い範囲について, 既存の文献について概説する。
論文 参考訳（メタデータ） (2023-07-12T20:01:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。