論文の概要: From Prompt Engineering to Prompt Science With Human in the Loop

• arxiv url: http://arxiv.org/abs/2401.04122v3
• Date: Fri, 10 May 2024 03:50:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-13 20:17:21.493639
• Title: From Prompt Engineering to Prompt Science With Human in the Loop
• Title（参考訳）: プロンプト・エンジニアリングから、ループの中の人間とのプロンプト・サイエンスへ
• Authors: Chirag Shah,
• Abstract要約: 本稿では、それに対応する定性的な方法を通じて、コードブック構築にインスパイアされた新しい方法論を提案する。 研究者の集合が、厳密なラベル付け、検討、文書化のプロセスを通じて、主観性を排除し、生成プロセスに透明性と複製性をもたらす方法を示します。
• 参考スコア（独自算出の注目度）: 12.230632679443364
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: As LLMs make their way into many aspects of our lives, one place that warrants increased scrutiny with LLM usage is scientific research. Using LLMs for generating or analyzing data for research purposes is gaining popularity. But when such application is marred with ad-hoc decisions and engineering solutions, we need to be concerned about how it may affect that research, its findings, or any future works based on that research. We need a more scientific approach to using LLMs in our research. While there are several active efforts to support more systematic construction of prompts, they are often focused more on achieving desirable outcomes rather than producing replicable and generalizable knowledge with sufficient transparency, objectivity, or rigor. This article presents a new methodology inspired by codebook construction through qualitative methods to address that. Using humans in the loop and a multi-phase verification processes, this methodology lays a foundation for more systematic, objective, and trustworthy way of applying LLMs for analyzing data. Specifically, we show how a set of researchers can work through a rigorous process of labeling, deliberating, and documenting to remove subjectivity and bring transparency and replicability to prompt generation process. A set of experiments are presented to show how this methodology can be put in practice.
• Abstract（参考訳）: LLMが私たちの生活の多くの側面に進出するにつれ、LCMの使用に関する精査が増加している場所は科学的研究である。 研究目的のデータの生成や分析にLLMを使うことが人気を集めている。 しかし、そのようなアプリケーションにアドホックな決定とエンジニアリングのソリューションが混じり合っている場合、その研究、その発見、あるいはその研究に基づく将来の作業にどのように影響するかを心配する必要があります。 我々の研究にLSMを使用するには、より科学的アプローチが必要です。 より体系的なプロンプトの構築を支援するための活動はいくつかあるが、しばしば、十分な透明性、客観性、または厳密さで複製可能で一般化可能な知識を生産するよりも、望ましい結果を達成することに重点を置いている。 本稿では、それに対応する定性的な方法を通じて、コードブック構築にインスパイアされた新しい方法論を提案する。 この手法は、ループ内の人間と多相検証プロセスを用いて、データ分析にLLMを適用するためのより体系的で、客観的で、信頼できる方法の基礎を定めている。 具体的には、一組の研究者が、厳密なラベル付け、検討、文書化のプロセスを通じて、主観性を排除し、透明性と複製性を生成プロセスにもたらす方法を示す。 この方法論を実際にどのように適用できるかを示すために、一連の実験が提示されている。

関連論文リスト

• LLMs Assist NLP Researchers: Critique Paper (Meta-)Reviewing [106.45895712717612]
  大規模言語モデル(LLM)は、様々な生成タスクにおいて顕著な汎用性を示している。 本研究は,NLP研究者を支援するLLMの話題に焦点を当てる。 私たちの知る限りでは、このような包括的な分析を提供するのはこれが初めてです。
  論文  参考訳（メタデータ） (2024-06-24T01:30:22Z)
• A Comprehensive Survey of Scientific Large Language Models and Their Applications in Scientific Discovery [68.48094108571432]
  我々は,科学LLM間のクロスフィールドおよびクロスモーダル接続を明らかにすることで,研究ランドスケープのより総合的なビューを提供することを目指している。 本稿では,250以上の科学LLMを包括的に調査し,それらの共通点と相違点について考察するとともに,各分野とモダリティに関する事前学習データセットと評価タスクを要約する。
  論文  参考訳（メタデータ） (2024-06-16T08:03:24Z)
• Automating Research Synthesis with Domain-Specific Large Language Model Fine-Tuning [0.9110413356918055]
  本研究は,SLR(Systematic Literature Reviews)の自動化にLLM(Funture-Tuned Large Language Models)を用いた先駆的研究である。 本研究は,オープンソースLLMとともに最新の微調整手法を採用し,SLRプロセスの最終実行段階を自動化するための実用的で効率的な手法を実証した。 その結果, LLM応答の精度は高く, 既存のPRISMAコンフォーミングSLRの複製により検証された。
  論文  参考訳（メタデータ） (2024-04-08T00:08:29Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• A Reliable Knowledge Processing Framework for Combustion Science using Foundation Models [0.0]
  この研究は、多様な燃焼研究データを処理し、実験研究、シミュレーション、文献にまたがるアプローチを導入している。 開発されたアプローチは、データのプライバシと精度を最適化しながら、計算と経済の費用を最小化する。 このフレームワークは、最小限の人間の監視で、常に正確なドメイン固有の応答を提供する。
  論文  参考訳（メタデータ） (2023-12-31T17:15:25Z)
• LLMs for Science: Usage for Code Generation and Data Analysis [0.07499722271664144]
  大規模言語モデル (LLMs) は、今日の作業環境の多くの領域で生産性の向上を図っている。 LLMのポテンシャルが研究の実践においてどのように実現されるのかは、いまだ不明である。
  論文  参考訳（メタデータ） (2023-11-28T12:29:33Z)
• Aligning Large Language Models with Human: A Survey [53.6014921995006]
  広範囲なテキストコーパスで訓練されたLarge Language Models (LLM) は、幅広い自然言語処理(NLP)タスクの先導的なソリューションとして登場した。 その顕著な性能にもかかわらず、これらのモデルは、人間の指示を誤解したり、偏見のあるコンテンツを生成したり、事実的に誤った情報を生成するといった、ある種の制限を受ける傾向にある。 本調査では,これらのアライメント技術の概要について概観する。
  論文  参考訳（メタデータ） (2023-07-24T17:44:58Z)
• A Comprehensive Overview of Large Language Models [68.22178313875618]
  大規模言語モデル(LLM)は、最近自然言語処理タスクにおいて顕著な機能を示した。 本稿では, LLM関連概念の幅広い範囲について, 既存の文献について概説する。
  論文  参考訳（メタデータ） (2023-07-12T20:01:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。