論文の概要: LLMs for Science: Usage for Code Generation and Data Analysis
- arxiv url: http://arxiv.org/abs/2311.16733v4
- Date: Tue, 23 Apr 2024 08:12:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-24 19:35:42.473143
- Title: LLMs for Science: Usage for Code Generation and Data Analysis
- Title（参考訳）: LLMs for Science - コード生成とデータ分析の活用
- Authors: Mohamed Nejjar, Luca Zacharias, Fabian Stiehle, Ingo Weber,
- Abstract要約: 大規模言語モデル (LLMs) は、今日の作業環境の多くの領域で生産性の向上を図っている。
LLMのポテンシャルが研究の実践においてどのように実現されるのかは、いまだ不明である。
- 参考スコア（独自算出の注目度）: 0.07499722271664144
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have been touted to enable increased productivity in many areas of today's work life. Scientific research as an area of work is no exception: the potential of LLM-based tools to assist in the daily work of scientists has become a highly discussed topic across disciplines. However, we are only at the very onset of this subject of study. It is still unclear how the potential of LLMs will materialise in research practice. With this study, we give first empirical evidence on the use of LLMs in the research process. We have investigated a set of use cases for LLM-based tools in scientific research, and conducted a first study to assess to which degree current tools are helpful. In this paper we report specifically on use cases related to software engineering, such as generating application code and developing scripts for data analytics. While we studied seemingly simple use cases, results across tools differ significantly. Our results highlight the promise of LLM-based tools in general, yet we also observe various issues, particularly regarding the integrity of the output these tools provide.
- Abstract（参考訳）: 大規模言語モデル (LLMs) は、今日の作業環境の多くの領域で生産性の向上を図っている。
研究分野としての科学研究は例外ではなく、科学者の日々の作業を支援するLLMベースのツールの可能性は、専門分野にまたがって議論の的になっている。
しかし、この研究課題の始まりに過ぎません。
LLMのポテンシャルが研究の実践においてどのように実現されるのかは、いまだ不明である。
本研究は, 研究プロセスにおけるLSMの使用に関する実証的研究である。
我々は,科学研究におけるLLMツールの一連の使用事例を調査し,現在のツールがどの程度役に立つかを評価するための第1回研究を行った。
本稿では,アプリケーションコードの生成やデータ解析用スクリプトの開発など,ソフトウェア工学関連のユースケースについて述べる。
一見単純なユースケースを検討したが、ツール間での結果は大きく異なる。
以上の結果から,LLMベースのツール全般の約束が強調されているが,これらのツールが提供するアウトプットの完全性に関して,さまざまな問題も観察している。
関連論文リスト
- Towards Evaluation Guidelines for Empirical Studies involving LLMs [6.174354685766166]
大規模言語モデル(LLM)は、ソフトウェア工学の研究環境を変えました。
本稿では,このような研究のガイドラインを初めて提示する。
私たちのゴールは、LLMを含む高品質な実証研究において、私たちのコミュニティ標準が何であるかを共通理解するために、ソフトウェア工学研究コミュニティで議論を始めることです。
論文 参考訳（メタデータ） (2024-11-12T09:35:23Z) - What is the Role of Large Language Models in the Evolution of Astronomy Research? [0.0]
ChatGPTや他の最先端の大規模言語モデル(LLM)は、急速に複数のフィールドを変換している。
これらのモデルは、一般に広大なデータセットに基づいて訓練され、人間のようなテキスト生成能力を示す。
論文 参考訳（メタデータ） (2024-09-30T12:42:25Z) - What Are Tools Anyway? A Survey from the Language Model Perspective [67.18843218893416]
言語モデル(LM)は強力だが、主にテキスト生成タスクに向いている。
LMが使用する外部プログラムとしてツールを統一的に定義する。
各種ツールの効率を実証的に検討した。
論文 参考訳（メタデータ） (2024-03-18T17:20:07Z) - LLMs in the Imaginarium: Tool Learning through Simulated Trial and Error [54.954211216847135]
既存の大規模言語モデル(LLM)は30%から60%の範囲でしか正当性に至らない。
試行錯誤(STE)を模擬したツール拡張LDMの生物学的なインスピレーション法を提案する。
STEは、試行錯誤、想像力、記憶という、生物学的システムにおけるツール使用行動の成功のための3つの重要なメカニズムを編成する。
論文 参考訳（メタデータ） (2024-03-07T18:50:51Z) - LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳（メタデータ） (2024-02-26T07:33:05Z) - DataDreamer: A Tool for Synthetic Data Generation and Reproducible LLM Workflows [72.40917624485822]
我々は、研究者が強力な大規模言語モデルを実装することができるオープンソースのPythonライブラリであるDataDreamerを紹介した。
DataDreamerはまた、オープンサイエンスを促進するために提案するベストプラクティスに研究者が従うのを助ける。
論文 参考訳（メタデータ） (2024-02-16T00:10:26Z) - From Prompt Engineering to Prompt Science With Human in the Loop [12.230632679443364]
本稿では、それに対応する定性的な方法を通じて、コードブック構築にインスパイアされた新しい方法論を提案する。
研究者の集合が、厳密なラベル付け、検討、文書化のプロセスを通じて、主観性を排除し、生成プロセスに透明性と複製性をもたらす方法を示します。
論文 参考訳（メタデータ） (2024-01-01T01:37:36Z) - LLM-in-the-loop: Leveraging Large Language Model for Thematic Analysis [18.775126929754833]
Thematic Analysis (TA)は、多くの分野や分野における定性的データを解析するために広く使われている。
ヒューマンコーダはデータの解釈とコーディングを複数のイテレーションで開発し、より深くする。
In-context Learning (ICL) を用いたTAを実現するための人間-LLM協調フレームワーク(LLM-in-the-loop)を提案する。
論文 参考訳（メタデータ） (2023-10-23T17:05:59Z) - MetaTool Benchmark for Large Language Models: Deciding Whether to Use
Tools and Which to Use [82.24774504584066]
大規模言語モデル(LLM)は、その印象的な自然言語処理(NLP)能力のために大きな注目を集めている。
このベンチマークは、LLMがツールの使用意識を持ち、ツールを正しく選択できるかどうかを評価するためのものだ。
8つの人気のあるLCMを巻き込んだ実験を行い、その大半は依然として効果的にツールを選択するのに苦労していることがわかった。
論文 参考訳（メタデータ） (2023-10-04T19:39:26Z) - Calculating Originality of LLM Assisted Source Code [0.0]
本稿では,学生がソースコードを書く際の本来の取り組み(およびLLMの貢献)を決定するニューラルネットワークベースのツールを提案する。
我々のツールは、コルモゴロフ複雑性のような最小記述長測度によって動機付けられている。
論文 参考訳（メタデータ） (2023-07-10T11:30:46Z) - LLM-based Interaction for Content Generation: A Case Study on the
Perception of Employees in an IT department [85.1523466539595]
本稿では,IT企業の従業員が生成ツールを使用する意図を明らかにするためのアンケート調査を行う。
以上の結果から, 生成ツールの比較的平均的な受容性が示唆されるが, ツールが有用であると認識されるほど, 意図が高くなることが示唆された。
分析の結果, 生産ツールの利用頻度は, 従業員が作業の文脈でこれらのツールをどのように認識しているかを理解する上で重要な要因である可能性が示唆された。
論文 参考訳（メタデータ） (2023-04-18T15:35:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。