論文の概要: Large language models for generating rules, yay or nay?
- arxiv url: http://arxiv.org/abs/2406.06835v1
- Date: Mon, 10 Jun 2024 22:44:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-12 19:56:14.430003
- Title: Large language models for generating rules, yay or nay?
- Title(参考訳): ルールを生成するための大規模な言語モデル?
- Authors: Shangeetha Sivasothy, Scott Barnett, Rena Logothetis, Mohamed Abdelrazek, Zafaryab Rasool, Srikanth Thudumu, Zac Brannelly,
- Abstract要約: 本稿では,Large Language Models (LLM) を潜在的な世界モデルとして活用し,ソフトウェアシステムのエンジニアリングを加速する新しい手法を提案する。
このアプローチでは、LLMを使用してロジックルールを生成し、デプロイ前に中小企業によってレビューされ、通知される。
実験の結果, 1) LLMは実装をブートストラップする世界モデルを持ち, 2) LLMは専門家に比べてルールの数が少なく, 3) LLMはルールごとにしきい値を生成する能力を持っていないことがわかった。
- 参考スコア(独自算出の注目度): 1.773865951534232
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Engineering safety-critical systems such as medical devices and digital health intervention systems is complex, where long-term engagement with subject-matter experts (SMEs) is needed to capture the systems' expected behaviour. In this paper, we present a novel approach that leverages Large Language Models (LLMs), such as GPT-3.5 and GPT-4, as a potential world model to accelerate the engineering of software systems. This approach involves using LLMs to generate logic rules, which can then be reviewed and informed by SMEs before deployment. We evaluate our approach using a medical rule set, created from the pandemic intervention monitoring system in collaboration with medical professionals during COVID-19. Our experiments show that 1) LLMs have a world model that bootstraps implementation, 2) LLMs generated less number of rules compared to experts, and 3) LLMs do not have the capacity to generate thresholds for each rule. Our work shows how LLMs augment the requirements' elicitation process by providing access to a world model for domains.
- Abstract(参考訳): 医療機器やデジタルヘルス介入システムのような工学的安全に重要なシステムは複雑であり、システムの期待される振る舞いを捉えるためには、主観的専門家(SME)との長期の関わりが必要である。
本稿では,GPT-3.5 や GPT-4 のような大規模言語モデル (LLM) を,ソフトウェアシステムのエンジニアリングを加速するための潜在的な世界モデルとして活用する,新たなアプローチを提案する。
このアプローチでは、LLMを使用してロジックルールを生成し、デプロイ前に中小企業によってレビューされ、通知される。
新型コロナウイルス感染拡大に伴う医療従事者と連携して,パンデミック介入監視システムから作成した医療ルールセットを用いたアプローチの評価を行った。
私たちの実験は
1) LLM は実装をブートストラップする世界モデルを持つ。
2)LSMは専門家に比べてルールの数が少なくなり、
3) LLM にはルールごとにしきい値を生成する能力がない。
我々の研究は、LLMがドメインのワールドモデルへのアクセスを提供することで、要件の緩和プロセスをどのように強化するかを示している。
関連論文リスト
- Towards Trustworthy Machine Learning in Production: An Overview of the Robustness in MLOps Approach [0.0]
近年、AI研究者や実践家は、信頼性と信頼性のある意思決定を行うシステムを構築するための原則とガイドラインを導入している。
実際には、システムが運用され、実際の環境で継続的に進化し、運用するためにデプロイされる必要がある場合に、根本的な課題が発生する。
この課題に対処するため、MLOps(Machine Learning Operations)は、デプロイメントにおけるMLソリューションを標準化するための潜在的なレシピとして登場した。
論文 参考訳(メタデータ) (2024-10-28T09:34:08Z) - WALL-E: World Alignment by Rule Learning Improves World Model-based LLM Agents [55.64361927346957]
大規模言語モデル(LLM)による規則の勾配なし学習のためのニューロシンボリックアプローチを提案する。
我々のLLMエージェントWALL-Eはモデル予測制御(MPC)上に構築されている
MinecraftとALFWorldにおけるオープンワールドの課題について、WALL-Eは既存の方法よりも高い成功率を達成する。
論文 参考訳(メタデータ) (2024-10-09T23:37:36Z) - Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。
セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。
本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
論文 参考訳(メタデータ) (2024-06-14T19:24:00Z) - From Words to Actions: Unveiling the Theoretical Underpinnings of LLM-Driven Autonomous Systems [59.40480894948944]
大規模言語モデル (LLM) は、物理世界の意思決定問題を解くことができる。
このモデルの下で、LLM Plannerは、プロンプトを介して言語ベースのサブゴールを反復的に生成することにより、部分的に観測可能なマルコフ決定プロセス(POMDP)をナビゲートする。
我々は,事前学習したLLMプランナーが,文脈内学習を通じてベイズ的集計模倣学習(BAIL)を効果的に行うことを証明した。
論文 参考訳(メタデータ) (2024-05-30T09:42:54Z) - Empowering Large Language Models on Robotic Manipulation with Affordance Prompting [23.318449345424725]
大規模な言語モデルは、制御シーケンスを適切に生成することで物理世界と相互作用することができない。
既存のLLMベースのアプローチでは、事前定義されたスキルや事前訓練されたサブ政治に頼ることでこの問題を回避することができる。
サブタスクプランナとモーションコントローラの両方をLLM+A(ffordance)と呼ぶフレームワークを提案する。
論文 参考訳(メタデータ) (2024-04-17T03:06:32Z) - Using Large Language Models to Understand Telecom Standards [35.343893798039765]
大きな言語モデル(LLM)は、関連する情報へのより高速なアクセスを提供する。
質問応答(QA)アシスタントとして使用される最先端のLCMの性能を評価する。
その結果,LLMはテレコム技術文書の信頼できる参照ツールとして利用できることがわかった。
論文 参考訳(メタデータ) (2024-04-02T09:54:51Z) - Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。
本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。
これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
論文 参考訳(メタデータ) (2024-02-05T08:25:22Z) - Risk Taxonomy, Mitigation, and Assessment Benchmarks of Large Language
Model Systems [29.828997665535336]
大規模言語モデル(LLM)は、多様な自然言語処理タスクを解く上で強力な能力を持つ。
しかし、LLMシステムの安全性とセキュリティの問題は、その広範な応用にとって大きな障害となっている。
本稿では,LLMシステムの各モジュールに関連する潜在的なリスクを体系的に分析する包括的分類法を提案する。
論文 参考訳(メタデータ) (2024-01-11T09:29:56Z) - LM-Polygraph: Uncertainty Estimation for Language Models [71.21409522341482]
不確実性推定(UE)手法は、大規模言語モデル(LLM)の安全性、責任性、効果的な利用のための1つの経路である。
テキスト生成タスクにおけるLLMの最先端UEメソッドのバッテリを実装したフレームワークであるLM-PolygraphをPythonで統一したプログラムインタフェースで導入する。
研究者によるUEテクニックの一貫した評価のための拡張可能なベンチマークと、信頼スコア付き標準チャットダイアログを強化するデモWebアプリケーションを導入している。
論文 参考訳(メタデータ) (2023-11-13T15:08:59Z) - Do Embodied Agents Dream of Pixelated Sheep: Embodied Decision Making
using Language Guided World Modelling [101.59430768507997]
強化学習 (Reinforcement Learning, RL) エージェントは通常、世界の事前の知識なしに、タブラララザを学習する。
抽象世界モデル (AWM) を仮定するために, 少数ショット大言語モデル (LLM) を提案する。
LLMを用いてAWMを仮定し, エージェント経験に基づくAWMの検証を行うことで, 従来手法よりもサンプル効率を桁違いに向上させることができる。
論文 参考訳(メタデータ) (2023-01-28T02:04:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。