論文の概要: Plan with Code: Comparing approaches for robust NL to DSL generation
- arxiv url: http://arxiv.org/abs/2408.08335v1
- Date: Thu, 15 Aug 2024 04:29:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-19 17:29:47.487331
- Title: Plan with Code: Comparing approaches for robust NL to DSL generation
- Title（参考訳）: コードによる計画: 堅牢なNLとDSL生成のアプローチの比較
- Authors: Nastaran Bassamzadeh, Chhaya Methani,
- Abstract要約: コードのプランニングは多くのオーケストレーションタスクにおいて、より信頼性の高いアプローチだと考えられている。
本稿では,タスクプランニングの特別事例として,RPA(Robotic Process Automation)領域におけるワークフローの自動化に焦点を当てる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Planning in code is considered a more reliable approach for many orchestration tasks. This is because code is more tractable than steps generated via Natural Language and make it easy to support more complex sequences by abstracting deterministic logic into functions. It also allows spotting issues with incorrect function names with the help of parsing checks that can be run on code. Progress in Code Generation methodologies, however, remains limited to general-purpose languages like C, C++, and Python. LLMs continue to face challenges with custom function names in Domain Specific Languages or DSLs, leading to higher hallucination rates and syntax errors. This is more common for custom function names, that are typically part of the plan. Moreover, keeping LLMs up-to-date with newer function names is an issue. This poses a challenge for scenarios like task planning over a large number of APIs, since the plan is represented as a DSL having custom API names. In this paper, we focus on workflow automation in RPA (Robotic Process Automation) domain as a special case of task planning. We present optimizations for using Retrieval Augmented Generation (or RAG) with LLMs for DSL generation along with an ablation study comparing these strategies with a fine-tuned model. Our results showed that the fine-tuned model scored the best on code similarity metric. However, with our optimizations, RAG approach is able to match the quality for in-domain API names in the test set. Additionally, it offers significant advantage for out-of-domain or unseen API names, outperforming Fine-Tuned model on similarity metric by 7 pts.
- Abstract（参考訳）: コードのプランニングは多くのオーケストレーションタスクにおいて、より信頼性の高いアプローチだと考えられている。
これは、コードが自然言語で生成されたステップよりも引きやすいので、決定論的論理を関数に抽象化することで、より複雑なシーケンスを簡単にサポートできるからです。
また、コード上で実行できるチェックを解析する助けを借りて、誤った関数名で問題を見つけることもできる。
しかし、コード生成方法論の進歩は、C、C++、Pythonのような汎用言語に限られている。
LLMは、ドメイン特化言語やDSLでカスタム関数名を使って、高い幻覚率と構文エラーをもたらす課題に直面し続けている。
これは、通常計画の一部であるカスタム関数名でより一般的である。
さらに、LLMを新しい関数名で最新に保つことも問題である。
これは、計画がカスタムAPI名を持つDSLとして表現されるため、多数のAPIに対するタスク計画のようなシナリオにとって、課題となる。
本稿では,タスクプランニングの特別事例として,RPA(Robotic Process Automation)領域におけるワークフローの自動化に焦点を当てる。
本稿では,LLMをDSL生成に用いる検索拡張生成(RAG)の最適化と,これらの戦略を微調整モデルと比較するアブレーション研究について述べる。
その結果, コード類似度測定では, 微調整モデルが最も優れていた。
しかしながら、最適化によって、RAGアプローチは、テストセット内のドメイン内のAPI名の品質と一致することができます。
さらに、ドメイン外または目に見えないAPI名には大きな利点があり、類似度測定でFun-Tunedモデルよりも7 ptの性能がある。
関連論文リスト
- Interactive and Expressive Code-Augmented Planning with Large Language Models [62.799579304821826]
大きな言語モデル(LLM)は、常識的推論と対話的な意思決定において強力な能力を示す。
近年,制御フローなどのコード・アジャセント技術を用いてLCM出力を構造化し,計画性能を向上させる技術が提案されている。
完全コード表現で動的なLEM計画手法であるREPL-Planを提案する。
論文 参考訳（メタデータ） (2024-11-21T04:23:17Z) - A Comparative Study of DSL Code Generation: Fine-Tuning vs. Optimized Retrieval Augmentation [0.0]
本稿では,Large Language Models (LLM) を用いた検索拡張生成(RAG)によるDSL生成の最適化について述べる。
その結果, コード類似度測定では, 微調整モデルが最も優れていた。
我々は、最適化されたRAGモデルが微調整されたモデルの品質と一致し、新しい、目に見えないAPIに利点をもたらすと結論付けている。
論文 参考訳（メタデータ） (2024-07-03T01:28:51Z) - From LLMs to Actions: Latent Codes as Bridges in Hierarchical Robot Control [58.72492647570062]
我々は,制限を克服する代替アーキテクチャとして,Learningable Latent Codes as Bridges (LCB)を導入した。
methodoutperforms baselines that leverage pure language as the interface layer on tasks that requires reasoning and multi-step behaviors。
論文 参考訳（メタデータ） (2024-05-08T04:14:06Z) - Hierarchical Context Merging: Better Long Context Understanding for Pre-trained LLMs [61.40047491337793]
本稿では,大規模言語モデルの制約を克服する新しいトレーニングフリースキームである階層型cOntext MERging(HOMER)を提案する。
HomeRは、長いインプットを管理可能なチャンクに分割する、分別/対数アルゴリズムを使用する。
トークン削減技術がマージ毎に先行し、メモリ使用効率が保証される。
論文 参考訳（メタデータ） (2024-04-16T06:34:08Z) - An LLM Compiler for Parallel Function Calling [68.04566807806071]
我々は,複数の関数呼び出しを効率的にオーケストレーションするために並列に関数を実行するLLMCompilerを紹介する。
ReActと比較して、一貫したレイテンシの高速化が3.7倍、コストの削減が6.7倍、精度が9%向上している。
論文 参考訳（メタデータ） (2023-12-07T18:32:04Z) - Tree-Planner: Efficient Close-loop Task Planning with Large Language Models [63.06270302774049]
Tree-Plannerは、大きな言語モデルでタスクプランニングを3つの異なるフェーズに再構成する。
Tree-Plannerは高い効率を維持しながら最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2023-10-12T17:59:50Z) - Reverse Chain: A Generic-Rule for LLMs to Master Multi-API Planning [8.96245399645571]
本稿では,制御可能なターゲット駆動型アプローチであるReverse Chain'を紹介し,プロンプトのみで外部APIを操作可能な大規模言語モデルを提案する。
制御可能な多機能呼び出しを管理するために、Reverse Chainは、後方推論プロセスに基づいたジェネリックルールを採用する。
論文 参考訳（メタデータ） (2023-10-06T05:20:18Z) - Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
本研究では,ALIESと呼ばれる新しい手法を提案する。
入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。
元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
論文 参考訳（メタデータ） (2023-05-24T06:16:44Z) - On the Effectiveness of Pretrained Models for API Learning [8.788509467038743]
開発者は、Excelファイルのパース、行ごとのテキストファイルの読み書きなど、特定の機能を実装するためにAPIを使うことが多い。
開発者は、より高速でクリーンな方法でアプリケーションを構築するために、自然言語クエリに基づいた自動API使用シーケンス生成の恩恵を受けることができる。
既存のアプローチでは、クエリが与えられたAPIシーケンスの検索や、RNNベースのエンコーダデコーダを使用してAPIシーケンスを生成するために、情報検索モデルを使用している。
論文 参考訳（メタデータ） (2022-04-05T20:33:24Z) - Template Guided Text Generation for Task-Oriented Dialogue [9.690158790639131]
Google Assistant、Amazon Alexa、Apple Siriなどのバーチャルアシスタントを使えば、ユーザーは自然言語を使ってWeb上の多数のサービスやAPIと対話できる。
本研究では,多数のAPIにまたがる1つのドメイン非依存モデルを用いて,自然言語生成のための2つの手法について検討する。
論文 参考訳（メタデータ） (2020-04-30T17:51:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。