論文の概要: Automaton-Based Representations of Task Knowledge from Generative Language Models

• arxiv url: http://arxiv.org/abs/2212.01944v4
• Date: Wed, 10 May 2023 20:10:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-12 18:19:21.806085
• Title: Automaton-Based Representations of Task Knowledge from Generative Language Models
• Title（参考訳）: 生成言語モデルによるタスク知識のオートマトン表現
• Authors: Yunhao Yang, Jean-Rapha\"el Gaglione, Cyrus Neary, Ufuk Topcu
• Abstract要約: 大規模生成言語モデル(GLM)は、関連するタスク知識を自動的に生成することができる。 本稿では,タスク目標の簡単な自然言語記述から高レベルタスク知識を符号化する有限状態オートマトン(FSA)を構築する,GLM2FSAという新しいアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 24.63416209240575
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automaton-based representations of task knowledge play an important role in control and planning for sequential decision-making problems. However, obtaining the high-level task knowledge required to build such automata is often difficult. Meanwhile, large-scale generative language models (GLMs) can automatically generate relevant task knowledge. However, the textual outputs from GLMs cannot be formally verified or used for sequential decision-making. We propose a novel algorithm named GLM2FSA, which constructs a finite state automaton (FSA) encoding high-level task knowledge from a brief natural-language description of the task goal. GLM2FSA first sends queries to a GLM to extract task knowledge in textual form, and then it builds an FSA to represent this text-based knowledge. The proposed algorithm thus fills the gap between natural-language task descriptions and automaton-based representations, and the constructed FSA can be formally verified against user-defined specifications. We accordingly propose a method to iteratively refine the queries to the GLM based on the outcomes, e.g., counter-examples, from verification. We demonstrate GLM2FSA's ability to build and refine automaton-based representations of everyday tasks (e.g., crossing a road), and also of tasks that require highly-specialized knowledge (e.g., executing secure multi-party computation).
• Abstract（参考訳）: タスク知識のオートマトンに基づく表現は、シーケンシャルな意思決定問題の制御と計画において重要な役割を果たす。 しかし、このようなオートマトンを構築するのに必要な高度なタスク知識を得ることは、しばしば困難である。 一方、大規模生成言語モデル(GLM)は、関連するタスク知識を自動的に生成することができる。 しかし、GLMからのテキスト出力は正式な検証やシーケンシャルな意思決定には使用できない。 本稿では,タスク目標の簡単な自然言語記述から高レベルタスク知識を符号化する有限状態オートマトン(FSA)を構築する,GLM2FSAという新しいアルゴリズムを提案する。 GLM2FSAはまずGLMにクエリを送り、テキスト形式でタスク知識を抽出し、次にこのテキストベースの知識を表現するためのFSAを構築する。 提案アルゴリズムは,自然言語によるタスク記述とオートマトンに基づく表現のギャップを埋めるものであり,構築されたFSAはユーザ定義仕様に対して形式的に検証可能である。 そこで本研究では,検証の結果に基づいて,glmへのクエリを反復的に洗練する手法を提案する。 我々はglm2fsaの日常タスク(例えば道路横断)のオートマトンベース表現の構築と洗練、そして高度に専門化された知識を必要とするタスク(例えば、安全なマルチパーティ計算の実行)の能力を示す。

関連論文リスト

• RuAG: Learned-rule-augmented Generation for Large Language Models [62.64389390179651]
  本稿では,大量のオフラインデータを解釈可能な一階述語論理規則に自動抽出する新しいフレームワーク,RuAGを提案する。 我々は,自然言語処理,時系列,意思決定,産業タスクなど,公共および民間の産業タスクに関する枠組みを評価する。
  論文  参考訳（メタデータ） (2024-11-04T00:01:34Z)
• The Task-oriented Queries Benchmark (ToQB) [0.0]
  タスク指向クエリの標準ベンチマークはまだ利用できない。 NLP分野の既存のベンチマークは主にタスク指向の対話に焦点を当てている。
  論文  参考訳（メタデータ） (2024-06-05T05:05:41Z)
• Natural Language as Policies: Reasoning for Coordinate-Level Embodied Control with LLMs [7.746160514029531]
  ロボットのタスク計画問題に対処するLLMによる実験結果を示す。 提案手法はタスクとシーンオブジェクトのテキスト記述を取得し,自然言語推論によるタスクプランニングを定式化する。 提案手法はマルチモーダル・プロンプト・シミュレーション・ベンチマークを用いて評価する。
  論文  参考訳（メタデータ） (2024-03-20T17:58:12Z)
• TaskBench: Benchmarking Large Language Models for Task Automation [82.2932794189585]
  タスク自動化における大規模言語モデル(LLM)の機能を評価するためのフレームワークであるTaskBenchを紹介する。 具体的には、タスクの分解、ツールの選択、パラメータ予測を評価する。 提案手法は, 自動構築と厳密な人的検証を組み合わせることで, 人的評価との整合性を確保する。
  論文  参考訳（メタデータ） (2023-11-30T18:02:44Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Automated Few-shot Classification with Instruction-Finetuned Language Models [76.69064714392165]
  我々は、AuT-Fewが最先端の数ショット学習方法より優れていることを示す。 AuT-Few は RAFT few-shot ベンチマークにおいて,データセット間で最高のランク付け手法であることを示す。
  論文  参考訳（メタデータ） (2023-05-21T21:50:27Z)
• Automaton-Guided Curriculum Generation for Reinforcement Learning Agents [14.20447398253189]
  Automaton-Guided Curriculum Learning (AGCL) は、DAG(Directed Acyclic Graphs)の形式で、対象タスクのためのカリキュラムを自動生成する新しい方法である。 AGCL は決定論的有限オートマトン (DFA) の形式で仕様を符号化し、DFA とオブジェクト指向 MDP 表現を使ってカリキュラムを DAG として生成する。 グリッドワールドと物理に基づくシミュレーションロボティクス領域の実験では、AGCLが生み出すカリキュラムが時間と閾値のパフォーマンスを向上させることが示されている。
  論文  参考訳（メタデータ） (2023-04-11T15:14:31Z)
• Prompting Language Models for Linguistic Structure [73.11488464916668]
  本稿では,言語構造予測タスクに対する構造化プロンプト手法を提案する。 提案手法は, 音声タグ付け, 名前付きエンティティ認識, 文チャンキングについて評価する。 PLMはタスクラベルの事前知識を事前学習コーパスに漏えいすることで有意な事前知識を含むが、構造化プロンプトは任意のラベルで言語構造を復元することも可能である。
  論文  参考訳（メタデータ） (2022-11-15T01:13:39Z)
• TegTok: Augmenting Text Generation via Task-specific and Open-world Knowledge [83.55215993730326]
  本稿では,タスク固有およびオープンワールド知識(TegTok)によるTExt生成の統一化を提案する。 本モデルでは,2種類の知識ソースからの知識エントリを高密度検索により選択し,それぞれ入力エンコーディングと出力デコーディングの段階に注入する。
  論文  参考訳（メタデータ） (2022-03-16T10:37:59Z)
• AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts [46.03503882865222]
  AutoPromptは、勾配誘導検索に基づいて、さまざまなタスクセットのプロンプトを作成する自動メソッドである。 マスク付き言語モデル(MLM)は,感情分析や自然言語推論を,追加パラメータや微調整を伴わずに行う能力を持つことを示す。
  論文  参考訳（メタデータ） (2020-10-29T22:54:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。