論文の概要: Neurosymbolic AI for Enhancing Instructability in Generative AI

• arxiv url: http://arxiv.org/abs/2407.18722v1
• Date: Fri, 26 Jul 2024 13:15:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-29 13:21:07.004306
• Title: Neurosymbolic AI for Enhancing Instructability in Generative AI
• Title（参考訳）: 生成AIにおけるインストラクタビリティ向上のためのニューロシンボリックAI
• Authors: Amit Sheth, Vishal Pallagani, Kaushik Roy,
• Abstract要約: 生成AIは、テキスト、画像、音楽間でコンテンツ生成を変換し、プロンプトを通じて指示に従う能力を示した。 本稿では,ニューロシンボリックAIがLarge Language Models(LLMs)のインストラクタビリティを高めるためのより良い経路を提供する理由を考察する。 ニューロシンボリックアプローチによってタスク実行の信頼性とコンテキスト認識が向上し,LLMが動的に解釈し,より広い範囲の教育コンテキストに対応し,より精度と柔軟性が向上することを示す。
• 参考スコア（独自算出の注目度）: 7.4348066967005275
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative AI, especially via Large Language Models (LLMs), has transformed content creation across text, images, and music, showcasing capabilities in following instructions through prompting, largely facilitated by instruction tuning. Instruction tuning is a supervised fine-tuning method where LLMs are trained on datasets formatted with specific tasks and corresponding instructions. This method systematically enhances the model's ability to comprehend and execute the provided directives. Despite these advancements, LLMs still face challenges in consistently interpreting complex, multi-step instructions and generalizing them to novel tasks, which are essential for broader applicability in real-world scenarios. This article explores why neurosymbolic AI offers a better path to enhance the instructability of LLMs. We explore the use a symbolic task planner to decompose high-level instructions into structured tasks, a neural semantic parser to ground these tasks into executable actions, and a neuro-symbolic executor to implement these actions while dynamically maintaining an explicit representation of state. We also seek to show that neurosymbolic approach enhances the reliability and context-awareness of task execution, enabling LLMs to dynamically interpret and respond to a wider range of instructional contexts with greater precision and flexibility.
• Abstract（参考訳）: 生成AIは、特にLarge Language Models (LLMs)を介して、テキスト、画像、音楽間でコンテンツ生成を変換し、命令チューニングによって主に促進されるプロンプトを通じて、指示に従う能力を示す。 インストラクションチューニング(英: Instruction tuning)は、特定のタスクとそれに対応する命令でフォーマットされたデータセットに基づいてLLMを訓練する教師付き微調整手法である。 この方法は、与えられた指示を理解および実行するモデルの能力を体系的に強化する。 これらの進歩にもかかわらず、LLMは複雑な多段階の命令を一貫して解釈し、それらを新しいタスクに一般化するという課題に直面している。 本稿では,LLMのインストラクタビリティを高めるために,ニューロシンボリックAIがよりよい経路を提供する理由を考察する。 我々は,高レベルの命令を構造化されたタスクに分解するための記号的タスクプランナ,これらのタスクを実行可能なアクションにグラウンド化するためのニューラルセマンティックパーサ,そしてこれらのアクションを実装するためのニューロシンボリックエグゼキュータを探索し,状態の明示的な表現を動的に維持する。 また,ニューロシンボリックアプローチによってタスク実行の信頼性とコンテキスト認識が向上し,LLMが動的に解釈し,より精度と柔軟性のよい幅広い命令コンテキストに対応できることを示す。

関連論文リスト

• From Instance Training to Instruction Learning: Task Adapters Generation from Instructions [29.452006810725184]
  本稿では,事例学習の欠点に対処するために,人間の学習をシミュレートすることに焦点を当てる。 タスク固有のモデルを自動的に構築するTAGI(Task Adapters from Instructions)を導入する。 超自然的インストラクションとP3データセットを用いたTAGIの評価を行った。
  論文  参考訳（メタデータ） (2024-06-18T08:14:28Z)
• Transformer-based Causal Language Models Perform Clustering [20.430255724239448]
  簡単な指示追従タスクを導入し、合成データセットを用いてトランスフォーマーに基づく因果言語モデルを分析する。 本研究は,本モデルが隠れ空間内のデータをクラスタリングすることで,タスク固有の情報を学習し,学習中にこのクラスタリングプロセスが動的に進化することを示唆している。
  論文  参考訳（メタデータ） (2024-02-19T14:02:31Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• From Language Modeling to Instruction Following: Understanding the Behavior Shift in LLMs after Instruction Tuning [63.63840740526497]
  そこで本研究では,本質的な変化に着目した事前学習モデルの調整方法について検討する。 次に、事前訓練されたモデルと命令調整されたモデルから導かれた説明を比較することで、命令チューニングの影響について研究する。 この結果から,指導指導の3つの重要な影響が明らかになった。
  論文  参考訳（メタデータ） (2023-09-30T21:16:05Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• Evaluating the Instruction-Following Robustness of Large Language Models to Prompt Injection [70.28425745910711]
  LLM(Large Language Models)は、命令追従に非常に熟練した言語である。 この能力は、迅速なインジェクション攻撃のリスクをもたらす。 このような攻撃に対する命令追従LDMの堅牢性を評価する。
  論文  参考訳（メタデータ） (2023-08-17T06:21:50Z)
• Mastering Symbolic Operations: Augmenting Language Models with Compiled Neural Networks [48.14324895100478]
  ニューラルアーキテクチャ」は、コンパイルされたニューラルネットワーク(CoNN)を標準変換器に統合する。 CoNNは、人工的に生成された注意重みを通してルールを明示的にエンコードするように設計されたニューラルネットワークモジュールである。 実験は,シンボル操作における長さ一般化,効率,解釈可能性の観点から,既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-04T09:50:07Z)
• CoRRPUS: Code-based Structured Prompting for Neurosymbolic Story Understanding [21.645075241532794]
  この作業は、Codexのような最先端のCode-LLMを利用して、ストーリーの状態を追跡するシンボリックメソッドの使用をブートストラップする。 我々は,CoRRPUSシステムと抽象化されたプロンプトプロシージャが,現在最先端の構造化LPM技術に勝ることを示す。
  論文  参考訳（メタデータ） (2022-12-21T04:21:35Z)
• Skill Induction and Planning with Latent Language [94.55783888325165]
  我々は、ゴールがハイレベルなサブタスク記述のシーケンスを生成するアクションシーケンスの生成モデルを定式化する。 本稿では、このモデルを、主に注釈のないデモを用いて、名前付きハイレベルなサブタスクのシーケンスに解析する方法について述べる。 訓練されたモデルでは、自然言語コマンドの空間はスキルのライブラリを索引付けする;エージェントはこれらのスキルを使って、新しい目標に適した高いレベルの命令シーケンスを生成する。
  論文  参考訳（メタデータ） (2021-10-04T15:36:32Z)
• LTL2Action: Generalizing LTL Instructions for Multi-Task RL [4.245018630914216]
  我々は,マルチタスク環境における指示に従うために,深層強化学習(RL)エージェントを指導する問題に対処する。 我々は、ドメイン固有の語彙を用いて命令を指定するために、よく知られた形式言語(線形時間論理(LTL))を用いる。
  論文  参考訳（メタデータ） (2021-02-13T04:05:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。