Fugu-MT 論文翻訳(概要): Binding Language Models in Symbolic Languages

論文の概要: Binding Language Models in Symbolic Languages

arxiv url: http://arxiv.org/abs/2210.02875v1
Date: Thu, 6 Oct 2022 12:55:17 GMT
ステータス: 処理完了
システム内更新日: 2022-10-07 16:27:58.610496
Title: Binding Language Models in Symbolic Languages
Title（参考訳）: シンボリック言語におけるバインディング言語モデル
Authors: Zhoujun Cheng, Tianbao Xie, Peng Shi, Chengzu Li, Rahul Nadkarni, Yushi Hu, Caiming Xiong, Dragomir Radev, Mari Ostendorf, Luke Zettlemoyer, Noah A. Smith, Tao Yu
Abstract要約: Binderはトレーニング不要のニューラルシンボリックフレームワークで、タスク入力をプログラムにマッピングする。解析の段階では、Codexは元のプログラミング言語では答えられないタスク入力の一部を特定することができる。実行段階では、CodexはAPI呼び出しで適切なプロンプトを与えられた万能機能を実行することができる。
参考スコア（独自算出の注目度）: 146.3027328556881
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Though end-to-end neural approaches have recently been dominating NLP tasks in both performance and ease-of-use, they lack interpretability and robustness. We propose Binder, a training-free neural-symbolic framework that maps the task input to a program, which (1) allows binding a unified API of language model (LM) functionalities to a programming language (e.g., SQL, Python) to extend its grammar coverage and thus tackle more diverse questions, (2) adopts an LM as both the program parser and the underlying model called by the API during execution, and (3) requires only a few in-context exemplar annotations. Specifically, we employ GPT-3 Codex as the LM. In the parsing stage, with only a few in-context exemplars, Codex is able to identify the part of the task input that cannot be answerable by the original programming language, correctly generate API calls to prompt Codex to solve the unanswerable part, and identify where to place the API calls while being compatible with the original grammar. In the execution stage, Codex can perform versatile functionalities (e.g., commonsense QA, information extraction) given proper prompts in the API calls. Binder achieves state-of-the-art results on WikiTableQuestions and TabFact datasets, with explicit output programs that benefit human debugging. Note that previous best systems are all finetuned on tens of thousands of task-specific samples, while Binder only uses dozens of annotations as in-context exemplars without any training. Our code is available at https://github.com/HKUNLP/Binder .
Abstract（参考訳）: エンドツーエンドのニューラルアプローチは最近、パフォーマンスと使いやすさの両方でnlpタスクを支配しているが、解釈性と堅牢性に欠けている。プログラムにタスク入力をマッピングするトレーニングフリーのニューラルシンボリックフレームワークであるbinderを提案する。(1)言語モデル(lm)の機能の統一apiをプログラミング言語(例えば、sql, python)にバインドすることにより、文法の範囲を拡大し、より多様な問題に対処できる。(2)プログラムパーサとしてlmを採用し、実行中にapiによって呼び出される基礎モデルを採用する。具体的には,GPT-3コーデックスをLMとして使用する。構文解析の段階では、いくつかのコンテキスト内例があるだけで、Codexは、元のプログラミング言語では答えられないタスクインプットの一部を特定し、Codexに未解決の部分を解くよう促すAPIコールを正しく生成し、元の文法と互換性のあるAPI呼び出しの場所を特定することができる。実行段階では、CodexはAPI呼び出しで適切なプロンプトを与えられた万能機能(例えば、コモンセンスQA、情報抽出)を実行することができる。 BinderはWikiTableQuestionsとTabFactデータセットの最先端の結果を達成し、人間のデバッグに役立つ明示的な出力プログラムを提供する。以前のベストシステムは、すべて数万のタスク固有のサンプルで微調整されていますが、binderはトレーニングなしで、コンテキスト内インスタンスとして数十のアノテーションのみを使用します。私たちのコードはhttps://github.com/HKUNLP/Binder で利用可能です。

関連論文リスト

AppBench: Planning of Multiple APIs from Various APPs for Complex User Instruction [24.67142048995415]
大きな言語モデル(LLM)は、多用途外部APIと接続することで、現実世界と対話することができる。 textttAppBench は LLM が様々なソースから複数の API を計画・実行できる能力を評価する最初のベンチマークである。
論文参考訳（メタデータ） (2024-10-10T04:03:13Z)
Are Human Rules Necessary? Generating Reusable APIs with CoT Reasoning and In-Context Learning [14.351476383642016]
そこで我々は,Stack OverflowコードスニペットのAPIzationを自動的に実行する,Code2APIという新しいアプローチを提案する。 Code2APIは、追加のモデルトレーニングや手作業のルールを必要としない。他の外部ツールに頼ることなく、パーソナルコンピュータに簡単にデプロイできる。
論文参考訳（メタデータ） (2024-05-06T14:22:17Z)
AskIt: Unified Programming Interface for Programming with Large Language Models [0.0]
大規模言語モデル(LLM)は創発能力として知られるユニークな現象を示し、多くのタスクにまたがって適応性を示す。本稿では,LLM用に特別に設計されたドメイン固有言語であるAskItを紹介する。 50タスクにわたって、AskItは簡潔なプロンプトを生成し、ベンチマークよりも16.14パーセントのプロンプト長の削減を実現した。
論文参考訳（メタデータ） (2023-08-29T21:44:27Z)
SeqGPT: An Out-of-the-box Large Language Model for Open Domain Sequence Understanding [103.34092301324425]
大規模言語モデル(LLM)は、オープンドメインのNLPタスクに顕著な能力を示している。本稿では、オープンドメインの自然言語理解に特化して強化された、バイリンガル(英語と中国語)のオープンソース自己回帰モデルSeqGPTを提案する。
論文参考訳（メタデータ） (2023-08-21T07:31:19Z)
Private-Library-Oriented Code Generation with Large Language Models [52.73999698194344]
本稿では,大規模言語モデル(LLM)をプライベートライブラリのコード生成に活用することに焦点を当てる。プログラマがプライベートコードを書く過程をエミュレートする新しいフレームワークを提案する。 TorchDataEval、TorchDataComplexEval、MonkeyEval、BeatNumEvalの4つのプライベートライブラリベンチマークを作成しました。
論文参考訳（メタデータ） (2023-07-28T07:43:13Z)
DocCoder: Generating Code by Retrieving and Reading Docs [87.88474546826913]
コードマニュアルとドキュメントを明示的に活用するアプローチであるDocCoderを紹介します。我々のアプローチは一般的に、どんなプログラミング言語にも適用でき、基礎となるニューラルモデルとは無関係です。
論文参考訳（メタデータ） (2022-07-13T06:47:51Z)
On the Effectiveness of Pretrained Models for API Learning [8.788509467038743]
開発者は、Excelファイルのパース、行ごとのテキストファイルの読み書きなど、特定の機能を実装するためにAPIを使うことが多い。開発者は、より高速でクリーンな方法でアプリケーションを構築するために、自然言語クエリに基づいた自動API使用シーケンス生成の恩恵を受けることができる。既存のアプローチでは、クエリが与えられたAPIシーケンスの検索や、RNNベースのエンコーダデコーダを使用してAPIシーケンスを生成するために、情報検索モデルを使用している。
論文参考訳（メタデータ） (2022-04-05T20:33:24Z)
Universal Natural Language Processing with Limited Annotations: Try Few-shot Textual Entailment as a Start [125.23550801424328]
Universal Few-shot Textual Entailment (UFO-Entail) universal Few-shot Textual Entailment (UFO-Entail)を紹介する。我々は、このフレームワークにより、事前訓練されたエンターテイメントモデルが、数ショット設定で新しいエンターテイメントドメインでうまく機能できることを実証する。
論文参考訳（メタデータ） (2020-10-06T09:50:25Z)
Language Models are Few-Shot Learners [61.36677350504291]
言語モデルのスケールアップにより、タスクに依存しない、少数ショットのパフォーマンスが大幅に向上することを示す。我々は、1750億のパラメータを持つ自動回帰言語モデルであるGPT-3を訓練し、その性能を数ショットでテストする。 GPT-3は、翻訳、質問応答、クローズタスクを含む多くのNLPデータセットで高いパフォーマンスを達成する。
論文参考訳（メタデータ） (2020-05-28T17:29:03Z)
Template Guided Text Generation for Task-Oriented Dialogue [9.690158790639131]
Google Assistant、Amazon Alexa、Apple Siriなどのバーチャルアシスタントを使えば、ユーザーは自然言語を使ってWeb上の多数のサービスやAPIと対話できる。本研究では,多数のAPIにまたがる1つのドメイン非依存モデルを用いて,自然言語生成のための2つの手法について検討する。
論文参考訳（メタデータ） (2020-04-30T17:51:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。