論文の概要: Non-Programmers Can Label Programs Indirectly via Active Examples: A Case Study with Text-to-SQL

• arxiv url: http://arxiv.org/abs/2205.12422v3
• Date: Mon, 23 Oct 2023 11:12:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 15:06:17.546494
• Title: Non-Programmers Can Label Programs Indirectly via Active Examples: A Case Study with Text-to-SQL
• Title（参考訳）: 非プログラマはアクティブな例を通してプログラムを間接的にラベルできる:Text-to-SQLによるケーススタディ
• Authors: Ruiqi Zhong, Charlie Snell, Dan Klein, Jason Eisner
• Abstract要約: APELは、非プログラマがシードセマンティクス(例えば、Codex)によって生成される候補プログラムの中から選択するフレームワークである。 各発話に対してAPELは、候補プログラムが異なる出力を生成する傾向がある単純な入力を積極的に検索する。 非プログラマに対して適切な出力を選択することのみを要求し、どのプログラムが正しいかを推測できるようにします。
• 参考スコア（独自算出の注目度）: 61.950839050383514
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Can non-programmers annotate natural language utterances with complex programs that represent their meaning? We introduce APEL, a framework in which non-programmers select among candidate programs generated by a seed semantic parser (e.g., Codex). Since they cannot understand the candidate programs, we ask them to select indirectly by examining the programs' input-ouput examples. For each utterance, APEL actively searches for a simple input on which the candidate programs tend to produce different outputs. It then asks the non-programmers only to choose the appropriate output, thus allowing us to infer which program is correct and could be used to fine-tune the parser. As a first case study, we recruited human non-programmers to use APEL to re-annotate SPIDER, a text-to-SQL dataset. Our approach achieved the same annotation accuracy as the original expert annotators (75%) and exposed many subtle errors in the original annotations.
• Abstract（参考訳）: 非プログラマは、その意味を表現する複雑なプログラムで自然言語発話に注釈を付けることができるか? 非プログラマがシードセマンティックパーサ(例えばCodex)によって生成される候補プログラムの中から選択するフレームワークであるAPELを紹介する。 候補プログラムは理解できないため,プログラムの入力-出力例を調べて間接的に選択するよう依頼する。 各発話に対してAPELは、候補プログラムが異なる出力を生成する傾向がある単純な入力を積極的に検索する。 そして、プログラマ以外の者が適切な出力だけを選択するように要求するので、どのプログラムが正しいかを推測することができ、パーサを微調整することができる。 最初のケーススタディとして、APELを使ってテキストからSQLへのデータセットであるSPIDERを再注釈するために、人間の非プログラマを採用しました。 提案手法は,元のエキスパートアノテーションと同じアノテーション精度(75%)を達成し,元のアノテーションに多くの微妙な誤りを露呈した。

関連論文リスト

• Weakly Supervised Semantic Parsing with Execution-based Spurious Program Filtering [19.96076749160955]
  本稿では,プログラムの実行結果に基づくドメインに依存しないフィルタリング機構を提案する。 私たちはこれらの表現に対して多数決を行い、他のプログラムと大きく異なる意味を持つプログラムを特定し、フィルタリングします。
  論文  参考訳（メタデータ） (2023-11-02T11:45:40Z)
• GPT is becoming a Turing machine: Here are some ways to program it [16.169056235216576]
  GPT-3モデルはループを含むプログラムを実行するために起動可能であることを示す。 1つのタスクの例をカバーすることさえできないプロンプトが、アルゴリズム的な振る舞いをトリガーできることを示します。
  論文  参考訳（メタデータ） (2023-03-25T00:43:41Z)
• LEVER: Learning to Verify Language-to-Code Generation with Execution [64.36459105535]
  本稿では,プログラムの実行結果の検証を学習することで,言語からコードへの生成を改善するシンプルな手法であるLEVERを提案する。 具体的には、LLMからサンプリングされたプログラムが、自然言語入力、プログラム自体とその実行結果に基づいて正しいか否かを判定するために、検証者を訓練する。 LEVER はベースコード LLMs (4.6% から 10.9% まで) を継続的に改善し、それらすべてに対して新しい最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-02-16T18:23:22Z)
• Hierarchical Programmatic Reinforcement Learning via Learning to Compose Programs [58.94569213396991]
  プログラムポリシーを作成するための階層型プログラム強化学習フレームワークを提案する。 提案するフレームワークは,プログラム作成の学習を通じて,アウト・オブ・ディストリビュータの複雑な動作を記述するプログラムポリシーを作成することができる。 Karel ドメインの実験結果から,提案するフレームワークがベースラインより優れていることが示された。
  論文  参考訳（メタデータ） (2023-01-30T14:50:46Z)
• UniRPG: Unified Discrete Reasoning over Table and Text as Program Generation [32.74302320558048]
  セマンティックパーシングに基づくアプローチであるUniRPGを提案する。 UniRPGは異種知識リソース、すなわち表とテキストをプログラム生成として統一的な個別推論を行う。 最先端の手法と比較して、非常に改善され、解釈可能性とスケーラビリティが向上します。
  論文  参考訳（メタデータ） (2022-10-15T10:17:52Z)
• Learning from Self-Sampled Correct and Partially-Correct Programs [96.66452896657991]
  そこで本研究では,モデルが学習中にサンプリングを行い,自己サンプリングされた完全正当プログラムと部分正当プログラムの両方から学習することを提案する。 自己サンプリング型プログラムと部分修正型プログラムを併用することで,学習とサンプリングプロセスのガイドに役立てることができることを示す。 提案手法は,MLEを用いた単一の参照プログラムからの学習と比較して,パス@kの性能を3.1%から12.3%向上させる。
  論文  参考訳（メタデータ） (2022-05-28T03:31:07Z)
• Natural Language to Code Translation with Execution [82.52142893010563]
  実行結果-プログラム選択のための最小ベイズリスク復号化。 そこで本研究では,自然言語からコードへのタスクにおいて,事前訓練されたコードモデルの性能を向上することを示す。
  論文  参考訳（メタデータ） (2022-04-25T06:06:08Z)
• Enforcing Consistency in Weakly Supervised Semantic Parsing [68.2211621631765]
  本稿では,関連する入力に対する出力プログラム間の整合性を利用して,スプリアスプログラムの影響を低減することを提案する。 より一貫性のあるフォーマリズムは、一貫性に基づくトレーニングを必要とせずに、モデルパフォーマンスを改善することにつながります。
  論文  参考訳（メタデータ） (2021-07-13T03:48:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。