論文の概要: Measuring and Mitigating Constraint Violations of In-Context Learning
for Utterance-to-API Semantic Parsing
- arxiv url: http://arxiv.org/abs/2305.15338v1
- Date: Wed, 24 May 2023 16:50:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-25 14:11:06.187135
- Title: Measuring and Mitigating Constraint Violations of In-Context Learning
for Utterance-to-API Semantic Parsing
- Title（参考訳）: 発話間セマンティックパーシングのためのインテクスト学習における制約違反の測定と緩和
- Authors: Shufan Wang, Sebastien Jean, Sailik Sengupta, James Gung, Nikolaos
Pappas, Yi Zhang
- Abstract要約: 本研究では,タスク指向のセマンティック解析における制約違反を計測,解析,緩和する。
SRD(Semantic-Retrieval of Demonstrations)とAPI-Aware Constrained Decoding(API-CD)の2つの緩和戦略について検討する。
実験の結果、これらの戦略は、制約違反の低減と、生成されたAPI呼び出しの品質向上に有効であるが、実装の複雑さとレイテンシを考慮すると、慎重に検討する必要があることがわかった。
- 参考スコア（独自算出の注目度）: 15.957744324299869
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In executable task-oriented semantic parsing, the system aims to translate
users' utterances in natural language to machine-interpretable programs (API
calls) that can be executed according to pre-defined API specifications. With
the popularity of Large Language Models (LLMs), in-context learning offers a
strong baseline for such scenarios, especially in data-limited regimes.
However, LLMs are known to hallucinate and therefore pose a formidable
challenge in constraining generated content. Thus, it remains uncertain if LLMs
can effectively perform task-oriented utterance-to-API generation where
respecting API's structural and task-specific constraints is crucial.
In this work, we seek to measure, analyze and mitigate such constraints
violations. First, we identify the categories of various constraints in
obtaining API-semantics from task-oriented utterances, and define fine-grained
metrics that complement traditional ones. Second, we leverage these metrics to
conduct a detailed error analysis of constraints violations seen in
state-of-the-art LLMs, which motivates us to investigate two mitigation
strategies: Semantic-Retrieval of Demonstrations (SRD) and API-aware
Constrained Decoding (API-CD). Our experiments show that these strategies are
effective at reducing constraints violations and improving the quality of the
generated API calls, but require careful consideration given their
implementation complexity and latency.
- Abstract（参考訳）: タスク指向のセマンティック解析では、自然言語によるユーザの発話を、事前に定義されたAPI仕様に従って実行できる機械解釈可能なプログラム(API呼び出し)に変換することを目的としている。
LLM(Large Language Models)の人気により、コンテキスト内学習は、特にデータ限定のレシエーションにおいて、このようなシナリオの強力なベースラインを提供する。
しかし、LSMは幻覚を生じさせることが知られており、生成したコンテンツの制約に強い挑戦をもたらす。
したがって、LLMがAPIの構造的制約とタスク固有の制約を尊重するタスク指向の発話対API生成を効果的に実行できるかどうかは不明である。
本研究では,そのような制約違反を計測し,分析し,緩和する。
まず,タスク指向発話からapi概念を得る際の制約のカテゴリを特定し,従来の制約を補完するきめ細かいメトリクスを定義する。
第2に,これらのメトリクスを活用して,最先端llmに見られる制約違反の詳細なエラー解析を行い,2つの緩和戦略であるsemantic-retrieval of demonstrations(srd)とapi-aware constraintsed decoding(api-cd)を調査した。
実験の結果、これらの戦略は制約違反の低減と生成されたAPI呼び出しの品質向上に有効であるが、実装の複雑さとレイテンシを考慮すると慎重に検討する必要があることがわかった。
関連論文リスト
- Embodied Agent Interface: Benchmarking LLMs for Embodied Decision Making [85.24399869971236]
我々は,大規模言語モデル(LLM)を具体的意思決定のために評価することを目指している。
既存の評価は最終的な成功率にのみ依存する傾向がある。
本稿では,様々なタスクの形式化を支援する汎用インタフェース (Embodied Agent Interface) を提案する。
論文 参考訳（メタデータ） (2024-10-09T17:59:00Z) - Let Me Speak Freely? A Study on the Impact of Format Restrictions on Performance of Large Language Models [59.970391602080205]
本研究では,ジェネレーション空間の制約が推論やドメイン知識の理解など,LLMの能力に影響を及ぼすかどうかを検討する。
各種共通タスクにおける自由形式の応答を生成するよりも,構造化形式に順応することが制限された場合のLLMの性能を評価する。
より厳密なフォーマット制約は、一般的に推論タスクのパフォーマンス低下につながる。
論文 参考訳（メタデータ） (2024-08-05T13:08:24Z) - FANTAstic SEquences and Where to Find Them: Faithful and Efficient API Call Generation through State-tracked Constrained Decoding and Reranking [57.53742155914176]
APIコール生成は、大規模言語モデルのツール使用能力の基盤となっている。
既存の教師付きおよびコンテキスト内学習アプローチは、高いトレーニングコスト、低いデータ効率、APIドキュメントとユーザの要求に反する生成APIコールに悩まされる。
本稿では,これらの制約に対処するため,FANTASEと呼ばれる出力側最適化手法を提案する。
論文 参考訳（メタデータ） (2024-07-18T23:44:02Z) - LaSagnA: Language-based Segmentation Assistant for Complex Queries [39.620806493454616]
視覚のための大規模言語モデル(vLLM)は、バウンディングボックスやマスクを含む知覚結果を生成する。
本研究では,これらの問題の主な原因が,学習クエリの複雑さの不足であることを認めた。
本稿では,提案フォーマットの直接統合による課題を効果的に解決するための3つの新しい戦略を提案する。
論文 参考訳（メタデータ） (2024-04-12T14:40:45Z) - Beyond Text: Unveiling Multimodal Proficiency of Large Language Models
with MultiAPI Benchmark [11.572835837392867]
この研究は、包括的な大規模APIベンチマークデータセットのパイオニアであるMultiAPIを紹介した。
235の多様なAPIコールと2,038のコンテキストプロンプトで構成されており、マルチモーダルタスクを扱うツール拡張LDMのユニークなプラットフォーム評価を提供する。
LLMはAPIコール決定の熟練度を示すが,ドメイン識別や関数選択,引数生成といった課題に直面している。
論文 参考訳（メタデータ） (2023-11-21T23:26:05Z) - TPTU-v2: Boosting Task Planning and Tool Usage of Large Language
Model-based Agents in Real-world Systems [25.854559300612184]
本稿では,大規模言語モデル(LLM)のタスク計画・ツール利用(TPTU)能力の向上を目的とした包括的フレームワークを提案する。
このフレームワークは、これらの課題に対処するために設計された3つの重要なコンポーネントで構成されている。(1) API Retrieverは、利用可能な広範囲な配列の中で、ユーザタスクに最も関連するAPIを選択し、(2) LLM Finetunerは、タスク計画とAPI呼び出しにより適するように、ベースLSMをチューニングし、(3)Demo Selectorは、難しいAPIに関連するさまざまなデモを適応的に検索する。
論文 参考訳（メタデータ） (2023-11-19T12:37:30Z) - When does In-context Learning Fall Short and Why? A Study on
Specification-Heavy Tasks [54.71034943526973]
In-context Learning (ICL)は、大規模言語モデル(LLM)のデフォルトメソッドとなっている。
ICLは、複雑で広範囲なタスク仕様を持つタスクである、仕様の重いタスクを処理できないことが分かりました。
我々は、コンテキストを具体的に理解できないこと、タスクスキーマが人間と理解できないこと、長文理解が不十分であること、の3つの主な理由を識別する。
論文 参考訳（メタデータ） (2023-11-15T14:26:30Z) - How You Prompt Matters! Even Task-Oriented Constraints in Instructions Affect LLM-Generated Text Detection [39.254432080406346]
タスク指向の制約 -- 命令に自然に含まれ、検出回避とは無関係な制約 -- でさえ、既存の強力な検出器は検出性能に大きなばらつきを持つ。
実験の結果,命令を複数回生成したり,命令を言い換えたりすることで,命令によって生成されたテキストの標準偏差(SD)が有意に大きい(SDは14.4F1スコアまで)ことがわかった。
論文 参考訳（メタデータ） (2023-11-14T18:32:52Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳（メタデータ） (2023-09-07T01:35:24Z) - OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。
本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
論文 参考訳（メタデータ） (2023-05-24T10:08:04Z) - Mixture of Soft Prompts for Controllable Data Generation [21.84489422361048]
直接予測ではなく,データ拡張のためのツールとして,ソフトプロンプトの混合(MSP)を提案する。
提案手法は, 強いベースラインと比較した場合の3つのベンチマークに対して, 最先端の結果を得る。
論文 参考訳（メタデータ） (2023-03-02T21:13:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。