論文の概要: kNN-ICL: Compositional Task-Oriented Parsing Generalization with Nearest
Neighbor In-Context Learning
- arxiv url: http://arxiv.org/abs/2312.10771v1
- Date: Sun, 17 Dec 2023 17:26:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-19 14:31:30.298444
- Title: kNN-ICL: Compositional Task-Oriented Parsing Generalization with Nearest
Neighbor In-Context Learning
- Title（参考訳）: knn-icl: 最寄りのコンテキスト学習によるタスク指向構文解析の一般化
- Authors: Wenting Zhao, Ye Liu, Yao Wan, Yibo Wang, Qingyang Wu, Zhongfen Deng,
Jiangshu Du, Shuaiqi Liu, Yunlong Xu, Philip S. Yu
- Abstract要約: Task-Oriented Parsing (TOP)により、会話アシスタントは自然言語で表現されたユーザーコマンドを解釈できる。
LLMは、自然言語のプロンプトに基づいて、コンピュータプログラムにおいて印象的な性能を達成した。
本稿では,LLMのセマンティック解析機能を活用することに焦点を当てる。
- 参考スコア（独自算出の注目度）: 50.40636157214161
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Task-Oriented Parsing (TOP) enables conversational assistants to interpret
user commands expressed in natural language, transforming them into structured
outputs that combine elements of both natural language and intent/slot tags.
Recently, Large Language Models (LLMs) have achieved impressive performance in
synthesizing computer programs based on a natural language prompt, mitigating
the gap between natural language and structured programs. Our paper focuses on
harnessing the capabilities of LLMs for semantic parsing tasks, addressing the
following three key research questions: 1) How can LLMs be effectively utilized
for semantic parsing tasks? 2) What defines an effective prompt? and 3) How can
LLM overcome the length constraint and streamline prompt design by including
all examples as prompts? We introduce k Nearest Neighbor In-Context
Learning(kNN-ICL), which simplifies prompt engineering by allowing it to be
built on top of any design strategy while providing access to all demo
examples. Extensive experiments show that: 1)Simple ICL without kNN search can
achieve a comparable performance with strong supervised models on the TOP
tasks, and 2) kNN-ICL significantly improves the comprehension of complex
requests by seamlessly integrating ICL with a nearest-neighbor approach.
Notably, this enhancement is achieved without the need for additional data or
specialized prompts.
- Abstract（参考訳）: Task-Oriented Parsing (TOP)により、会話アシスタントは自然言語で表現されたユーザコマンドを解釈し、自然言語とインテント/スロットタグの両方の要素を組み合わせた構造化出力に変換することができる。
近年,自然言語プロンプトに基づくコンピュータプログラムの合成において,自然言語と構造化プログラムのギャップを緩和する大規模言語モデル(llm)が注目されている。
本稿は, 意味解析におけるLLMの活用に焦点をあて, 以下の3つの重要な研究課題に対処する。
1) LLM は意味解析にどのように活用できるのか?
2) 効果的なプロンプトの定義は何か?
そして
3) LLM では,すべての例をプロンプトとして含めることで,長さ制約や合理化を克服できるのか?
我々は、k Nearest Neighbor In-Context Learning(kNN-ICL)を導入し、任意の設計戦略の上に構築し、すべてのデモ例にアクセスできるようにすることで、迅速なエンジニアリングを容易にする。
1) knn 検索のない単純な icl は,上位タスクの強い教師付きモデルと同等の性能を達成できる。
2) kNN-ICLは,ICLを最寄りのアプローチとシームレスに統合することにより,複雑な要求の理解を著しく改善する。
この強化は、追加のデータや特別なプロンプトを必要とせずに達成される。
関連論文リスト
- Enhancing LLM's Cognition via Structurization [41.13997892843677]
大規模言語モデル(LLM)は因果的かつシーケンシャルな視点で入力コンテキストを処理する。
本稿では,コンテキスト構造化という新しい概念を提案する。
具体的には、平易で秩序のない文脈文を、適切に順序付けされ階層的に構造化された要素に変換する。
論文 参考訳（メタデータ） (2024-07-23T12:33:58Z) - Structure Guided Prompt: Instructing Large Language Model in Multi-Step
Reasoning by Exploring Graph Structure of the Text [44.81698187939784]
本稿では,大規模言語モデル(LLM)の多段階推論能力向上を目的としたフレームワークであるStructure Guided Promptを紹介する。
実験の結果,このフレームワークはLLMの推論能力を大幅に向上し,より広い範囲の自然言語シナリオを拡張できることがわかった。
論文 参考訳（メタデータ） (2024-02-20T22:56:23Z) - A Simple but Effective Approach to Improve Structured Language Model
Output for Information Extraction [11.165093163378152]
大規模言語モデル(LLM)は、命令に従って非構造化自然言語を生成する際、印象的な能力を示した。
本稿では,その構造的テキスト生成能力を高めるために,効率的なG&O手法を提案する。
論文 参考訳（メタデータ） (2024-02-20T20:42:02Z) - INTERS: Unlocking the Power of Large Language Models in Search with Instruction Tuning [59.07490387145391]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて印象的な機能を示している。
情報検索(IR)タスクへのそれらの適用は、自然言語における多くのIR固有の概念の頻繁な発生のため、いまだに困難である。
我々は,3つの基本IRカテゴリにまたがる20のタスクを含む新しいインストラクションチューニングデータセット InterS を導入する。
論文 参考訳（メタデータ） (2024-01-12T12:10:28Z) - If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code
Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される
コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文 参考訳（メタデータ） (2024-01-01T16:51:20Z) - Can Large Language Models Understand Real-World Complex Instructions? [54.86632921036983]
大型言語モデル(LLM)は人間の指示を理解することができるが、複雑な命令には耐えられない。
既存のベンチマークでは、LLMが複雑な命令を理解する能力を評価するには不十分である。
複雑な命令を体系的に追従するLSMの能力を評価するためのベンチマークであるCellOを提案する。
論文 参考訳（メタデータ） (2023-09-17T04:18:39Z) - Coupling Large Language Models with Logic Programming for Robust and
General Reasoning from Text [5.532477732693001]
大規模言語モデルは, 意味論的に非常に効果的な数ショットとして機能することを示す。
自然言語文を論理形式に変換し、応答集合プログラムの入力として機能する。
本手法は,bAbI, StepGame, CLUTRR, gSCAN など,いくつかのベンチマークにおいて最先端性能を実現する。
論文 参考訳（メタデータ） (2023-07-15T03:29:59Z) - GPT is becoming a Turing machine: Here are some ways to program it [16.169056235216576]
GPT-3モデルはループを含むプログラムを実行するために起動可能であることを示す。
1つのタスクの例をカバーすることさえできないプロンプトが、アルゴリズム的な振る舞いをトリガーできることを示します。
論文 参考訳（メタデータ） (2023-03-25T00:43:41Z) - ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for
Document Information Extraction [56.790794611002106]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、文脈内学習による顕著な結果を示している。
ICL-D3IEと呼ばれるシンプルだが効果的なテキスト内学習フレームワークを提案する。
具体的には、ハードトレーニング文書から最も困難で独特なセグメントをハードデモとして抽出する。
論文 参考訳（メタデータ） (2023-03-09T06:24:50Z) - Decomposed Prompting: A Modular Approach for Solving Complex Tasks [55.42850359286304]
本稿では,より単純なサブタスクに分解することで,複雑なタスクを解くための分解プロンプトを提案する。
このモジュール構造は、各プロンプトを特定のサブタスクに最適化することを可能にする。
Decomposed Promptingの柔軟性とモジュラリティは、数発のプロンプトで先行作業より優れていることを示す。
論文 参考訳（メタデータ） (2022-10-05T17:28:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。