Fugu-MT 論文翻訳(概要): ICL Markup: Structuring In-Context Learning using Soft-Token Tags

論文の概要: ICL Markup: Structuring In-Context Learning using Soft-Token Tags

arxiv url: http://arxiv.org/abs/2312.07405v1
Date: Tue, 12 Dec 2023 16:25:05 GMT
ステータス: 処理完了
システム内更新日: 2023-12-13 15:12:59.363822
Title: ICL Markup: Structuring In-Context Learning using Soft-Token Tags
Title（参考訳）: ICLマークアップ: ソフトトークンタグを用いたコンテキスト内学習の構造化
Authors: Marc-Etienne Brunet, Ashton Anderson, Richard Zemel
Abstract要約: 大規模事前訓練言語モデル(LLM)は、テキストからテキストへのアプローチによって、幅広いタスクに迅速に適応することができる。 HTMLのようなマークアップ言語にインスパイアされた我々は、プロンプトテンプレートを構成するためにソフトトークンタグを使用する方法に貢献する。本手法はICLのためのメタラーニングの一種であり,パラメータ効率の良い微調整ウォームアッププロセスにおいて,事前にこれらのタグを学習する。
参考スコア（独自算出の注目度）: 8.211752085441923
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large pretrained language models (LLMs) can be rapidly adapted to a wide variety of tasks via a text-to-text approach, where the instruction and input are fed to the model in natural language. Combined with in-context learning (ICL), this paradigm is impressively flexible and powerful. However, it also burdens users with an overwhelming number of choices, many of them arbitrary. Inspired by markup languages like HTML, we contribute a method of using soft-token tags to compose prompt templates. This approach reduces arbitrary decisions and streamlines the application of ICL. Our method is a form of meta-learning for ICL; it learns these tags in advance during a parameter-efficient fine-tuning ``warm-up'' process. The tags can subsequently be used in templates for ICL on new, unseen tasks without any additional fine-tuning. Our experiments with this approach yield promising initial results, improving LLM performance on important enterprise applications such as few-shot and open-world intent detection, as well as text classification in news and legal domains.
Abstract（参考訳）: 大規模事前学習型言語モデル(LLM)は、テキストからテキストへのアプローチによって、自然言語のモデルに命令と入力を供給し、幅広いタスクに迅速に適応することができる。インコンテキスト学習(ICL)と組み合わせて、このパラダイムは驚くほど柔軟で強力です。しかし、ユーザーが選択する選択肢は圧倒的に多く、その多くが任意だ。 HTMLのようなマークアップ言語にインスパイアされた我々は、プロンプトテンプレートを構成するためにソフトトークンタグを使用する方法に貢献する。このアプローチは任意の決定を減らし、ICLの応用を合理化する。提案手法はICLのメタラーニングの一種であり,パラメータ効率の良い「ウォームアップ」プロセス中に事前にこれらのタグを学習する。タグはその後、追加の微調整なしで、新しい未処理タスクでiclのテンプレートとして使用できる。提案手法による実験により,先進的な初歩的な成果が得られ,少数ショットやオープンワールドな意図検出などの重要なエンタープライズアプリケーション上でのLCM性能が向上し,ニュースや法律領域におけるテキストの分類が可能となった。

関連論文リスト

Soft Prompting for Unlearning in Large Language Models [11.504012974208466]
この研究は、データ保護規制を動機とした大規模言語モデルのための機械学習の研究に焦点をあてる。本研究では、任意のクエリに付加可能なプロンプトトークンを学習して学習を誘発する、textbfSoft textbfPrompting for textbfUntextbflearning (SPUL)を提案する。
論文参考訳（メタデータ） (2024-06-17T19:11:40Z)
One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
論文参考訳（メタデータ） (2024-05-30T03:44:54Z)
Rectifying Demonstration Shortcut in In-Context Learning [15.08431909212102]
大規模言語モデル(LLM)は、ICL(In-context Learning)能力を利用したいくつかのデモで、様々なタスクを解くことができる。 LLMは、ICL予測を進めるために、インプット-ラベル関係よりも、事前に訓練されたデモのセマンティック先行に頼っていることが多い。
論文参考訳（メタデータ） (2024-03-14T15:30:14Z)
Identifying and Analyzing Task-Encoding Tokens in Large Language Models [55.03191279766383]
本稿では,タスク性能が依存するタスク符号化トークンの識別と解析を行う。テンプレートとストップワードトークンはタスクエンコーディングが最も困難であることを示す。我々の研究は、大規模言語モデル(LLM)がいかにして、デモからタスクを実行するかを学習し、LLMでプレイされるさまざまな種類のトークンの役割の理解を深め、タスクエンコーディングトークンを不適切な利用から不安定を避けるための洞察を提供する。
論文参考訳（メタデータ） (2024-01-20T20:55:21Z)
L-TUNING: Synchronized Label Tuning for Prompt and Prefix in LLMs [0.0]
本稿では,自然言語推論(NLI)フレームワーク内での分類タスクの効率的な微調整手法であるL-Tuningを紹介する。 L-Tuningは、事前訓練されたLarge Language Models (LLM)を通して処理されるラベルトークンの微調整に焦点を当てている。実験の結果,従来のアプローチと比較して,L-Tuningによる学習効率と分類精度が有意に向上したことが示唆された。
論文参考訳（メタデータ） (2023-12-21T01:47:49Z)
kNN-ICL: Compositional Task-Oriented Parsing Generalization with Nearest Neighbor In-Context Learning [50.40636157214161]
Task-Oriented Parsing (TOP)により、会話アシスタントは自然言語で表現されたユーザーコマンドを解釈できる。 LLMは、自然言語のプロンプトに基づいて、コンピュータプログラムにおいて印象的な性能を達成した。本稿では,LLMのセマンティック解析機能を活用することに焦点を当てる。
論文参考訳（メタデータ） (2023-12-17T17:26:50Z)
Leveraging Code to Improve In-context Learning for Semantic Parsing [48.66031267718704]
In-context Learning (ICL) は、その少数ショットの性質と一般化の改善により、意味解析に魅力的なアプローチである。我々は,(1)DSLの代わりにPythonなどの汎用プログラミング言語を用いた意味解析におけるICLの有効性を向上し,(2)ドメイン記述を構造化したプロンプトを増強する。
論文参考訳（メタデータ） (2023-11-16T02:50:06Z)
LabelPrompt: Effective Prompt-based Learning for Relation Classification [31.291466190218912]
本稿では,関係分類タスクのための新しいプロンプト型学習手法であるLabelPromptを提案する。 GIVE MODEL CHOICES!'の直感により、まず関係ラベルを表すための追加トークンを定義し、これらのトークンを意味的初期化を伴う動詞としてみなす。そして、予測関係と与えられた実体との整合性を緩和するために、コントラスト学習を伴うエンティティ認識モジュールを実装した。
論文参考訳（メタデータ） (2023-02-16T04:06:25Z)
Prompting Language Models for Linguistic Structure [73.11488464916668]
本稿では,言語構造予測タスクに対する構造化プロンプト手法を提案する。提案手法は, 音声タグ付け, 名前付きエンティティ認識, 文チャンキングについて評価する。 PLMはタスクラベルの事前知識を事前学習コーパスに漏えいすることで有意な事前知識を含むが、構造化プロンプトは任意のラベルで言語構造を復元することも可能である。
論文参考訳（メタデータ） (2022-11-15T01:13:39Z)
Prompt-Learning for Fine-Grained Entity Typing [40.983849729537795]
完全教師付き,少数ショット,ゼロショットシナリオにおける微粒化エンティティタイピングに対するプロンプトラーニングの適用について検討する。本稿では,エンティティタイプの情報を自動的に要約するために,プロンプトラーニングにおける分布レベルの最適化を行う自己教師型戦略を提案する。
論文参考訳（メタデータ） (2021-08-24T09:39:35Z)
FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
論文参考訳（メタデータ） (2020-09-10T22:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。