Fugu-MT 論文翻訳(概要): Augmenting In-Context-Learning in LLMs via Automatic Data Labeling and Refinement

論文の概要: Augmenting In-Context-Learning in LLMs via Automatic Data Labeling and Refinement

arxiv url: http://arxiv.org/abs/2410.10348v1
Date: Mon, 14 Oct 2024 10:06:58 GMT
ステータス: 処理完了
システム内更新日: 2024-10-29 22:14:39.841708
Title: Augmenting In-Context-Learning in LLMs via Automatic Data Labeling and Refinement
Title（参考訳）: 自動ラベリング・リファインメントによるLLMにおけるインテクストラーニングの強化
Authors: Joseph Shtok, Amit Alfassy, Foad Abo Dahood, Eliyahu Schwartz, Sivan Doveh, Assaf Arbelle,
Abstract要約: 本稿では,デモの自動生成とフィルタを行うADLR(Automatic Data Labeling and Refinement)を提案する。コードベースのテーブルQAと数学的推論におけるADLRの利点を実証し、最大5.5%のゲインを達成した。
参考スコア（独自算出の注目度）: 7.108002571622824
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: It has been shown that Large Language Models' (LLMs) performance can be improved for many tasks using Chain of Thought (CoT) or In-Context Learning (ICL), which involve demonstrating the steps needed to solve a task using a few examples. However, while datasets with input-output pairs are relatively easy to produce, providing demonstrations which include intermediate steps requires cumbersome manual work. These steps may be executable programs, as in agentic flows, or step-by-step reasoning as in CoT. In this work, we propose Automatic Data Labeling and Refinement (ADLR), a method to automatically generate and filter demonstrations which include the above intermediate steps, starting from a small seed of manually crafted examples. We demonstrate the advantage of ADLR in code-based table QA and mathematical reasoning, achieving up to a 5.5% gain. The code implementing our method is provided in the Supplementary material and will be made available.
Abstract（参考訳）: 大規模言語モデル(LLM)のパフォーマンスは、いくつかの例を使ってタスクの解決に必要なステップの実証を含む、Chain of Thought(CoT)やIn-Context Learning(ICL)を使用して、多くのタスクで改善可能であることが示されている。しかし、入出力ペアのデータセットは比較的簡単に作成できるが、中間ステップを含むデモを提供するには、面倒な手作業が必要になる。これらのステップは、エージェントフローのように実行可能なプログラムでもよいし、CoTのようにステップバイステップの推論でもよい。本研究では,手作業によるサンプルの小さなシードから始まり,上記の中間ステップを含むデモを自動的に生成・フィルタリングする手法であるADLRを提案する。コードベースのテーブルQAと数学的推論におけるADLRの利点を実証し、最大5.5%のゲインを達成した。本手法を実装したコードは補足材料で提供され,利用可能となる。

関連論文リスト

APE: Active Learning-based Tooling for Finding Informative Few-shot Examples for LLM-based Entity Matching [14.113933201562157]
このデモでは、APE(Active Prompt Engineering)と呼ばれるループ型ツールを紹介します。 APEは人間のフィードバックの最もあいまいな例を反復的に選択します。
論文参考訳（メタデータ） (2024-07-29T22:22:50Z)
SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文参考訳（メタデータ） (2024-07-16T04:41:58Z)
Prompt Optimization with EASE? Efficient Ordering-aware Automated Selection of Exemplars [66.823588073584]
大規模言語モデル(LLM)は、現実世界のアプリケーションで印象的な機能を示している。これらの卓越した作品の品質は、パフォーマンスに大きな影響を与えます。既存の方法は、先行注文がパフォーマンスに与える影響を適切に説明できない。
論文参考訳（メタデータ） (2024-05-25T08:23:05Z)
Sub-goal Distillation: A Method to Improve Small Language Agents [21.815417165548187]
大規模言語モデル(LLM)は対話型タスクにおけるエージェントとして大きな可能性を証明している。数十億のパラメータを持つLLMの性能を、はるかに小さな言語モデルに転送する手法を提案する。困難かつマルチタスクな対話型テキスト環境であるScienceWorldでは,基本動作のみに基づく標準的な模倣学習を16.7%超えている。
論文参考訳（メタデータ） (2024-05-04T20:34:06Z)
TaskBench: Benchmarking Large Language Models for Task Automation [82.2932794189585]
タスク自動化における大規模言語モデル(LLM)の機能を評価するためのフレームワークであるTaskBenchを紹介する。具体的には、タスクの分解、ツールの選択、パラメータ予測を評価する。提案手法は, 自動構築と厳密な人的検証を組み合わせることで, 人的評価との整合性を確保する。
論文参考訳（メタデータ） (2023-11-30T18:02:44Z)
LLMaAA: Making Large Language Models as Active Annotators [32.57011151031332]
本稿では,大規模な言語モデルをアノテータとして利用し,それをアクティブな学習ループに配置して,アノテートを効率的に行うLLMaAAを提案する。我々は、エンティティ認識と関係抽出という、2つの古典的NLPタスクの実験と分析を行う。 LLMaAAでは、LLM生成ラベルからトレーニングされたタスク固有のモデルが、数百の注釈付きサンプルで教師より優れている。
論文参考訳（メタデータ） (2023-10-30T14:54:15Z)
From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
論文参考訳（メタデータ） (2023-08-23T09:45:29Z)
Automated Annotation with Generative AI Requires Validation [0.0]
生成型大規模言語モデル(LLM)は、テキストアノテーションの手順を増強するための強力なツールである。 LLMのアノテーションポテンシャルを原則的かつ効率的な方法で活用するためのワークフローを概説する。テキストアノテーションのLLM性能は有望であるが,データセットとアノテーションの型の両方に高い関連性があることが判明した。
論文参考訳（メタデータ） (2023-05-31T20:50:45Z)
OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
論文参考訳（メタデータ） (2023-05-24T10:08:04Z)
Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
論文参考訳（メタデータ） (2023-02-22T17:44:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。