論文の概要: Can Active Label Correction Improve LLM-based Modular AI Systems?
- arxiv url: http://arxiv.org/abs/2401.05467v3
- Date: Thu, 03 Oct 2024 02:25:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-04 23:30:53.043853
- Title: Can Active Label Correction Improve LLM-based Modular AI Systems?
- Title(参考訳): アクティブラベル補正はLLMベースのモジュールAIシステムを改善するか?
- Authors: Karan Taneja, Ashok Goel,
- Abstract要約: GPT-3.5アノテートした3つのデータセットのノイズと,その騒音を人間のフィードバックで分析する。
本稿では,トレーニングデータセットに3つの更新を反復的に適用する新しいALC3を提案する。
- 参考スコア(独自算出の注目度): 0.8057006406834466
- License:
- Abstract: Modular AI systems can be developed using LLM-prompts-based modules to minimize deployment time even for complex tasks. However, these systems do not always perform well and improving them using the data traces collected from a deployment remains an open challenge. The data traces contain LLM inputs and outputs, but the annotations from LLMs are noisy. We hypothesize that Active Label Correction (ALC) can be use on the collected data to train smaller task-specific improved models that can replace LLM-based modules. In this paper, we study the noise in three GPT-3.5-annotated datasets and their denoising with human feedback. We also propose a novel method ALC3 that iteratively applies three updates to the training dataset: auto-correction, correction using human feedback and filtering. Our results show that ALC3 can lead to oracle performance with feedback on 17-24% fewer examples than the number of noisy examples in the dataset across three different NLP tasks.
- Abstract(参考訳): LLM-promptsベースのモジュールを使用してモジュールAIシステムを開発することで、複雑なタスクであってもデプロイメント時間を最小化することができる。
しかし、これらのシステムは必ずしも正常に動作せず、デプロイメントから収集したデータトレースを使用してそれらを改善することは、依然としてオープンな課題である。
データトレースにはLSMの入力と出力が含まれているが、LSMからのアノテーションはノイズが多い。
我々は,ALC(Active Label Correction)が収集したデータを用いて,LCMベースのモジュールを代替可能な,より小さなタスク固有の改良モデルのトレーニングを行うことができると仮定する。
本稿では,3つのGPT-3.5アノテートされたデータセットのノイズと,その騒音を人間のフィードバックで分析する。
また,トレーニングデータセットに対して,自動補正,人間のフィードバックによる補正,フィルタリングの3つの更新を反復的に適用する新しいALC3を提案する。
以上の結果から,ALC3は3つの異なるNLPタスクにまたがって,データセット中のノイズの多いサンプルの数よりも17~24%少ないサンプルをフィードバックすることで,オラクルのパフォーマンス向上につながる可能性が示唆された。
関連論文リスト
- DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。
具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。
このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
論文 参考訳(メタデータ) (2024-06-25T04:27:53Z) - Noisy Pair Corrector for Dense Retrieval [59.312376423104055]
ノイズペアコレクタ(NPC)と呼ばれる新しい手法を提案する。
NPCは検出モジュールと修正モジュールから構成される。
我々は,テキスト検索ベンチマークのNatural QuestionとTriviaQA,コード検索ベンチマークのStaQCとSO-DSで実験を行った。
論文 参考訳(メタデータ) (2023-11-07T08:27:14Z) - LLMaAA: Making Large Language Models as Active Annotators [32.57011151031332]
本稿では,大規模な言語モデルをアノテータとして利用し,それをアクティブな学習ループに配置して,アノテートを効率的に行うLLMaAAを提案する。
我々は、エンティティ認識と関係抽出という、2つの古典的NLPタスクの実験と分析を行う。
LLMaAAでは、LLM生成ラベルからトレーニングされたタスク固有のモデルが、数百の注釈付きサンプルで教師より優れている。
論文 参考訳(メタデータ) (2023-10-30T14:54:15Z) - From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。
我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
論文 参考訳(メタデータ) (2023-08-23T09:45:29Z) - AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。
本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。
我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
論文 参考訳(メタデータ) (2023-03-29T17:03:21Z) - Learning from Training Dynamics: Identifying Mislabeled Data Beyond
Manually Designed Features [43.41573458276422]
LSTMネットワークを例として,ノイズ検出を応用した新しい学習ベースソリューションを提案する。
提案手法は、合成ラベル雑音を用いたデータセットを用いて、教師あり方式でノイズ検出器を訓練する。
提案手法は, 各種データセットの誤ラベルサンプルを, さらなる適応を伴わずに, 精度良く検出できることが示唆された。
論文 参考訳(メタデータ) (2022-12-19T09:39:30Z) - Discover, Explanation, Improvement: An Automatic Slice Detection
Framework for Natural Language Processing [72.14557106085284]
スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。
本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。
評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
論文 参考訳(メタデータ) (2022-11-08T19:00:00Z) - Identifying Untrustworthy Samples: Data Filtering for Open-domain
Dialogues with Bayesian Optimization [28.22184410167622]
オープンドメイン対話のためのデータフィルタリング手法を提案する。
トレーニングサンプルを品質基準で評価し、下位順にソートし、下位でそれらをフィルタリングします。
2つのデータセットに対する実験結果から,本手法は信頼できないサンプルを効果的に同定できることが示唆された。
論文 参考訳(メタデータ) (2021-09-14T06:42:54Z) - Bridging the Gap Between Clean Data Training and Real-World Inference
for Spoken Language Understanding [76.89426311082927]
既存のモデルはクリーンデータに基づいてトレーニングされ、クリーンデータトレーニングと現実世界の推論の間にtextitgapが発生する。
本稿では,良質なサンプルと低品質のサンプルの両方が類似ベクトル空間に埋め込まれた領域適応法を提案する。
広く使用されているデータセット、スニップス、および大規模な社内データセット(1000万のトレーニング例)に関する実験では、この方法は実世界の(騒々しい)コーパスのベースラインモデルを上回るだけでなく、堅牢性、すなわち、騒々しい環境下で高品質の結果を生み出すことを実証しています。
論文 参考訳(メタデータ) (2021-04-13T17:54:33Z) - ANL: Anti-Noise Learning for Cross-Domain Person Re-Identification [25.035093667770052]
2つのモジュールを含むアンチノイズラーニング(ANL)アプローチを提案します。
FDAモジュールは、カメラ回りのコントラスト学習と逆適応を通じて、ID関連サンプルを収集し、ID非関連サンプルを分散するように設計されています。
reliable sample selection(rss)モジュールは、ノイズラベルを訂正し、メインモデルの信頼できるサンプルを選択するために補助モデルを使用する。
論文 参考訳(メタデータ) (2020-12-27T02:38:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。