Fugu-MT 論文翻訳(概要): LLMs in the Loop: Leveraging Large Language Model Annotations for Active Learning in Low-Resource Languages

論文の概要: LLMs in the Loop: Leveraging Large Language Model Annotations for Active Learning in Low-Resource Languages

arxiv url: http://arxiv.org/abs/2404.02261v2
Date: Sun, 23 Jun 2024 18:21:01 GMT
ステータス: 処理完了
システム内更新日: 2024-06-26 01:12:30.534265
Title: LLMs in the Loop: Leveraging Large Language Model Annotations for Active Learning in Low-Resource Languages
Title（参考訳）: LLMs in the Loop:低リソース言語におけるアクティブラーニングのための大規模言語モデルアノテーションの活用
Authors: Nataliia Kholodna, Sahib Julka, Mohammad Khodadadi, Muhammed Nurullah Gumus, Michael Granitzer,
Abstract要約: 低リソース言語は、限られた言語資源とデータラベリングの専門知識のために、AI開発において重大な障壁に直面している。データアノテーションのアクティブ学習ループにおけるLLMの可能性を活用することを提案する。 GPT-4-Turboを用いた実証的な評価では、データ要求が大幅に削減され、最先端の性能が実証された。
参考スコア（独自算出の注目度）: 1.149936119867417
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Low-resource languages face significant barriers in AI development due to limited linguistic resources and expertise for data labeling, rendering them rare and costly. The scarcity of data and the absence of preexisting tools exacerbate these challenges, especially since these languages may not be adequately represented in various NLP datasets. To address this gap, we propose leveraging the potential of LLMs in the active learning loop for data annotation. Initially, we conduct evaluations to assess inter-annotator agreement and consistency, facilitating the selection of a suitable LLM annotator. The chosen annotator is then integrated into a training loop for a classifier using an active learning paradigm, minimizing the amount of queried data required. Empirical evaluations, notably employing GPT-4-Turbo, demonstrate near-state-of-the-art performance with significantly reduced data requirements, as indicated by estimated potential cost savings of at least 42.45 times compared to human annotation. Our proposed solution shows promising potential to substantially reduce both the monetary and computational costs associated with automation in low-resource settings. By bridging the gap between low-resource languages and AI, this approach fosters broader inclusion and shows the potential to enable automation across diverse linguistic landscapes.
Abstract（参考訳）: 低リソースの言語は、限られた言語資源とデータラベリングの専門知識のために、AI開発において重大な障壁に直面しており、それらを稀で高価なものにしている。データの不足と既存のツールの欠如はこれらの課題を悪化させ、特にこれらの言語は様々なNLPデータセットで適切に表現されない可能性がある。このギャップに対処するために、データアノテーションのアクティブ学習ループにおけるLLMの可能性を活用することを提案する。当初我々は,アノテータ間の整合性と整合性を評価するために評価を行い,適切なLLMアノテータの選択を容易にする。選択されたアノテーションは、アクティブラーニングパラダイムを使用して分類器のトレーニングループに統合され、必要なクエリデータの量を最小限にする。 GPT-4-Turboを用いた実証的な評価は、人間のアノテーションと比較して少なくとも42.45倍のコスト削減が予想されるように、データ要求を著しく削減した最先端の性能を示している。提案手法は,低リソース環境における自動化に伴う金融コストと計算コストを大幅に削減する可能性を示している。低リソース言語とAIのギャップを埋めることによって、このアプローチはより広範な包摂性を促進し、多様な言語環境における自動化を可能にする可能性を示している。

関連論文リスト

Unlocking the Potential of Model Merging for Low-Resource Languages [66.7716891808697]
大規模言語モデルを新しい言語に適応させるには、通常、継続事前訓練(CT)と、教師付き微調整(SFT)が含まれる。我々は低リソース言語の代替としてモデルマージを提案し、異なる機能を持つモデルを追加トレーニングなしで単一のモデルに組み合わせる。 Llama-2-7Bをベースとした実験により、モデルマージはタスク解決能力の低い低リソース言語に対して、極めて少ないデータを持つシナリオにおいて、CT-then-SFTよりも優れていることが実証された。
論文参考訳（メタデータ） (2024-07-04T15:14:17Z)
Enhancing Text Classification through LLM-Driven Active Learning and Human Annotation [2.0411082897313984]
本研究では,人間のアノテータと大規模言語モデルを統合する新しい手法を提案する。提案フレームワークは, モデルの不確実性レベルに応じて, 人間のアノテーションとLLMの出力を統合する。実験結果から, モデル精度の維持・改善を図りながら, データアノテーションに関連するコストを大幅に削減した。
論文参考訳（メタデータ） (2024-06-17T21:45:48Z)
Self-training Large Language Models through Knowledge Detection [26.831873737733737]
大規模な言語モデル(LLM)は、ダウンストリームタスク間で印象的なパフォーマンスを達成するために、広範囲のラベル付きデータセットとトレーニング計算を必要とすることが多い。本稿では,LLMが独自ラベルを自動でキュレートし,未知のデータサンプルを選択的に学習する自己学習パラダイムについて検討する。経験的評価は、複数の被験者にまたがる世代における幻覚の減少に有意な改善を示した。
論文参考訳（メタデータ） (2024-06-17T07:25:09Z)
LLMs Are Few-Shot In-Context Low-Resource Language Learners [59.74451570590808]
In-context Learning (ICL) は、大規模言語モデル(LLM)に、表現不足の言語で多様なタスクを実行する権限を与える。 ICLとその言語間変動(X-ICL)を25の低リソース言語と7の比較的高リソース言語で検討した。本研究は,LLMの低リソース理解品質向上における文脈内情報の重要性を論じる。
論文参考訳（メタデータ） (2024-03-25T07:55:29Z)
DIALIGHT: Lightweight Multilingual Development and Evaluation of Task-Oriented Dialogue Systems with Large Language Models [76.79929883963275]
DIALIGHTは多言語タスク指向対話(ToD)システムの開発と評価のためのツールキットである。ローカル発話レベルとグローバル対話レベルの両方において、人間のきめ細かい評価のためのセキュアでユーザフレンドリーなWebインターフェースを備えている。評価の結果, PLMの微調整により精度とコヒーレンスが向上する一方, LLMベースのシステムは多様で類似した応答を生成するのに優れていた。
論文参考訳（メタデータ） (2024-01-04T11:27:48Z)
Interactive Multi-fidelity Learning for Cost-effective Adaptation of Language Model with Sparse Human Supervision [6.151133144093847]
大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示した。本稿では,小規模ドメイン固有LMの費用対効果向上を目的とした,インタラクティブ多要素学習(IMFL)フレームワークを提案する。
論文参考訳（メタデータ） (2023-10-31T03:39:23Z)
CoAnnotating: Uncertainty-Guided Work Allocation between Human and Large Language Models for Data Annotation [94.59630161324013]
本稿では,非構造化テキストの大規模共同アノテーションのための新しいパラダイムであるCoAnnotatingを提案する。我々の実証研究は、CoAnnotatingが、異なるデータセット上の結果から作業を割り当てる効果的な手段であることを示し、ランダムベースラインよりも最大21%のパフォーマンス改善を実現している。
論文参考訳（メタデータ） (2023-10-24T08:56:49Z)
Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
論文参考訳（メタデータ） (2023-06-20T08:27:47Z)
OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
論文参考訳（メタデータ） (2023-05-24T10:08:04Z)
Improving Language Models via Plug-and-Play Retrieval Feedback [42.786225163763376]
大規模言語モデル(LLM)は、様々なNLPタスクで顕著なパフォーマンスを示す。彼らはしばしば誤った情報や幻覚的な情報を生成し、現実のシナリオにおける現実的な適用を妨げます。 ReFeedは,プラグイン・アンド・プレイフレームワークにおける自動検索フィードバックを提供することにより,LLMの強化を目的とした新しいパイプラインである。
論文参考訳（メタデータ） (2023-05-23T12:29:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。