論文の概要: Zero-to-Strong Generalization: Eliciting Strong Capabilities of Large Language Models Iteratively without Gold Labels

• arxiv url: http://arxiv.org/abs/2409.12425v1
• Date: Thu, 19 Sep 2024 02:59:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 14:52:37.523359
• Title: Zero-to-Strong Generalization: Eliciting Strong Capabilities of Large Language Models Iteratively without Gold Labels
• Title（参考訳）: ゼロ・ストロング一般化:ゴールドラベルなしで反復的に大規模言語モデルの強機能化
• Authors: Chaoqun Liu, Qin Chao, Wenxuan Zhang, Xiaobao Wu, Boyang Li, Anh Tuan Luu, Lidong Bing,
• Abstract要約: 大規模言語モデル(LLM)は,ゴールドラベルを用いた教師付き微調整やテキスト内学習を通じて,顕著な性能を示した。 本研究では,ラベルのないデータのみを利用することで,強力なモデル機能を実現することができるかどうかを考察する。 ゼロ・ツー・ストロング一般化と呼ばれる新しいパラダイムを提案する。
• 参考スコア（独自算出の注目度）: 75.77877889764073
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have demonstrated remarkable performance through supervised fine-tuning or in-context learning using gold labels. However, this paradigm is limited by the availability of gold labels, while in certain scenarios, LLMs may need to perform tasks that are too complex for humans to provide such labels. To tackle this challenge, this study explores whether solely utilizing unlabeled data can elicit strong model capabilities. We propose a new paradigm termed zero-to-strong generalization. We iteratively prompt LLMs to annotate unlabeled data and retain high-quality labels by filtering. Surprisingly, we obverse that this iterative process gradually unlocks LLMs' potential on downstream tasks. Our experiments on extensive classification and reasoning tasks confirm the effectiveness of our proposed framework. Our analysis indicates that this paradigm is effective for both in-context learning and fine-tuning, and for various model sizes.
• Abstract（参考訳）: 大規模言語モデル(LLM)は,ゴールドラベルを用いた教師付き微調整やテキスト内学習を通じて,顕著な性能を示した。 しかしながら、このパラダイムはゴールドラベルの可用性によって制限されるが、あるシナリオでは、LCMは人間がそのようなラベルを提供するには複雑すぎるタスクを実行する必要がある。 この課題に対処するために、ラベルのないデータのみを利用することで、強力なモデル機能を引き出すことができるかどうかを検討する。 ゼロ・ツー・ストロング一般化と呼ばれる新しいパラダイムを提案する。 我々は、LCMにラベルのないデータを注釈付けし、フィルタによって高品質なラベルを保持するように繰り返し促す。 驚くべきことに、この反復的なプロセスは、下流タスクにおけるLSMのポテンシャルを徐々に解き放つ。 広範囲な分類と推論タスクに関する実験により,提案手法の有効性が確認された。 分析の結果,本パラダイムは文脈内学習と微調整の両方に有効であり,様々なモデルサイズに有効であることが示唆された。

関連論文リスト

• Are LLMs Better than Reported? Detecting Label Errors and Mitigating Their Effect on Model Performance [21.926934384262594]
  大きな言語モデル(LLM)は、アノテーションプロセスを強化する新しい機会を提供する。 合意、ラベルの品質、効率の点で、専門家、クラウドソース、LLMベースのアノテーションを比較します。 以上の結果から,ラベルエラーがかなり多く,修正されると,報告されたモデル性能が大幅に上向きに変化することが判明した。
  論文  参考訳（メタデータ） (2024-10-24T16:27:03Z)
• On Unsupervised Prompt Learning for Classification with Black-box Language Models [71.60563181678323]
  大規模言語モデル(LLM)は、テキスト形式学習問題において顕著な成功を収めた。 LLMは、熟練した人間のアノテータよりも品質の高いデータセットをラベル付けすることができる。 本稿では,ブラックボックス LLM を用いた分類のための教師なしのプロンプト学習を提案する。
  論文  参考訳（メタデータ） (2024-10-04T03:39:28Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• LLMs' Classification Performance is Overclaimed [14.141803470808824]
  AIや人間のために設計された多くの分類タスクでは、ゴールドラベルはデフォルトでラベル空間に含まれる。 この標準設定は、伝統的に高度なAI、特に大規模言語モデル(LLM)の強力なパフォーマンスを強調してきた。 本稿では, LLMの認識性能は, 課題の予測的理解を示すことができないため, 過度に評価されていることを論じる。
  論文  参考訳（メタデータ） (2024-06-23T19:49:10Z)
• TnT-LLM: Text Mining at Scale with Large Language Models [24.731544646232962]
  大規模言語モデル(LLM)は、最小限の努力でエンドツーエンドのラベル生成と割り当てのプロセスを自動化する。 我々は,TnT-LLMが最先端のベースラインと比較した場合,より正確で関連性の高いラベルを生成することを示す。 また、現実のアプリケーションにおける大規模テキストマイニングにLLMを使うことの課題と機会に関する実践的経験と洞察を共有します。
  論文  参考訳（メタデータ） (2024-03-18T18:45:28Z)
• Test-Time Self-Adaptive Small Language Models for Question Answering [63.91013329169796]
  ラベルのないテストデータのみを用いて、より小さな自己適応型LMの能力を示し、検討する。 提案した自己適応戦略は,ベンチマークQAデータセットの大幅な性能向上を示す。
  論文  参考訳（メタデータ） (2023-10-20T06:49:32Z)
• Label Supervised LLaMA Finetuning [13.939718306233617]
  本稿では,Large Language Models (LLM) のラベル管理型適応について紹介する。 最終LLaMA層から潜在表現を抽出し、ラベル空間に投影し、クロスエントロピー損失を計算する。 LS-LLaMAは、複雑な技術や外部知識がなければ、LS-LLaMAの10倍の規模でLLMを著しく上回ります。
  論文  参考訳（メタデータ） (2023-10-02T13:53:03Z)
• CELDA: Leveraging Black-box Language Model as Enhanced Classifier without Labels [14.285609493077965]
  クラスタリング強化線形識別分析(Linar Discriminative Analysis)は、非常に弱いスーパービジョン信号を用いてテキスト分類精度を向上させる新しい手法である。 我々のフレームワークは、LMモデルやデータラベルの重みや勾配にアクセスすることなく、正確な決定境界を描画する。
  論文  参考訳（メタデータ） (2023-06-05T08:35:31Z)
• GPT-NER: Named Entity Recognition via Large Language Models [58.609582116612934]
  GPT-NERはシーケンスラベリングタスクを言語モデルで容易に適用可能な生成タスクに変換する。 GPT-NERは、トレーニングデータの量が極めて少ない場合、低リソースかつ少数ショットのセットアップにおいて、より優れた能力を示す。 これは、ラベル付きサンプルの数が限られている実世界のNERアプリケーションにおけるGPT-NERの機能を示す。
  論文  参考訳（メタデータ） (2023-04-20T16:17:26Z)
• Improved Adaptive Algorithm for Scalable Active Learning with Weak Labeler [89.27610526884496]
  Weak Labeler Active Cover (WL-AC)は、要求される精度を維持しながら、クエリの複雑さを低減するために、低品質の弱いラベルを堅牢に活用することができる。 受動学習と同一の精度を維持しつつラベル数を著しく削減し, 劣化したMNISTデータセット上での有効性を示す。
  論文  参考訳（メタデータ） (2022-11-04T02:52:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。