論文の概要: Use Random Selection for Now: Investigation of Few-Shot Selection Strategies in LLM-based Text Augmentation for Classification

• arxiv url: http://arxiv.org/abs/2410.10756v1
• Date: Mon, 14 Oct 2024 17:30:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-29 19:44:46.648780
• Title: Use Random Selection for Now: Investigation of Few-Shot Selection Strategies in LLM-based Text Augmentation for Classification
• Title（参考訳）: 現在におけるランダム選択の活用: LLMによるテキストの分類用拡張におけるFew-Shot選択方略の検討
• Authors: Jan Cegin, Branislav Pecher, Jakub Simko, Ivan Srba, Maria Bielikova, Peter Brusilovsky,
• Abstract要約: 生成型大規模言語モデル(LLM)は、データ拡張タスクにますます使われています。 数ショットの学習文献に存在するサンプル選択戦略を比較し,LLMに基づくテキスト拡張におけるそれらの効果について検討する。 結果から,一部の情報化戦略ではモデルの性能が向上する一方,限界性能が向上してもほとんど発生しないことがわかった。
• 参考スコア（独自算出の注目度）: 6.273933281069326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The generative large language models (LLMs) are increasingly used for data augmentation tasks, where text samples are paraphrased (or generated anew) and then used for classifier fine-tuning. Existing works on augmentation leverage the few-shot scenarios, where samples are given to LLMs as part of prompts, leading to better augmentations. Yet, the samples are mostly selected randomly and a comprehensive overview of the effects of other (more ``informed'') sample selection strategies is lacking. In this work, we compare sample selection strategies existing in few-shot learning literature and investigate their effects in LLM-based textual augmentation. We evaluate this on in-distribution and out-of-distribution classifier performance. Results indicate, that while some ``informed'' selection strategies increase the performance of models, especially for out-of-distribution data, it happens only seldom and with marginal performance increases. Unless further advances are made, a default of random sample selection remains a good option for augmentation practitioners.
• Abstract（参考訳）: 生成型大規模言語モデル(LLM)は、テキストサンプルをパラフレーズ化(あるいは新たに生成された)し、次に分類器の微調整に使用されるデータ拡張タスクにますます使用される。 既存の拡張作業では,プロンプトの一部としてLLMにサンプルを付与する,いくつかのシナリオが活用されている。 しかし、サンプルはほとんどランダムに選択され、他の(より「インフォームド」な)サンプル選択戦略の効果の包括的概要が欠落している。 本研究は,少人数の学習文献に存在するサンプル選択戦略を比較し,LLMに基づくテキスト拡張におけるそれらの効果について検討する。 分布内および分布外分類器の性能について評価する。 結果から,「インフォームド」の選択戦略によってモデルの性能が向上する一方で,特にアウト・オブ・ディストリビューションデータでは,ごくまれにのみ発生し,限界性能が増大することが明らかとなった。 さらなる進歩が得られない限り、ランダムなサンプル選択のデフォルトは、拡張実践者にとって良い選択肢である。

関連論文リスト

• Using Large Language Models for Expert Prior Elicitation in Predictive Modelling [53.54623137152208]
  本研究では,大規模言語モデル (LLM) を用いて予測モデルの事前分布を推定する手法を提案する。 本研究では,LLMがパラメータ分布を真に生成するかどうかを評価するとともに,文脈内学習と事前推論のためのモデル選択戦略を提案する。 その結果,LLMによる事前パラメータ分布は,低データ設定における非形式的先行よりも予測誤差を著しく低減することがわかった。
  論文  参考訳（メタデータ） (2024-11-26T10:13:39Z)
• Enhancing Semi-Supervised Learning via Representative and Diverse Sample Selection [3.9620215314408984]
  半監督学習(SSL)は多くのディープラーニングタスクにおいて好まれるパラダイムとなっている。 ラベル付けのためのサンプルの選択方法も,特に低予算環境下では,パフォーマンスに大きく影響する。 新たな基準である$alpha$-Maximum Mean Discrepancy(alpha$-MMD)を最小化するために修正されたFrank-Wolfeアルゴリズムを採用することで、RDSSはラベルなしデータからアノテーションの代表的なサブセットをサンプリングする。
  論文  参考訳（メタデータ） (2024-09-18T02:40:31Z)
• LLM-Select: Feature Selection with Large Language Models [64.5099482021597]
  大規模言語モデル(LLM)は、データサイエンスの標準ツールに匹敵するパフォーマンスで、最も予測可能な機能を選択することができる。 以上の結果から,LSMはトレーニングに最適な機能を選択するだけでなく,そもそもどの機能を収集すべきかを判断する上でも有用である可能性が示唆された。
  論文  参考訳（メタデータ） (2024-07-02T22:23:40Z)
• Towards Informative Few-Shot Prompt with Maximum Information Gain for In-Context Learning [30.536184852029386]
  大規模言語モデル (LLM) は、文脈内学習 (ICL) を行う能力を有する。 LLMは、新しい下流タスクを条件としていくつかのデモを活用することで、ICL(In-context Learning)に参加する能力を持っている。 しかし、この特定の学習パラダイムは、選択されたサンプルの入力分布、順序付け、プロンプトフォーマットなどの要因によって引き起こされる実質的なばらつきから生じる高い不安定さに悩まされる。
  論文  参考訳（メタデータ） (2023-10-13T07:49:11Z)
• Large Language Models Are Not Robust Multiple Choice Selectors [117.72712117510953]
  複数選択質問(MCQ)は、大規模言語モデル(LLM)の評価において、一般的なが重要なタスク形式として機能する。 この研究は、現代のLLMが、その固有の「選択バイアス」によるオプション位置変化に対して脆弱であることを示している。 そこで本研究では,オプションIDに対する事前バイアスを全体予測分布から分離するPriDeという,ラベルのない推論時間脱バイアス手法を提案する。
  論文  参考訳（メタデータ） (2023-09-07T17:44:56Z)
• How to choose "Good" Samples for Text Data Augmentation [4.60495447017298]
  データ拡張から高品質なサンプルを選択するための2つのセレクタを備えた新しい自己学習フレームワークを提案する。 具体的には、まずエントロピーに基づく戦略とモデル予測を用いて、拡張サンプルを選択する。 上述のステップで高い品質のサンプルが誤ってフィルタされる可能性があることを考慮し、単語重複と意味的類似性という2つの視点からそれらを思い出すことを提案する。
  論文  参考訳（メタデータ） (2023-02-02T06:01:50Z)
• ReSmooth: Detecting and Utilizing OOD Samples when Training with Data Augmentation [57.38418881020046]
  最近のDA技術は、常に強化トレーニングサンプルの多様性の必要性を満たす。 多様性の高い増分戦略は、通常、アウト・オブ・ディストリビューション(OOD)の増分サンプルを導入する。 ReSmoothは、まず、拡張サンプル中のOODサンプルを検知し、それらを活用するフレームワークである。
  論文  参考訳（メタデータ） (2022-05-25T09:29:27Z)
• SelectAugment: Hierarchical Deterministic Sample Selection for Data Augmentation [72.58308581812149]
  そこで我々は,SelectAugmentと呼ばれる効果的な手法を提案し,決定論的かつオンラインに拡張するサンプルを選択する。 具体的には、各バッチにおいて、まず増分比率を決定し、次にこの比で各トレーニングサンプルを増分するかを決定する。 これにより、サンプルを増量する際のランダム性による負の効果を効果的に軽減し、DAの有効性を向上させることができる。
  論文  参考訳（メタデータ） (2021-12-06T08:38:38Z)
• On Training Instance Selection for Few-Shot Neural Text Generation [9.37935464602938]
  数ショットのニューラルテキスト生成におけるトレーニングインスタンスの選択について検討する。 K-meansクラスタリングによる単純な選択戦略を提案する。 生成モデルは3つのテキスト生成タスクにおいてランダムサンプリングよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-07T12:16:16Z)
• True Few-Shot Learning with Language Models [78.42578316883271]
  ホールドアウト例が利用できない場合, LMの少数ショット能力を評価する。 以上の結果から,先行研究はLMの真少ショット能力を大幅に過大評価していたことが示唆された。
  論文  参考訳（メタデータ） (2021-05-24T17:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。