論文の概要: Mashee at SemEval-2024 Task 8: The Impact of Samples Quality on the Performance of In-Context Learning for Machine Text Classification
- arxiv url: http://arxiv.org/abs/2406.17790v1
- Date: Tue, 28 May 2024 12:47:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-01 06:21:45.758519
- Title: Mashee at SemEval-2024 Task 8: The Impact of Samples Quality on the Performance of In-Context Learning for Machine Text Classification
- Title（参考訳）: Mashee at SemEval-2024 Task 8: The Impact of Samples Quality on the Performance of In-Context Learning for Machine Text Classification (英語)
- Authors: Areeg Fahad Rasheed, M. Zarkoosh,
- Abstract要約: 我々は,高品質試料を同定するために2乗検定を用い,低品質試料を用いて得られた試料と比較した。
これらの結果から, 高品質な試料の利用により, 評価指標のすべてに対して, 性能が向上することが示唆された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Within few-shot learning, in-context learning (ICL) has become a potential method for leveraging contextual information to improve model performance on small amounts of data or in resource-constrained environments where training models on large datasets is prohibitive. However, the quality of the selected sample in a few shots severely limits the usefulness of ICL. The primary goal of this paper is to enhance the performance of evaluation metrics for in-context learning by selecting high-quality samples in few-shot learning scenarios. We employ the chi-square test to identify high-quality samples and compare the results with those obtained using low-quality samples. Our findings demonstrate that utilizing high-quality samples leads to improved performance with respect to all evaluated metrics.
- Abstract（参考訳）: 数ショットの学習の中で、ICL(In-context Learning)は、少量のデータや、大規模なデータセットのトレーニングモデルが禁止されているリソース制約のある環境でのモデルパフォーマンスを改善するために、コンテキスト情報を活用する潜在的な方法となっている。
しかし,数ショットで選択した試料の品質はICLの有用性を著しく制限した。
本研究の主な目的は,数ショットの学習シナリオにおいて,高品質なサンプルを選択することで,文脈内学習の評価指標の性能を向上させることである。
我々は,高品質試料を同定するために2乗検定を用い,低品質試料を用いて得られた試料と比較した。
これらの結果から, 高品質な試料の利用により, 評価指標のすべてに対して, 性能が向上することが示唆された。
関連論文リスト
- Quality Matters: Evaluating Synthetic Data for Tool-Using LLMs [11.24476329991465]
外部ツール使用のための大規模言語モデル(LLM)のトレーニングは、急速に拡大する分野である。
体系的なデータ品質チェックの欠如は、モデルを適切にトレーニングし、テストするための複雑さを引き起こす。
外部ツールを用いたLCMのトレーニングにおいて,データの信頼性を評価するための2つの手法を提案する。
論文 参考訳（メタデータ） (2024-09-24T17:20:02Z) - Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。
トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。
広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
論文 参考訳（メタデータ） (2024-06-07T11:37:45Z) - Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。
このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
論文 参考訳（メタデータ） (2024-02-16T13:53:26Z) - QuRating: Selecting High-Quality Data for Training Language Models [64.83332850645074]
データ品質に関する人間の直感をキャプチャできる事前学習データを選択するQuRatingを導入する。
本稿では,書体,専門知識,事実とトリビア,教育的価値の4つの特性について検討する。
ペアの判断からスカラー評価を学習するためにQurモデルをトレーニングし、それを4つの基準ごとに品質評価付き260Bのトレーニングコーパスにアノテートするために使用します。
論文 参考訳（メタデータ） (2024-02-15T06:36:07Z) - One-Shot Learning as Instruction Data Prospector for Large Language Models [108.81681547472138]
textscNuggetsはワンショット学習を使用して、広範なデータセットから高品質な命令データを選択する。
我々は,textscNuggets がキュレートした例の上位1%による命令チューニングが,データセット全体を用いた従来の手法よりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2023-12-16T03:33:12Z) - A Novel Metric for Measuring Data Quality in Classification Applications
(extended version) [0.0]
データ品質を測定するための新しい指標を紹介し説明する。
この尺度は、分類性能とデータの劣化の相関した進化に基づいている。
各基準の解釈と評価レベルの例を提供する。
論文 参考訳（メタデータ） (2023-12-13T11:20:09Z) - Test Time Adaptation for Blind Image Quality Assessment [20.50795362928567]
本報告では, ブラインドIQAにおけるTTAを実現するために, バッチとサンプルレベルに2つの新しい品質関連補助タスクを導入する。
実験の結果,テスト分布から少量の画像を使用しても,性能の大幅な向上が期待できることがわかった。
論文 参考訳（メタデータ） (2023-07-27T09:43:06Z) - A Quality Aware Sample-to-Sample Comparison for Face Recognition [13.96448286983864]
この研究は、サンプルレベルで品質を意識した学習プロセスを分類訓練パラダイム(QAFace)に統合する。
本手法は,トレーニングデータセットの認識可能な低品質サンプルに適応的に注目する。
論文 参考訳（メタデータ） (2023-06-06T20:28:04Z) - Temporal Output Discrepancy for Loss Estimation-based Active Learning [65.93767110342502]
ラベルのないサンプルが高損失を伴っていると信じられている場合に,データアノテーションのオラクルに問い合わせる,新しいディープラーニングアプローチを提案する。
本手法は,画像分類やセマンティックセグメンテーションタスクにおける最先端の能動学習手法よりも優れた性能を実現する。
論文 参考訳（メタデータ） (2022-12-20T19:29:37Z) - Towards Robust Visual Question Answering: Making the Most of Biased
Samples via Contrastive Learning [54.61762276179205]
我々は,ビザドサンプルを最大限に活用することで,ロバストなVQAモデルを構築するための新しいコントラスト学習手法 MMBS を提案する。
具体的には、元のトレーニングサンプルからスプリアス相関に関連する情報を排除し、比較学習のための正のサンプルを構築する。
我々は,OODデータセットのVQA-CP v2において,IDデータセットのVQA v2上での堅牢なパフォーマンスを維持しながら,競争性能を達成することで,コントリビューションを検証した。
論文 参考訳（メタデータ） (2022-10-10T11:05:21Z) - Minority Class Oversampling for Tabular Data with Deep Generative Models [4.976007156860967]
オーバーサンプリングによる非バランスな分類タスクの性能向上を図るために, 深層生成モデルを用いて現実的なサンプルを提供する能力について検討した。
実験の結果,サンプリング手法は品質に影響を与えないが,実行環境は様々であることがわかった。
また、性能指標の点でも改善が重要であるが、絶対的な点では小さな点がしばしば見られる。
論文 参考訳（メタデータ） (2020-05-07T21:35:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。