論文の概要: TaskComplexity: A Dataset for Task Complexity Classification with In-Context Learning, FLAN-T5 and GPT-4o Benchmarks

• arxiv url: http://arxiv.org/abs/2409.20189v1
• Date: Mon, 30 Sep 2024 11:04:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-02 13:07:12.709448
• Title: TaskComplexity: A Dataset for Task Complexity Classification with In-Context Learning, FLAN-T5 and GPT-4o Benchmarks
• Title（参考訳）: Taskcomplexity: In-Context Learning, FLAN-T5, GPT-4oベンチマークを用いたタスク複雑度分類用データセット
• Authors: Areeg Fahad Rasheed, M. Zarkoosh, Safa F. Abbas, Sana Sabah Al-Azzawi,
• Abstract要約: 本稿では,プログラムタスクを専門家に分類・割り当てすることの課題について論じる。 様々なWebサイトからタスクを抽出することによって、合計4,112のプログラミングタスクを含む新しいデータセットが作成された。 Webスクレイピング技術は、このプログラム問題のデータセットを体系的に収集するために用いられた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper addresses the challenge of classifying and assigning programming tasks to experts, a process that typically requires significant effort, time, and cost. To tackle this issue, a novel dataset containing a total of 4,112 programming tasks was created by extracting tasks from various websites. Web scraping techniques were employed to collect this dataset of programming problems systematically. Specific HTML tags were tracked to extract key elements of each issue, including the title, problem description, input-output, examples, problem class, and complexity score. Examples from the dataset are provided in the appendix to illustrate the variety and complexity of tasks included. The dataset's effectiveness has been evaluated and benchmarked using two approaches; the first approach involved fine-tuning the FLAN-T5 small model on the dataset, while the second approach used in-context learning (ICL) with the GPT-4o mini. The performance was assessed using standard metrics: accuracy, recall, precision, and F1-score. The results indicated that in-context learning with GPT-4o-mini outperformed the FLAN-T5 model.
• Abstract（参考訳）: 本稿では,プログラムタスクを専門家に分類・割り当てするという課題に対処する。 この問題に対処するために、様々なウェブサイトからタスクを抽出し、合計4,112のプログラミングタスクを含む新しいデータセットが作成された。 Webスクレイピング技術は、このプログラム問題のデータセットを体系的に収集するために用いられた。 タイトル、問題記述、インプットアウトプット、例、問題クラス、複雑性スコアなど、各問題の主要な要素を抽出するために、特定のHTMLタグが追跡された。 データセットの例は、付属するタスクの多様性と複雑さを説明するために、付録で提供されている。 データセットの有効性は、データセット上でFLAN-T5の小さなモデルを微調整する第一のアプローチと、GPT-4o miniでテキスト内学習(ICL)を使用する第二のアプローチの2つのアプローチで評価され、ベンチマークされている。 パフォーマンスは、精度、リコール、精度、F1スコアといった標準メトリクスを使用して評価された。 その結果, GPT-4o-miniを用いたインコンテクスト学習はFLAN-T5モデルより優れていた。

関連論文リスト

• On Inter-dataset Code Duplication and Data Leakage in Large Language Models [4.148857672591562]
  本稿では,データセット間の重複現象とその大規模言語モデル(LLM)評価への影響について検討する。 この結果から,複数のSEタスクにまたがるLCMの評価は,データ間重複現象に起因する可能性が示唆された。 オープンソースモデルがデータセット間の重複に影響される可能性があることを示す。
  論文  参考訳（メタデータ） (2024-01-15T19:46:40Z)
• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule [55.08778142798106]
  原文と修正文のアライメントを利用する補助タスクを提案する。 我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。 トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
  論文  参考訳（メタデータ） (2023-11-20T14:50:12Z)
• Automated Few-shot Classification with Instruction-Finetuned Language Models [76.69064714392165]
  我々は、AuT-Fewが最先端の数ショット学習方法より優れていることを示す。 AuT-Few は RAFT few-shot ベンチマークにおいて,データセット間で最高のランク付け手法であることを示す。
  論文  参考訳（メタデータ） (2023-05-21T21:50:27Z)
• Zero-shot Item-based Recommendation via Multi-task Product Knowledge Graph Pre-Training [106.85813323510783]
  本稿ではゼロショットアイテムベース勧告(ZSIR)タスクのための新しいパラダイムを提案する。 製品知識グラフ(PKG)のモデルを事前トレーニングして、PLMからアイテム機能を洗練します。 我々は,PKGにおける多型関係,アイテムジェネリック情報と関係のセマンティックな相違,PKGから下流ZSIRタスクへのドメイン差といった,PKG事前学習の課題を3つ挙げる。
  論文  参考訳（メタデータ） (2023-05-12T17:38:24Z)
• Improving Cross-task Generalization of Unified Table-to-text Models with Compositional Task Configurations [63.04466647849211]
  メソッドは通常、タスク情報をエンコーダのプレフィックスとして単純なデータセット名でエンコードする。 本稿では,エンコーダがタスク間の一般化を改善するためのプロンプトセットであるコンポジションタスク構成を提案する。 これは、モデルがトレーニング中に異なるタスク間で共有知識をより良く学習できるだけでなく、新しい構成を構築することでモデルを制御できることを示している。
  論文  参考訳（メタデータ） (2022-12-17T02:20:14Z)
• Multi-Task Meta Learning: learn how to adapt to unseen tasks [4.287114092271669]
  本研究は,Multi-Task Learning(MTL)とメタラーニングという2つの学習パラダイムを統合する,MTML(Multi-task Meta Learning)を提案する。 基本的な考え方はマルチタスクモデルをトレーニングすることであり、例えば、目に見えないタスクを導入すると、より少ないステップで学習できると同時に、パフォーマンスを従来の単一タスク学習と同程度に向上させることができる。 MTMLは、NYU-v2データセットの4つのタスクのうち3つと、タスクノミーデータセットの4つのうち2つのタスクに対して、最先端の結果を達成する。
  論文  参考訳（メタデータ） (2022-10-13T12:59:54Z)
• Using Self-Supervised Pretext Tasks for Active Learning [7.214674613451605]
  本稿では,自己教師付きプレテキストタスクとユニークなデータサンプリング機能を利用して,困難かつ代表的なデータを選択する,新しいアクティブラーニング手法を提案する。 プレテキストタスク学習者は、未ラベルのセットでトレーニングされ、未ラベルのデータは、そのプレテキストタスクの損失によって、バッチにソートされ、グループ化される。 各イテレーションでは、メインタスクモデルを使用して、アノテートされるバッチで最も不確実なデータをサンプリングする。
  論文  参考訳（メタデータ） (2022-01-19T07:58:06Z)
• Learning from Task Descriptions [24.588252048132862]
  本稿では,NLPシステム構築のためのフレームワークについて紹介する。 タスク指向評価のために構築された、新しい英語データセットであるZESTを用いて、このフレームワークをインスタンス化する。 現状のT5モデルはZESTで12%のスコアを獲得し、NLP研究者にとって大きな課題を残している。
  論文  参考訳（メタデータ） (2020-11-16T17:25:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。