論文の概要: TaskComplexity: A Dataset for Task Complexity Classification with In-Context Learning, FLAN-T5 and GPT-4o Benchmarks

• arxiv url: http://arxiv.org/abs/2409.20189v1
• Date: Mon, 30 Sep 2024 11:04:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-02 13:07:12.709448
• Title: TaskComplexity: A Dataset for Task Complexity Classification with In-Context Learning, FLAN-T5 and GPT-4o Benchmarks
• Title（参考訳）: Taskcomplexity: In-Context Learning, FLAN-T5, GPT-4oベンチマークを用いたタスク複雑度分類用データセット
• Authors: Areeg Fahad Rasheed, M. Zarkoosh, Safa F. Abbas, Sana Sabah Al-Azzawi,
• Abstract要約: 本稿では,プログラムタスクを専門家に分類・割り当てすることの課題について論じる。 様々なWebサイトからタスクを抽出することによって、合計4,112のプログラミングタスクを含む新しいデータセットが作成された。 Webスクレイピング技術は、このプログラム問題のデータセットを体系的に収集するために用いられた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper addresses the challenge of classifying and assigning programming tasks to experts, a process that typically requires significant effort, time, and cost. To tackle this issue, a novel dataset containing a total of 4,112 programming tasks was created by extracting tasks from various websites. Web scraping techniques were employed to collect this dataset of programming problems systematically. Specific HTML tags were tracked to extract key elements of each issue, including the title, problem description, input-output, examples, problem class, and complexity score. Examples from the dataset are provided in the appendix to illustrate the variety and complexity of tasks included. The dataset's effectiveness has been evaluated and benchmarked using two approaches; the first approach involved fine-tuning the FLAN-T5 small model on the dataset, while the second approach used in-context learning (ICL) with the GPT-4o mini. The performance was assessed using standard metrics: accuracy, recall, precision, and F1-score. The results indicated that in-context learning with GPT-4o-mini outperformed the FLAN-T5 model.
• Abstract（参考訳）: 本稿では,プログラムタスクを専門家に分類・割り当てするという課題に対処する。 この問題に対処するために、様々なウェブサイトからタスクを抽出し、合計4,112のプログラミングタスクを含む新しいデータセットが作成された。 Webスクレイピング技術は、このプログラム問題のデータセットを体系的に収集するために用いられた。 タイトル、問題記述、インプットアウトプット、例、問題クラス、複雑性スコアなど、各問題の主要な要素を抽出するために、特定のHTMLタグが追跡された。 データセットの例は、付属するタスクの多様性と複雑さを説明するために、付録で提供されている。 データセットの有効性は、データセット上でFLAN-T5の小さなモデルを微調整する第一のアプローチと、GPT-4o miniでテキスト内学習(ICL)を使用する第二のアプローチの2つのアプローチで評価され、ベンチマークされている。 パフォーマンスは、精度、リコール、精度、F1スコアといった標準メトリクスを使用して評価された。 その結果, GPT-4o-miniを用いたインコンテクスト学習はFLAN-T5モデルより優れていた。

関連論文リスト

• Identifying Task Groupings for Multi-Task Learning Using Pointwise V-Usable Information [11.545160697026514]
  ポイントワイド V-Uable Information (PVI) を用いたタスク難易度に基づくタスク関連度尺度を提案する。 我々は, 一般, バイオメディカル, 臨床領域において, 15個のNLPデータセットを用いたタスクグループ化の実現可能性を評価する実験を行った。
  論文  参考訳（メタデータ） (2024-10-16T17:49:45Z)
• CRAFT Your Dataset: Task-Specific Synthetic Dataset Generation Through Corpus Retrieval and Augmentation [51.2289822267563]
  合成データセットを生成するCRAFT(Corpus Retrieval and Augmentation for Fine-Tuning)を提案する。 我々は、大規模な公開ウェブクローラコーパスと類似性に基づく文書検索を用いて、他の関連する人文文書を検索する。 我々は,CRAFTが4つのタスクに対して,大規模タスク固有のトレーニングデータセットを効率的に生成できることを実証した。
  論文  参考訳（メタデータ） (2024-09-03T17:54:40Z)
• Limits of Transformer Language Models on Learning to Compose Algorithms [77.2443883991608]
  我々は,LLaMAモデルのトレーニングと,複数の個別サブタスクの合成学習を必要とする4つのタスクにおけるGPT-4とGeminiの促進について検討した。 その結果,現在最先端のTransformer言語モデルにおける構成学習は,非常に非効率なサンプルであることが示唆された。
  論文  参考訳（メタデータ） (2024-02-08T16:23:29Z)
• TAT-LLM: A Specialized Language Model for Discrete Reasoning over Tabular and Textual Data [73.29220562541204]
  我々は,言語モデル(LLM)の驚くべきパワーを活用して課題を解決することを検討する。 LLaMA2を微調整し,既存のエキスパートアノテートデータセットから自動生成したトレーニングデータを用いてTAT-LLM言語モデルを開発する。
  論文  参考訳（メタデータ） (2024-01-24T04:28:50Z)
• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• Zero-shot Item-based Recommendation via Multi-task Product Knowledge Graph Pre-Training [106.85813323510783]
  本稿ではゼロショットアイテムベース勧告(ZSIR)タスクのための新しいパラダイムを提案する。 製品知識グラフ(PKG)のモデルを事前トレーニングして、PLMからアイテム機能を洗練します。 我々は,PKGにおける多型関係,アイテムジェネリック情報と関係のセマンティックな相違,PKGから下流ZSIRタスクへのドメイン差といった,PKG事前学習の課題を3つ挙げる。
  論文  参考訳（メタデータ） (2023-05-12T17:38:24Z)
• Improving Cross-task Generalization of Unified Table-to-text Models with Compositional Task Configurations [63.04466647849211]
  メソッドは通常、タスク情報をエンコーダのプレフィックスとして単純なデータセット名でエンコードする。 本稿では,エンコーダがタスク間の一般化を改善するためのプロンプトセットであるコンポジションタスク構成を提案する。 これは、モデルがトレーニング中に異なるタスク間で共有知識をより良く学習できるだけでなく、新しい構成を構築することでモデルを制御できることを示している。
  論文  参考訳（メタデータ） (2022-12-17T02:20:14Z)
• Multi-Task Meta Learning: learn how to adapt to unseen tasks [4.287114092271669]
  本研究は,Multi-Task Learning(MTL)とメタラーニングという2つの学習パラダイムを統合する,MTML(Multi-task Meta Learning)を提案する。 基本的な考え方はマルチタスクモデルをトレーニングすることであり、例えば、目に見えないタスクを導入すると、より少ないステップで学習できると同時に、パフォーマンスを従来の単一タスク学習と同程度に向上させることができる。 MTMLは、NYU-v2データセットの4つのタスクのうち3つと、タスクノミーデータセットの4つのうち2つのタスクに対して、最先端の結果を達成する。
  論文  参考訳（メタデータ） (2022-10-13T12:59:54Z)
• Using Self-Supervised Pretext Tasks for Active Learning [7.214674613451605]
  本稿では,自己教師付きプレテキストタスクとユニークなデータサンプリング機能を利用して,困難かつ代表的なデータを選択する,新しいアクティブラーニング手法を提案する。 プレテキストタスク学習者は、未ラベルのセットでトレーニングされ、未ラベルのデータは、そのプレテキストタスクの損失によって、バッチにソートされ、グループ化される。 各イテレーションでは、メインタスクモデルを使用して、アノテートされるバッチで最も不確実なデータをサンプリングする。
  論文  参考訳（メタデータ） (2022-01-19T07:58:06Z)
• Learning from Task Descriptions [24.588252048132862]
  本稿では,NLPシステム構築のためのフレームワークについて紹介する。 タスク指向評価のために構築された、新しい英語データセットであるZESTを用いて、このフレームワークをインスタンス化する。 現状のT5モデルはZESTで12%のスコアを獲得し、NLP研究者にとって大きな課題を残している。
  論文  参考訳（メタデータ） (2020-11-16T17:25:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。