論文の概要: CrossCodeBench: Benchmarking Cross-Task Generalization of Source Code Models

• arxiv url: http://arxiv.org/abs/2302.04030v2
• Date: Fri, 10 Feb 2023 06:57:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-13 12:02:49.184054
• Title: CrossCodeBench: Benchmarking Cross-Task Generalization of Source Code Models
• Title（参考訳）: CrossCodeBench: ソースコードモデルのクロスタスク一般化のベンチマーク
• Authors: Changan Niu, Chuanyi Li, Vincent Ng, Bin Luo
• Abstract要約: クロスタスクの一般化は強力な研究と応用価値である。 既存の216のコード関連タスクを含む大規模ベンチマークを提案する。
• 参考スコア（独自算出の注目度）: 33.78307982736911
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the recent advances showing that a model pre-trained on large-scale source code data is able to gain appreciable generalization capability, it still requires a sizeable amount of data on the target task for fine-tuning. And the effectiveness of the model generalization is largely affected by the size and quality of the fine-tuning data, which is detrimental for target tasks with limited or unavailable resources. Therefore, cross-task generalization, with the goal of improving the generalization of the model to unseen tasks that have not been seen before, is of strong research and application value. In this paper, we propose a large-scale benchmark that includes 216 existing code-related tasks. Then, we annotate each task with the corresponding meta information such as task description and instruction, which contains detailed information about the task and a solution guide. This also helps us to easily create a wide variety of ``training/evaluation'' task splits to evaluate the various cross-task generalization capabilities of the model. Then we perform some preliminary experiments to demonstrate that the cross-task generalization of models can be largely improved by in-context learning methods such as few-shot learning and learning from task instructions, which shows the promising prospects of conducting cross-task learning research on our benchmark. We hope that the collection of the datasets and our benchmark will facilitate future work that is not limited to cross-task generalization.
• Abstract（参考訳）: 大規模ソースコードデータに事前トレーニングされたモデルが認識可能な一般化能力を得ることができるという最近の進歩にもかかわらず、微調整にはターゲットタスク上の大きな量のデータが必要である。 また、モデル一般化の有効性は、限られたリソースや利用できないリソースを対象とするタスクに有害な微調整データのサイズと品質に大きく影響される。 したがって、クロスタスクの一般化は、これまで見たことのないタスクに対するモデルの一般化を改善することを目的としており、強力な研究と応用価値である。 本稿では,既存の216のコード関連タスクを含む大規模ベンチマークを提案する。 そして,タスクの詳細な情報と解答ガイドを含むタスク記述や指示などのメタ情報を用いて,各タスクにアノテートを行う。 これはまた、モデルの様々なクロスタスク一般化能力を評価するために、 ``training/evaluation'タスク分割を簡単に作成するのに役立ちます。 そこで本研究では,タスク命令からの少数ショット学習や学習といったコンテキスト内学習手法により,モデルのクロスタスク一般化が大幅に向上できることを実証するために,予備実験を行った。 データセットとベンチマークの収集が,タスク間の一般化に限らず,今後の作業を促進することを期待しています。

関連論文リスト

• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• Identification of Negative Transfers in Multitask Learning Using Surrogate Models [29.882265735630046]
  マルチタスク学習は、複数の関連するソースタスクで強化することで、低リソースのターゲットタスクのトレーニングに広く使用されている。 マルチタスク学習における重要な問題は、ターゲットタスクに利益をもたらすソースタスクのサブセットを特定することである。 本稿では,サロゲートモデルを用いてこの問題に対処する効率的な手法を提案する。
  論文  参考訳（メタデータ） (2023-03-25T23:16:11Z)
• Prototype-guided Cross-task Knowledge Distillation for Large-scale Models [103.04711721343278]
  クロスタスクの知識蒸留は、競争力のあるパフォーマンスを得るために小さな学生モデルを訓練するのに役立ちます。 本稿では,大規模教師ネットワークの内在的ローカルレベルのオブジェクト知識を様々なタスクシナリオに転送するための,プロトタイプ誘導型クロスタスク知識蒸留(ProC-KD)アプローチを提案する。
  論文  参考訳（メタデータ） (2022-12-26T15:00:42Z)
• Generalization with Lossy Affordances: Leveraging Broad Offline Data for Learning Visuomotor Tasks [65.23947618404046]
  本研究では,広範囲なデータを用いたオフライン強化学習を通じて,時間的拡張タスクの目標条件付きポリシを取得するフレームワークを提案する。 新たなタスク目標に直面した場合、フレームワークは余裕モデルを使用して、元のタスクをより簡単な問題に分解するサブゴールとして、損失のある表現のシーケンスを計画する。 我々は,従来の作業からロボット体験の大規模データセットを事前学習し,手動の報酬工学を使わずに視覚入力から,新しいタスクを効率的に微調整できることを実証した。
  論文  参考訳（メタデータ） (2022-10-12T21:46:38Z)
• Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
  既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。 タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。 我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
  論文  参考訳（メタデータ） (2022-10-12T15:02:04Z)
• Unsupervised Cross-Task Generalization via Retrieval Augmentation [27.47782160720298]
  本稿では,ReCross という名前の検索拡張手法を提案する。 実験結果から,提案したReCrossは非検索ベースラインを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2022-04-17T06:05:13Z)
• Active Multi-Task Representation Learning [50.13453053304159]
  本研究は,アクティブラーニングの手法を活用することで,資源タスクのサンプリングに関する最初の公式な研究を行う。 提案手法は, 対象タスクに対する各ソースタスクの関連性を反復的に推定し, その関連性に基づいて各ソースタスクからサンプルを抽出するアルゴリズムである。
  論文  参考訳（メタデータ） (2022-02-02T08:23:24Z)
• Generalized Hindsight for Reinforcement Learning [154.0545226284078]
  1つのタスクを解決しようとするときに収集された低リワードデータは、そのタスクを解決するための信号をほとんど、あるいは全く提供しない、と我々は主張する。 本稿では,動作を適切なタスクで再現するための近似逆強化学習手法であるGeneralized Hindsightを提案する。
  論文  参考訳（メタデータ） (2020-02-26T18:57:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。