論文の概要: Learning to Perform Complex Tasks through Compositional Fine-Tuning of Language Models

• arxiv url: http://arxiv.org/abs/2210.12607v1
• Date: Sun, 23 Oct 2022 03:22:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 13:03:29.301737
• Title: Learning to Perform Complex Tasks through Compositional Fine-Tuning of Language Models
• Title（参考訳）: 言語モデルの合成微調整による複雑なタスクの学習
• Authors: Victor S. Bursztyn, David Demeter, Doug Downey, Larry Birnbaum
• Abstract要約: 構成微調整は、対象タスクをコンポーネントタスクに明示的に分解するアプローチである。 CFTは、同じ量のデータでもエンド・ツー・エンドの学習より優れていることを示す。
• 参考スコア（独自算出の注目度）: 20.173322408302134
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: How to usefully encode compositional task structure has long been a core challenge in AI. Recent work in chain of thought prompting has shown that for very large neural language models (LMs), explicitly demonstrating the inferential steps involved in a target task may improve performance over end-to-end learning that focuses on the target task alone. However, chain of thought prompting has significant limitations due to its dependency on huge pretrained LMs. In this work, we present compositional fine-tuning (CFT): an approach based on explicitly decomposing a target task into component tasks, and then fine-tuning smaller LMs on a curriculum of such component tasks. We apply CFT to recommendation tasks in two domains, world travel and local dining, as well as a previously studied inferential task (sports understanding). We show that CFT outperforms end-to-end learning even with equal amounts of data, and gets consistently better as more component tasks are modeled via fine-tuning. Compared with chain of thought prompting, CFT performs at least as well using LMs only 7.4% of the size, and is moreover applicable to task domains for which data are not available during pretraining.
• Abstract（参考訳）: 構成的タスク構造をいかに便利にエンコードするかは、aiの重要な課題でした。 近年の思考の連鎖による研究は、非常に大きなニューラルネットワークモデル(LM)において、目標タスクにかかわる推論ステップが、目標タスクのみに焦点を当てたエンドツーエンド学習よりもパフォーマンスを向上させる可能性があることを示した。 しかし、思考の連鎖は、巨大な事前訓練されたLMに依存するため、かなりの制限がある。 本稿では,対象タスクをコンポーネントタスクに明示的に分解し,そのタスクのカリキュラム上でより小さなlmsを微調整する手法であるcft( compositional fine-tuning)を提案する。 我々はCFTを世界旅行と地域食の2分野における推薦タスク、および以前に研究された推論タスク(スポーツ理解)に適用する。 CFTは、同じ量のデータでもエンドツーエンド学習より優れており、微調整によってより多くのコンポーネントタスクがモデル化されるにつれて、一貫して改善されていることを示す。 ソートプロンプトの連鎖と比較して、CFT は少なくとも LM の7.4% しか使用せず、事前トレーニング中にデータが利用できないタスク領域にも適用可能である。

関連論文リスト

• Task Addition in Multi-Task Learning by Geometrical Alignment [4.220885199861056]
  本稿では,限定データを用いた目標タスクの性能向上のためのタスク追加手法を提案する。 これは、大規模データセット上で教師付きマルチタスク事前トレーニングによって達成され、続いて、各タスクに対するタスク固有のモジュールの追加とトレーニングが行われる。 本実験は,従来のマルチタスク手法よりもGATEのタスク追加戦略の方が,計算コストに匹敵する優れた性能を示す。
  論文  参考訳（メタデータ） (2024-09-25T05:56:00Z)
• Cross-Task Affinity Learning for Multitask Dense Scene Predictions [5.939164722752263]
  マルチタスク学習(MTL)は,複数のタスクを同時に予測する能力で注目されている。 マルチタスクネットワークにおけるタスク改善を強化する軽量フレームワークであるクロスタスク親和性学習(CTAL)モジュールを紹介する。 以上の結果から,CNNとトランスフォーマーの両バックボーンに対して,シングルタスク学習よりもはるかに少ないパラメータを用いて,最先端のMTL性能を実証した。
  論文  参考訳（メタデータ） (2024-01-20T05:31:47Z)
• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• TaskLAMA: Probing the Complex Task Understanding of Language Models [13.336015994186955]
  構造化複雑タスク分解(Structured Complex Task Decomposition, SCTD)は、複雑な現実世界のタスクを、タスク達成に寄与する個々のステップ上の有向非巡回グラフに分解する問題である。 我々は,Large Language Models (LLMs) から抽出した知識を用いて,SCTDの精度を検証した。 実験の結果,LLMは複雑なタスクを個々のステップに効果的に分解できることがわかった。
  論文  参考訳（メタデータ） (2023-08-29T13:36:45Z)
• Task Residual for Tuning Vision-Language Models [69.22958802711017]
  タスク残差調整(TaskRes)と呼ばれる視覚言語モデル(VLM)のための新しい効率的なチューニング手法を提案する。 TaskResは、トレーニング済みモデルの事前知識とターゲットタスクに関する新たな知識を明示的に分離する。 提案されたTaskResは単純だが有効であり、11のベンチマークデータセットで以前のメソッドよりも大幅に上回っている。
  論文  参考訳（メタデータ） (2022-11-18T15:09:03Z)
• Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
  既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。 タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。 我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
  論文  参考訳（メタデータ） (2022-10-12T15:02:04Z)
• On-edge Multi-task Transfer Learning: Model and Practice with Data-driven Task Allocation [20.20889051697198]
  マルチタスク・トランスファー・ラーニング(MTL)におけるタスク・アロケーションは,NP完全Knapsack問題の変種であることを示す。 我々は,データ駆動型協調作業割当(DCTA)アプローチを提案し,高い計算効率でTATIMを解く。 我々のDCTAは処理時間の3.24倍を削減し、TATIMを解く際の最先端技術と比較して48.4%の省エネを図っている。
  論文  参考訳（メタデータ） (2021-07-06T08:24:25Z)
• Weighted Training for Cross-Task Learning [71.94908559469475]
  クロスタスク学習のための重み付きトレーニングアルゴリズムであるTarget-Aware Weighted Training (TAWT)を紹介する。 TAWTは実装が容易で、計算効率が高く、ハイパーパラメータチューニングがほとんど必要とせず、漸近的でない学習理論の保証を享受できることを示す。 副産物として、提案された表現に基づくタスク距離は、クロスタスク学習のいくつかの重要な側面について理論的に原則化された方法で推論することができる。
  論文  参考訳（メタデータ） (2021-05-28T20:27:02Z)
• Exploring and Predicting Transferability across NLP Tasks [115.6278033699853]
  本研究では,33のNLPタスク間の伝達可能性について検討した。 以上の結果から,転帰学習は従来考えられていたよりも有益であることが示唆された。 また,特定の対象タスクに対して最も転送可能なソースタスクを予測するために使用できるタスク埋め込みも開発した。
  論文  参考訳（メタデータ） (2020-05-02T09:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。