論文の概要: Winning Amazon KDD Cup'24

• arxiv url: http://arxiv.org/abs/2408.04658v1
• Date: Mon, 5 Aug 2024 14:40:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-12 17:39:53.794562
• Title: Winning Amazon KDD Cup'24
• Title（参考訳）: Amazon KDD Cup'24で優勝
• Authors: Chris Deotte, Ivan Sorokin, Ahmet Erdem, Benedikt Schifferer, Gilberto Titericz Jr, Simon Jegou,
• Abstract要約: 課題は、オンラインショッピングの分野における質問に答える便利なアシスタントを作ることだった。 コンペティションには57の多様なタスクが含まれ、5つの異なるタスクタイプと4つの異なるトラックにまたがる。 私たちのソリューションは、トラック毎にひとつのモデルです。トレーニングデータセットに基づいて、Qwen2-72B-インストラクションを微調整します。
• 参考スコア（独自算出の注目度）: 0.6967835043237027
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This paper describes the winning solution of all 5 tasks for the Amazon KDD Cup 2024 Multi Task Online Shopping Challenge for LLMs. The challenge was to build a useful assistant, answering questions in the domain of online shopping. The competition contained 57 diverse tasks, covering 5 different task types (e.g. multiple choice) and across 4 different tracks (e.g. multi-lingual). Our solution is a single model per track. We fine-tune Qwen2-72B-Instruct on our own training dataset. As the competition released only 96 example questions, we developed our own training dataset by processing multiple public datasets or using Large Language Models for data augmentation and synthetic data generation. We apply wise-ft to account for distribution shifts and ensemble multiple LoRA adapters in one model. We employed Logits Processors to constrain the model output on relevant tokens for the tasks. AWQ 4-bit Quantization and vLLM are used during inference to predict the test dataset in the time constraints of 20 to 140 minutes depending on the track. Our solution achieved the first place in each individual track and is the first place overall of Amazons KDD Cup 2024.
• Abstract（参考訳）: 本稿は, Amazon KDD Cup 2024 Multi Task Online Shopping Challenge for LLMs における5つのタスクの優勝ソリューションについて述べる。 課題は、オンラインショッピングの分野における質問に答える便利なアシスタントを作ることだった。 コンペティションには57の多様なタスクが含まれており、5つの異なるタスクタイプ(例えば、複数の選択)と4つの異なるトラック(例えば、多言語)をカバーする。 私たちのソリューションはトラック毎に1つのモデルです。 トレーニングデータセットにQwen2-72B-Instructを微調整します。 コンペティションが96のサンプル質問しかリリースしなかったため、複数の公開データセットを処理したり、データ拡張と合成データ生成にLarge Language Modelsを使用したりすることで、独自のトレーニングデータセットを開発しました。 分散シフトを考慮に入れ,複数のLoRAアダプタを1つのモデルでアンサンブルする。 私たちは、タスクに関連するトークンでモデル出力を制約するためにLogits Processorsを使用しました。 AWQ 4ビット量子化とvLLMは、トラックに応じて20分から140分の時間制約でテストデータセットを予測するために、推論中に使用される。 われわれのソリューションは各トラックで1位を獲得し、AmazonのKDDカップ2024で1位になった。

関連論文リスト

• Winning Solution For Meta KDD Cup' 24 [6.471894753117029]
  本稿では,db3チームによるメタKDDカップ24における全タスクの勝利解について述べる。 課題は、WebソースとナレッジグラフからRAGシステムを構築することだ。 我々のソリューションは3つのタスクで1位を獲得し、それぞれ28.4%、42.7%、47.8%のスコアを得た。
  論文  参考訳（メタデータ） (2024-09-13T06:10:42Z)
• Task-customized Masked AutoEncoder via Mixture of Cluster-conditional Experts [104.9871176044644]
  Masked Autoencoder (MAE) は,モデル事前学習において有望な結果が得られる自己教師型学習手法である。 我々は、新しいMAEベースの事前学習パラダイム、Mixture of Cluster-conditional Experts (MoCE)を提案する。 MoCEは、クラスタ条件ゲートを使用して、各専門家にセマンティックなイメージのみをトレーニングする。
  論文  参考訳（メタデータ） (2024-02-08T03:46:32Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• LMSYS-Chat-1M: A Large-Scale Real-World LLM Conversation Dataset [75.9621305227523]
  LMSYS-Chat-1M(LMSYS-Chat-1M)について紹介する。 このデータセットは、VicunaのデモとArenaのWebサイトで、210KのIPアドレスから収集されています。 GPT-4と同様の動作を行うコンテンツモデレーションモデルの開発、安全性ベンチマークの構築、Vicunaと同様の動作を行う命令追従モデルのトレーニング、挑戦的なベンチマーク問題の作成、という4つのユースケースを通じて、その汎用性を実証する。
  論文  参考訳（メタデータ） (2023-09-21T12:13:55Z)
• STG-MTL: Scalable Task Grouping for Multi-Task Learning Using Data Map [4.263847576433289]
  MTL(Multi-Task Learning)は、従来のSTL(Single-Task Learning)よりも性能が向上し、普及した強力な技術である。 しかし、MTLは指数的なタスクグルーピング数が多いため、しばしば困難である。 本稿では,これらの課題に対処し,課題分類のためのスケーラブルでモジュール化されたソリューションを提供する新しいデータ駆動手法を提案する。
  論文  参考訳（メタデータ） (2023-07-07T03:54:26Z)
• Predict NAS Multi-Task by Stacking Ensemble Models using GP-NAS [1.819714933798177]
  オーバーフィッティングを克服するためにデータセットを分析してトレーニングする方法が、私たちが対処すべき中核的な問題です。 我々の積み重ねモデルはCVPR 2022トラック2チャレンジで1位にランクインした。
  論文  参考訳（メタデータ） (2023-05-02T13:59:58Z)
• Behavior Retrieval: Few-Shot Imitation Learning by Querying Unlabeled Datasets [73.2096288987301]
  オフラインでラベル付けされていないデータセットから、少量のダウンストリーム専門家データを用いて、関連する振る舞いを選択的にクエリする簡単なアプローチを提案する。 提案手法では,タスクへの関連する遷移のみを問合せし,サブ最適データやタスク非関連データをフィルタリングする。 我々の単純なクエリ手法は、画像からシミュレーションされた実際のロボット操作タスクに対して、より複雑な目標条件の手法よりも20%優れています。
  論文  参考訳（メタデータ） (2023-04-18T05:42:53Z)
• Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
  既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。 タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。 我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
  論文  参考訳（メタデータ） (2022-10-12T15:02:04Z)
• Winning solutions and post-challenge analyses of the ChaLearn AutoDL challenge 2019 [112.36155380260655]
  本稿では,ChaLearnのAutoDLチャレンジシリーズの結果と今後の課題について述べる。 その結果,一般的なニューラルネットワーク探索(NAS)は実用的ではなかったものの,DL手法が支配的であったことが示唆された。 メタラーナー"、"データインジェクタ"、"モデルセレクタ"、"モデル/ラーナー"、"評価器"を特徴とする、ハイレベルなモジュール化組織が登場した。
  論文  参考訳（メタデータ） (2022-01-11T06:21:18Z)
• AutoML Meets Time Series Regression Design and Analysis of the AutoSeries Challenge [21.49840594645196]
  WSDMカップ2020における最初の自動時系列回帰チャレンジ(AutoSeries)。 設計、分析、ポストホック実験について述べる。
  論文  参考訳（メタデータ） (2021-07-28T06:30:46Z)
• Conditional Channel Gated Networks for Task-Aware Continual Learning [44.894710899300435]
  畳み込みニューラルネットワークは、一連の学習問題に最適化された場合、破滅的な忘れを経験する。 本稿では,この問題に条件付き計算で対処する新しい枠組みを提案する。 提案手法を4つの連続学習データセットで検証する。
  論文  参考訳（メタデータ） (2020-03-31T19:35:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。