論文の概要: AutoTask: Task Aware Multi-Faceted Single Model for Multi-Task Ads Relevance
- arxiv url: http://arxiv.org/abs/2407.06549v1
- Date: Tue, 9 Jul 2024 05:13:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-10 19:15:32.988452
- Title: AutoTask: Task Aware Multi-Faceted Single Model for Multi-Task Ads Relevance
- Title(参考訳): AutoTask:マルチタスク広告関連性を考慮したマルチフェイス単一モデル
- Authors: Shouchang Guo, Sonam Damani, Keng-hao Chang,
- Abstract要約: 本稿では,タスク認識機能の組み合わせとタスク間相互作用モデリングを行う,新しい多面的アテンションモデルを提案する。
本手法は,特徴量とタスク次元の両面における自己回帰的注意を伴う「言語」モデリングとして特徴組合せ問題を定式化したものである。
- 参考スコア(独自算出の注目度): 2.380819994407948
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Ads relevance models are crucial in determining the relevance between user search queries and ad offers, often framed as a classification problem. The complexity of modeling increases significantly with multiple ad types and varying scenarios that exhibit both similarities and differences. In this work, we introduce a novel multi-faceted attention model that performs task aware feature combination and cross task interaction modeling. Our technique formulates the feature combination problem as "language" modeling with auto-regressive attentions across both feature and task dimensions. Specifically, we introduce a new dimension of task ID encoding for task representations, thereby enabling precise relevance modeling across diverse ad scenarios with substantial improvement in generality capability for unseen tasks. We demonstrate that our model not only effectively handles the increased computational and maintenance demands as scenarios proliferate, but also outperforms generalized DNN models and even task-specific models across a spectrum of ad applications using a single unified model.
- Abstract(参考訳): 広告関連モデルは、ユーザ検索クエリと広告オファリングの関連性を決定するのに不可欠であり、しばしば分類問題として扱われる。
モデリングの複雑さは、複数の広告タイプと、類似点と相違点の両方を示すさまざまなシナリオによって著しく増加する。
本研究では,タスク認識機能の組み合わせとタスク間相互作用モデリングを行う,新しい多面的アテンションモデルを提案する。
本手法は,特徴量とタスク次元の両面における自己回帰的注意を伴う「言語」モデリングとして特徴組合せ問題を定式化したものである。
具体的には、タスク表現のためのタスクIDエンコーディングの新たな次元を導入し、多様な広告シナリオにまたがる正確な関連性モデリングを可能にする。
シナリオが増大するにつれて,我々のモデルは,増大する計算および保守要求を効果的に処理するだけでなく,一般化されたDNNモデルや,単一統一モデルを用いて複数の広告アプリケーションにまたがるタスク固有モデルよりも優れていることを示す。
関連論文リスト
- Model Evolution Framework with Genetic Algorithm for Multi-Task Reinforcement Learning [85.91908329457081]
マルチタスク強化学習は、様々なシナリオにまたがって一般化可能なエージェントを開発することを目的として、様々なタスクを完遂するために単一のポリシーを採用する。
既存のアプローチでは、ルーティングネットワークを使用して各タスクの特定のルートを生成し、モジュールのセットをさまざまなモデルに再構築し、複数のタスクを同時に完了させるのが一般的である。
本稿では,遺伝的アルゴリズム(MEGA)を用いたモデル進化フレームワークを提案する。
論文 参考訳(メタデータ) (2025-02-19T09:22:34Z) - No Task Left Behind: Isotropic Model Merging with Common and Task-Specific Subspaces [17.69597528370121]
モデルマージは、複数のタスク固有のモデルの重みを単一のマルチタスクモデルに統合する。
この問題に対する最近の関心にもかかわらず、シングルタスクモデルと組み合わせたモデルの間には大きなパフォーマンスギャップが残っている。
タスク固有成分とマージ行列の特異成分のアライメントは,性能改善と強く相関していることを示す。
論文 参考訳(メタデータ) (2025-02-07T14:22:56Z) - Modeling Multi-Task Model Merging as Adaptive Projective Gradient Descent [74.02034188307857]
複数のエキスパートモデルをマージすることは、元のデータにアクセスせずにマルチタスク学習を実行するための有望なアプローチを提供する。
既存の手法は必然的にタスク固有の情報を破棄し、競合の原因となっているが、パフォーマンスには不可欠である。
我々の手法は従来の手法より一貫して優れており、視覚領域とNLP領域の両方において様々なアーキテクチャやタスクにまたがって最先端の結果が得られます。
論文 参考訳(メタデータ) (2025-01-02T12:45:21Z) - Towards Unified Benchmark and Models for Multi-Modal Perceptual Metrics [37.86612817818566]
CLIPや大規模マルチモーダルモデル(LMM)などの汎用視覚言語モデルは、ゼロショット知覚メトリクスとして適用することができる。
提案するUniSim-Benchは、7つのマルチモーダルな知覚的類似性タスクと合計25のデータセットを包含するベンチマークである。
我々の評価では、汎用モデルは平均的に合理的に機能するが、個々のタスクの特化モデルに遅れが生じることが多い。
論文 参考訳(メタデータ) (2024-12-13T22:38:09Z) - A Multitask Deep Learning Model for Classification and Regression of Hyperspectral Images: Application to the large-scale dataset [44.94304541427113]
ハイパースペクトル画像上で複数の分類タスクと回帰タスクを同時に行うマルチタスク深層学習モデルを提案する。
我々は、TAIGAと呼ばれる大規模なハイパースペクトルデータセットに対するアプローチを検証した。
結果の総合的定性的および定量的分析により,提案手法が他の最先端手法よりも有意に優れていることを示す。
論文 参考訳(メタデータ) (2024-07-23T11:14:54Z) - Towards Unified Task Embeddings Across Multiple Models: Bridging the Gap for Prompt-Based Large Language Models and Beyond [16.913115978881866]
本稿では,単一ベクトル空間内において,より小さな言語モデルや多様なプロンプトを持つ大規模言語モデルを含む,様々なモデルからのタスク埋め込みである統合タスク埋め込み(FUTE)フレームワークを提案する。
このような一様性は、異なるモデル間の類似性の比較と分析を可能にし、マルチモデルシナリオにおける既存のタスク埋め込みメソッドの範囲と有用性を広げる。
論文 参考訳(メタデータ) (2024-02-22T13:13:31Z) - Concrete Subspace Learning based Interference Elimination for Multi-task
Model Fusion [86.6191592951269]
一般的な事前訓練された大規模モデルから微調整されたマージングモデルは、様々なタスクに特化しているが、様々なタスクでうまく機能するマルチタスクモデルを構築するための安価でスケーラブルな戦略として実証されている。
本稿では、共通低次元部分空間を同定し、その共有情報トラック干渉問題を性能を犠牲にすることなく利用するための連続緩和(Concrete)部分空間学習法を提案する。
論文 参考訳(メタデータ) (2023-12-11T07:24:54Z) - An Efficient General-Purpose Modular Vision Model via Multi-Task
Heterogeneous Training [79.78201886156513]
本稿では、複数の視覚タスクを実行でき、他の下流タスクに効率的に適応できるモデルを提案する。
提案手法は,単一タスク状態モデルに匹敵する結果を達成し,下流タスクの強力な一般化を実証する。
論文 参考訳(メタデータ) (2023-06-29T17:59:57Z) - Musketeer: Joint Training for Multi-task Vision Language Model with Task Explanation Prompts [75.75548749888029]
本稿では,全てのタスクに対してパラメータを共同で訓練し,複数の異種タスク間で完全に共有する視覚言語モデルを提案する。
単一のモデルで、Musteteerは単一のタスクでトレーニングされた強いベースラインに匹敵する結果を得る。
論文 参考訳(メタデータ) (2023-05-11T17:57:49Z) - Exposing and Addressing Cross-Task Inconsistency in Unified
Vision-Language Models [80.23791222509644]
一貫性のないAIモデルは、人間のユーザーによって不安定で信頼できないと見なされている。
最先端のビジョン言語モデルは、タスク間の驚くほど高い一貫性のない振る舞いに悩まされている。
本稿では,大規模で自動生成されるクロスタスクコントラスト集合上で計算されたランク相関に基づく補助訓練目標を提案する。
論文 参考訳(メタデータ) (2023-03-28T16:57:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。