論文の概要: Adversarial Mixture Of Experts with Category Hierarchy Soft Constraint
- arxiv url: http://arxiv.org/abs/2007.12349v3
- Date: Tue, 2 Mar 2021 13:32:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-07 06:04:19.700938
- Title: Adversarial Mixture Of Experts with Category Hierarchy Soft Constraint
- Title（参考訳）: カテゴリー階層ソフト制約を持つ専門家の敵対的混合
- Authors: Zhuojian Xiao, Yunjiang jiang, Guoyu Tang, Lin Liu, Sulong Xu, Yun
Xiao, Weipeng Yan
- Abstract要約: 我々はMixture of Expert(MoE)フレームワークを利用して、クエリカテゴリごとに専門的なランキングモデルを学ぶ。
専門家のアウトプットに逆正則化の形式を導入し、互いに意見の相違を強いる。
これは、異なるカテゴリのゲート出力ベクトルのより強いクラスタリング効果によって検証される。
- 参考スコア（独自算出の注目度）: 21.334343559739878
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Product search is the most common way for people to satisfy their shopping
needs on e-commerce websites. Products are typically annotated with one of
several broad categorical tags, such as "Clothing" or "Electronics", as well as
finer-grained categories like "Refrigerator" or "TV", both under "Electronics".
These tags are used to construct a hierarchy of query categories. Distributions
of features such as price and brand popularity vary wildly across query
categories. In addition, feature importance for the purpose of CTR/CVR
predictions differs from one category to another. In this work, we leverage the
Mixture of Expert (MoE) framework to learn a ranking model that specializes for
each query category. In particular, our gate network relies solely on the
category ids extracted from the user query. While classical MoE's pick expert
towers spontaneously for each input example, we explore two techniques to
establish more explicit and transparent connections between the experts and
query categories. To help differentiate experts on their domain specialties, we
introduce a form of adversarial regularization among the expert outputs,
forcing them to disagree with one another. As a result, they tend to approach
each prediction problem from different angles, rather than copying one another.
This is validated by a much stronger clustering effect of the gate output
vectors under different categories. In addition, soft gating constraints based
on the categorical hierarchy are imposed to help similar products choose
similar gate values. and make them more likely to share similar experts. This
allows aggregation of training data among smaller sibling categories to
overcome data scarcity.
- Abstract（参考訳）: 商品検索は、人々がeコマースウェブサイトで買い物のニーズを満たす最も一般的な方法だ。
製品は通常、"Clothing"や"Electronics"といった幅広い分類のタグの1つと、"Refrigerator"や"TV"といった粒度の細かいカテゴリを"Electronics"の下にアノテートする。
これらのタグはクエリカテゴリの階層を構築するために使用される。
価格やブランドの人気といった特徴の分布は、クエリカテゴリによって大きく異なる。
さらに、CTR/CVR予測の目的のための特徴的重要性は、あるカテゴリごとに異なる。
本研究では,各問合せカテゴリを専門とするランキングモデルを学ぶために,エキスパート(moe)フレームワークの混合を利用する。
特に,我々のゲートネットワークは,ユーザクエリから抽出したカテゴリIDのみに依存している。
古典的なmoeのピックエキスパートタワーは、それぞれの入力例に対して自発的に選択するが、専門家とクエリカテゴリ間のより明示的で透明な接続を確立するための2つのテクニックを探索する。
専門分野の専門家の差別化を支援するため,専門家のアウトプットに逆正則化の形式を導入し,相互に意見の相違を強いる。
結果として、それぞれの予測問題を互いにコピーするのではなく、異なる角度からアプローチする傾向にある。
これは異なるカテゴリのゲート出力ベクトルのより強力なクラスタリング効果によって検証される。
さらに、カテゴリ階層に基づくソフトゲーティング制約が課せられ、同様の製品が類似のゲート値を選択するのに役立つ。
同様の専門家を 共有する可能性が高くなるのです
これにより、小さな兄弟カテゴリ間でトレーニングデータを集約することで、データの不足を克服できる。
関連論文リスト
- SelEx: Self-Expertise in Fine-Grained Generalized Category Discovery [55.72840638180451]
Generalized Category Discoveryは、新しいカテゴリーを同時に発見し、既知のカテゴリを正確に分類することを目的としている。
自己超越と対照的な学習に強く依存する伝統的な手法は、細かなカテゴリーを区別する場合にしばしば不足する。
モデルが微妙な違いを認識し、未知のカテゴリを明らかにする能力を高める。
論文 参考訳（メタデータ） (2024-08-26T15:53:50Z) - A Semi-supervised Multi-channel Graph Convolutional Network for Query Classification in E-commerce [10.870790183380517]
以上の問題に対処するために,新たな半教師付き多チャンネルグラフ畳み込みネットワーク(SMGCN)を提案する。
SMGCNは、クエリとカテゴリの類似点を利用して、カテゴリ情報を拡張し、後続ラベルを強化する。
論文 参考訳（メタデータ） (2024-08-04T04:52:21Z) - Category-Extensible Out-of-Distribution Detection via Hierarchical Context Descriptions [35.20091752343433]
この研究は2つの階層的文脈、すなわち知覚的文脈と刺激的文脈を導入し、正確な圏境界を注意深く記述する。
2つの文脈は、あるカテゴリの正確な記述を階層的に構成するが、これはまず、予測されたカテゴリにサンプルを大まかに分類する。
CATegory-Extensible OOD Detection (CATEX)
論文 参考訳（メタデータ） (2024-07-23T12:53:38Z) - Hierarchical Query Classification in E-commerce Search [38.67034103433015]
電子商取引プラットフォームは通常、製品情報と検索データを階層構造に保存し、構造化する。
ユーザ検索クエリを同様の階層構造に効果的に分類することは,eコマースプラットフォーム上でのユーザエクスペリエンスの向上,ニュースキュレーションや学術研究において最重要である。
階層的問合せ分類の本質的な複雑さは,(1)支配的カテゴリに傾倒する顕著なクラス不均衡,(2)正確な分類を妨げる検索クエリの本質的簡潔さとあいまいさの2つの課題によって複雑化されている。
論文 参考訳（メタデータ） (2024-03-09T21:55:55Z) - Learn to Categorize or Categorize to Learn? Self-Coding for Generalized
Category Discovery [49.1865089933055]
テスト時に未知のカテゴリを発見できる新しい,効率的かつ自己管理手法を提案する。
このアプローチの健全な特徴は、個々のデータインスタンスに最小長のカテゴリコードの割り当てである。
試行錯誤による評価は, 提案手法の有効性を実証するものである。
論文 参考訳（メタデータ） (2023-10-30T17:45:32Z) - Out-of-Category Document Identification Using Target-Category Names as
Weak Supervision [64.671654559798]
Out-of-category Detection は、文書が不適格(またはターゲット)カテゴリと意味的関連性に応じて区別することを目的としている。
対象のカテゴリの1つに属する文書の信頼性を効果的に測定する,カテゴリ外検出フレームワークを提案する。
論文 参考訳（メタデータ） (2021-11-24T21:01:25Z) - Classification of Consumer Belief Statements From Social Media [0.0]
複雑な専門家アノテーションがいかにして分類に有効に活用できるかを考察する。
自動クラス抽象化アプローチは、テキスト分類タスクのドメインエキスパートベースラインに対して極めてよく機能することがわかった。
論文 参考訳（メタデータ） (2021-06-29T15:25:33Z) - DeepCAT: Deep Category Representation for Query Understanding in
E-commerce Search [15.041444067591007]
本稿では,問合せ理解のプロセスを強化するために,共同語分類表現を学習する深層学習モデルDeepCATを提案する。
その結果,emマイノリティクラスではdeepcatが10%改善され,最先端ラベル埋め込みモデルではemtailクエリが7.1%向上した。
論文 参考訳（メタデータ） (2021-04-23T18:04:44Z) - Exploring the Hierarchy in Relation Labels for Scene Graph Generation [75.88758055269948]
提案手法は,Recall@50において,複数の最先端ベースラインを大きなマージン(最大33%の相対利得)で改善することができる。
実験により,提案手法により,最先端のベースラインを大きなマージンで改善できることが示された。
論文 参考訳（メタデータ） (2020-09-12T17:36:53Z) - Adaptive Semantic-Visual Tree for Hierarchical Embeddings [67.01307058209709]
本稿では,商品カテゴリのアーキテクチャを記述するために,階層型適応型セマンティックビジュアルツリーを提案する。
この木は、異なる意味レベルと同じ意味クラス内の視覚的類似度を同時に評価する。
各レベルにおいて、セマンティック階層に基づいて異なるマージンを設定し、それらを事前情報として組み込んで、きめ細かい機能埋め込みを学習する。
論文 参考訳（メタデータ） (2020-03-08T03:36:42Z) - Deep segmental phonetic posterior-grams based discovery of
non-categories in L2 English speech [65.04834943405673]
第二言語(L2)音声は、しばしばネイティブ、電話のカテゴリーでラベル付けされる。
多くの場合、L2セグメントが持つカテゴリ電話を決定することは困難である。
論文 参考訳（メタデータ） (2020-02-01T13:21:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。