論文の概要: Born for Auto-Tagging: Faster and better with new objective functions

• arxiv url: http://arxiv.org/abs/2206.07264v2
• Date: Tue, 31 Oct 2023 04:26:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 04:58:47.700750
• Title: Born for Auto-Tagging: Faster and better with new objective functions
• Title（参考訳）: 自動タグの誕生: 新しい目的関数でより速く、より良く
• Authors: Chiung-ju Liu, Huang-Ting Shieh
• Abstract要約: BATはAwooのAIマーケティングプラットフォーム(AMP)として機能する自動タグのために発明された。 Awoo AMPはカスタマイズされたレコメンデーションシステムとしてサービスを提供するだけでなく、Eコマースにおけるコンバージョン率も向上する。 AwooはTransformer citeTransformerが提案する学習率戦略を改良し、$rm F$と$rm F$スコアを同時に増加させる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Keyword extraction is a task of text mining. It is applied to increase search volume in SEO and ads. Implemented in auto-tagging, it makes tagging on a mass scale of online articles and photos efficiently and accurately. BAT is invented for auto-tagging which served as awoo's AI marketing platform (AMP). awoo AMP not only provides service as a customized recommender system but also increases the converting rate in E-commerce. The strength of BAT converges faster and better than other SOTA models, as its 4-layer structure achieves the best F scores at 50 epochs. In other words, it performs better than other models which require deeper layers at 100 epochs. To generate rich and clean tags, awoo creates new objective functions to maintain similar ${\rm F_1}$ scores with cross-entropy while enhancing ${\rm F_2}$ scores simultaneously. To assure the even better performance of F scores awoo revamps the learning rate strategy proposed by Transformer \cite{Transformer} to increase ${\rm F_1}$ and ${\rm F_2}$ scores at the same time.
• Abstract（参考訳）: キーワード抽出はテキストマイニングのタスクである。 これはSEOや広告の検索量を増やすために適用される。 自動タグ付けの実装により、大量のオンライン記事や写真を効率的に正確にタグ付けできる。 BATは、AwooのAIマーケティングプラットフォーム(AMP)として機能する自動タグのために発明された。 awoo AMPは、カスタマイズされたレコメンデーションシステムとしてサービスを提供するだけでなく、Eコマースにおける変換率も向上する。 batの強度は他のsotaモデルよりも速く良く収束し、その4層構造は50エポックで最高のf点を達成する。 言い換えれば、100エポックで深い層を必要とする他のモデルよりもパフォーマンスがよい。 リッチでクリーンなタグを生成するために、awooは${\rm f_1}$スコアとクロスエントロピーを両立させながら${\rm f_2}$スコアを同時に維持するための新しい客観的関数を作成する。 Fスコアのさらなるパフォーマンスを保証するために、Transformer \cite{Transformer} が提案する学習率戦略を改良して、${\rm F_1}$と${\rm F_2}$スコアを同時に増加させる。

関連論文リスト

• Prices, Bids, Values: Everything, Everywhere, All at Once [13.724491757145385]
  我々はイテレーティブオークション(ICA)の設計について研究する。 両問合せ型からの全情報を統合する新しい機械学習アルゴリズムを提案する。 これまでに設計された最も効率的なICAであるMLHCAを紹介します。
  論文  参考訳（メタデータ） (2024-11-14T10:56:00Z)
• NASH: Neural Architecture and Accelerator Search for Multiplication-Reduced Hybrid Models [6.349667343767052]
  NASHは、乗算還元ハイブリッドモデルのためのニューラルアーキテクチャとアクセラレータ検索フレームワークである。 そこで本研究では,学習前に有望なハイブリッドモデルの事前同定を行うため,ゼロショットの調整手法を提案する。 また,検索プロセスの合理化のために,粗大な検索も導入する。
  論文  参考訳（メタデータ） (2024-09-07T13:42:40Z)
• DiffNAS: Bootstrapping Diffusion Models by Prompting for Better Architectures [63.12993314908957]
  そこで我々は,DiffNASと呼ばれるベースモデル探索手法を提案する。 GPT-4をスーパーネットとして利用して検索を高速化し,検索メモリを補足して結果を向上する。 厳密な実験により,GPTに基づくシナリオでは,探索効率を2倍に向上できることが示された。
  論文  参考訳（メタデータ） (2023-10-07T09:10:28Z)
• Automatic Pair Construction for Contrastive Post-training [57.57149781848383]
  本稿では,大規模言語モデル(LLM)のためのコントラストデータの自動構築手法を提案する。 SLiC と DPO の対比手法を SFT ベースラインと比較した結果,DPO は SFT 飽和後の段階的改善を実現していることがわかった。 また、コントラスト的なポストトレーニングのためのデータカリキュラムの学習手法についても検討し、"より簡単な"ペアから学び、"よりハード"なものに移行することから始めます。
  論文  参考訳（メタデータ） (2023-10-03T17:59:46Z)
• HorNet: Efficient High-Order Spatial Interactions with Recursive Gated Convolutions [109.33112814212129]
  本稿では,畳み込みに基づくフレームワークを用いて,入力適応型,長距離,高次空間相互作用を効率的に実装可能であることを示す。 本稿では、ゲート畳み込みと高次空間相互作用を行うRecursive Gated Convolution(textitgtextitn$Conv)を提案する。 この操作に基づいて,HorNetという汎用視覚バックボーンを新たに構築する。
  論文  参考訳（メタデータ） (2022-07-28T17:59:02Z)
• Improving language models by retrieving from trillions of tokens [50.42630445476544]
  大規模コーパスから取得した文書チャンクを条件付けすることで,自動回帰言語モデルを強化する。 2兆ドルのトークンデータベースで、Retrieval-Enhanced Transformer (RETRO)は、PileのGPT-3とJurassic-1に匹敵するパフォーマンスを得る。
  論文  参考訳（メタデータ） (2021-12-08T17:32:34Z)
• EfficientBERT: Progressively Searching Multilayer Perceptron via Warm-up Knowledge Distillation [82.3956677850676]
  事前学習された言語モデルは、様々なNLPタスクにおいて顕著な結果を示した。 サイズが大きく、推論速度が遅いため、エッジデバイスにデプロイするのは困難である。 本稿では、BERTにおけるフィードフォワードネットワーク(FFN)の改善が、マルチヘッドアテンション(MHA)の改善よりも高い利益をもたらすという批判的な洞察を得る。
  論文  参考訳（メタデータ） (2021-09-15T11:25:39Z)
• AutoSF+: Towards Automatic Scoring Function Design for Knowledge Graph Embedding [34.329599831817696]
  AutoSFは、KG依存のスコアリング機能の設計に自動機械学習(AutoML)を使用することの重要性を示している。 本稿では,AutoSF の拡張として AutoSF+ を提案する。まず,進化的探索による探索アルゴリズムの改良を行い,探索空間をよりよく探索する。 第2に、最近開発されたベンチマークOGB上でAutoSF+を評価する。さらに、新しいタスク、すなわちエンティティ分類にAutoSF+を適用し、KG完了以上のタスクを改善することができることを示す。
  論文  参考訳（メタデータ） (2021-07-01T02:28:23Z)
• Efficient pre-training objectives for Transformers [84.64393460397471]
  本研究はトランスフォーマーモデルにおける高効率事前学習目標について検討する。 マスクトークンの除去と損失時のアウトプット全体の考慮が,パフォーマンス向上に不可欠な選択であることを証明する。
  論文  参考訳（メタデータ） (2021-04-20T00:09:37Z)
• Direct Differentiable Augmentation Search [25.177623230408656]
  Direct Differentiable Augmentation Search (DDAS) と呼ばれる効率的な微分可能探索アルゴリズムを提案する。 1ステップの勾配更新と連続リラクゼーションでメタラーニングを活用し、期待されるトレーニング損失を有効活用し、効率的な検索を行う。 DDASは,検索コストを劇的に削減しつつ,最先端の性能と効率のトレードオフを実現する。
  論文  参考訳（メタデータ） (2021-04-09T10:02:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。