論文の概要: One Configuration to Rule Them All? Towards Hyperparameter Transfer in
Topic Models using Multi-Objective Bayesian Optimization
- arxiv url: http://arxiv.org/abs/2202.07631v1
- Date: Tue, 15 Feb 2022 18:26:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-16 15:11:56.897029
- Title: One Configuration to Rule Them All? Towards Hyperparameter Transfer in
Topic Models using Multi-Objective Bayesian Optimization
- Title(参考訳): すべてをルールする1つの構成?
多目的ベイズ最適化を用いたトピックモデルのハイパーパラメータ移動に向けて
- Authors: Silvia Terragni, Ismail Harrando, Pasquale Lisena, Raphael Troncy,
Elisabetta Fersini
- Abstract要約: ユーザは通常、互いに一貫性があり多様なトピックを欲しがり、下流タスクのための優れたドキュメント表現を望んでいる。
本稿では,3つのよく知られた話題モデルの多目的ハイパーパラメータ最適化を行う。
その結果、異なる目的の相反する性質が明らかとなり、トレーニングコーパス特性がハイパーパラメータ選択に不可欠であることが判明した。
- 参考スコア(独自算出の注目度): 2.036563665175527
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Topic models are statistical methods that extract underlying topics from
document collections. When performing topic modeling, a user usually desires
topics that are coherent, diverse between each other, and that constitute good
document representations for downstream tasks (e.g. document classification).
In this paper, we conduct a multi-objective hyperparameter optimization of
three well-known topic models. The obtained results reveal the conflicting
nature of different objectives and that the training corpus characteristics are
crucial for the hyperparameter selection, suggesting that it is possible to
transfer the optimal hyperparameter configurations between datasets.
- Abstract(参考訳): トピックモデルはドキュメントコレクションから基礎となるトピックを抽出する統計的手法である。
トピックモデリングを行う場合、ユーザーは通常、互いに一貫性があり多様なトピックを欲しがり、下流のタスク(文書分類など)のために優れた文書表現を構成する。
本稿では,3つの話題モデルの多目的ハイパーパラメータ最適化を行う。
その結果, 異なる目的の相反する性質を明らかにし, トレーニングコーパス特性がハイパーパラメータ選択に不可欠であること, データセット間で最適なハイパーパラメータ構成を転送できることが示唆された。
関連論文リスト
- TopicAdapt- An Inter-Corpora Topics Adaptation Approach [27.450275637652418]
本稿では、関連するソースコーパスから関連するトピックを適応し、ソースコーパスに存在しないターゲットコーパスに新しいトピックを発見できるトピックモデルTopicAdaptを提案する。
多様なドメインからの複数のデータセットに対する実験は、最先端のトピックモデルに対して提案されたモデルの優位性を示している。
論文 参考訳(メタデータ) (2023-10-08T02:56:44Z) - BOtied: Multi-objective Bayesian optimization with tied multivariate
ranks [49.85896045032822]
非支配解と最高多変量階との自然な関係を示し、これは合同累積分布関数(CDF)の最外層線と一致する。
我々はCDFインジケータに基づくBOtiedと呼ばれる取得関数を提案する。
論文 参考訳(メタデータ) (2023-06-01T04:50:06Z) - Revisiting Automated Topic Model Evaluation with Large Language Models [82.93251466435208]
より大きな言語モデルは、結果のトピックを適切に評価する。
次に,大規模言語モデルを用いてトピックの最適な数を自動的に決定できるかどうかを検討する。
論文 参考訳(メタデータ) (2023-05-20T09:42:00Z) - HyperTuner: A Cross-Layer Multi-Objective Hyperparameter Auto-Tuning
Framework for Data Analytic Services [25.889791254011794]
クロス層多目的ハイパーパラメータ自動チューニングを実現するHyperTunerを提案する。
他の4つのベースラインアルゴリズムと比較して,HyperTunerは収束性と多様性の両面で優れていることを示す。
異なるトレーニングデータセット、異なる最適化目標、異なる機械学習プラットフォームによる実験は、HyperTunerがさまざまなデータ分析サービスシナリオに適切に適応できることを検証する。
論文 参考訳(メタデータ) (2023-04-20T02:19:10Z) - Improving Contextualized Topic Models with Negative Sampling [3.708656266586146]
本稿では,文脈化トピックモデルに対する負のサンプリング機構を提案し,生成したトピックの品質を向上する。
特に、モデルトレーニング中に生成された文書トピックベクトルを摂動させ、三重項損失を用いて、正しい文書トピックベクトルから入力文書に類似した文書を再構築することを奨励する。
論文 参考訳(メタデータ) (2023-03-27T07:28:46Z) - AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient
Hyper-parameter Tuning [72.54359545547904]
ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。
ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
論文 参考訳(メタデータ) (2022-03-15T19:25:01Z) - Auto-weighted Multi-view Feature Selection with Graph Optimization [90.26124046530319]
グラフ学習に基づく新しい教師なしマルチビュー特徴選択モデルを提案する。
1) 特徴選択過程において, 異なる視点で共有されたコンセンサス類似度グラフが学習される。
各種データセットを用いた実験により,提案手法が最先端手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-04-11T03:25:25Z) - Improving Neural Topic Models using Knowledge Distillation [84.66983329587073]
我々は,確率論的トピックモデルと事前学習されたトランスフォーマーの最適属性を組み合わせるために,知識蒸留を用いる。
我々のモジュラー手法は、どのニューラルトピックモデルでも簡単に適用でき、トピックの品質を向上させることができる。
論文 参考訳(メタデータ) (2020-10-05T22:49:16Z) - Tired of Topic Models? Clusters of Pretrained Word Embeddings Make for
Fast and Good Topics too! [5.819224524813161]
事前学習した単語の埋め込みをクラスタリングし、重み付けされたクラスタリングと上位単語の再ランク付けのための文書情報を組み込んだ別の方法を提案する。
このアプローチの最も優れた組み合わせは、従来のトピックモデルと同様に機能するが、ランタイムと計算の複雑さは低い。
論文 参考訳(メタデータ) (2020-04-30T16:18:18Z) - Multi-Task Multicriteria Hyperparameter Optimization [77.34726150561087]
この記事は最適なハイパーパラメータを選択する問題に関する数学的定式化から始まる。
この問題を解決するMTMC法の手順を述べる。
提案手法は畳み込みニューラルネットワークを用いて画像分類問題に対して評価する。
論文 参考訳(メタデータ) (2020-02-15T12:47:53Z) - Multi-Objective Hyperparameter Tuning and Feature Selection using Filter
Ensembles [0.8029049649310213]
特徴選択を多目的最適化タスクとして扱う。
まず、多目的モデルベースの最適化を使用する。
第二に、NSGA-IIベースのラッパーアプローチによる特徴選択である。
論文 参考訳(メタデータ) (2019-12-30T13:04:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。