論文の概要: One Configuration to Rule Them All? Towards Hyperparameter Transfer in
Topic Models using Multi-Objective Bayesian Optimization
- arxiv url: http://arxiv.org/abs/2202.07631v1
- Date: Tue, 15 Feb 2022 18:26:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-16 15:11:56.897029
- Title: One Configuration to Rule Them All? Towards Hyperparameter Transfer in
Topic Models using Multi-Objective Bayesian Optimization
- Title（参考訳）: すべてをルールする1つの構成?
多目的ベイズ最適化を用いたトピックモデルのハイパーパラメータ移動に向けて
- Authors: Silvia Terragni, Ismail Harrando, Pasquale Lisena, Raphael Troncy,
Elisabetta Fersini
- Abstract要約: ユーザは通常、互いに一貫性があり多様なトピックを欲しがり、下流タスクのための優れたドキュメント表現を望んでいる。
本稿では,3つのよく知られた話題モデルの多目的ハイパーパラメータ最適化を行う。
その結果、異なる目的の相反する性質が明らかとなり、トレーニングコーパス特性がハイパーパラメータ選択に不可欠であることが判明した。
- 参考スコア（独自算出の注目度）: 2.036563665175527
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Topic models are statistical methods that extract underlying topics from
document collections. When performing topic modeling, a user usually desires
topics that are coherent, diverse between each other, and that constitute good
document representations for downstream tasks (e.g. document classification).
In this paper, we conduct a multi-objective hyperparameter optimization of
three well-known topic models. The obtained results reveal the conflicting
nature of different objectives and that the training corpus characteristics are
crucial for the hyperparameter selection, suggesting that it is possible to
transfer the optimal hyperparameter configurations between datasets.
- Abstract（参考訳）: トピックモデルはドキュメントコレクションから基礎となるトピックを抽出する統計的手法である。
トピックモデリングを行う場合、ユーザーは通常、互いに一貫性があり多様なトピックを欲しがり、下流のタスク(文書分類など)のために優れた文書表現を構成する。
本稿では,3つの話題モデルの多目的ハイパーパラメータ最適化を行う。
その結果, 異なる目的の相反する性質を明らかにし, トレーニングコーパス特性がハイパーパラメータ選択に不可欠であること, データセット間で最適なハイパーパラメータ構成を転送できることが示唆された。
関連論文リスト
- Investigating the Impact of Text Summarization on Topic Modeling [13.581341206178525]
本稿では,事前学習型大言語モデル(LLM)を用いてトピックモデリング性能をさらに向上する手法を提案する。
トピックモデリングへの影響を比較するために、異なる長さの要約を生成するために、ショットプロンプトはほとんど使われない。
提案手法は,従来のモデルと比較して,トピックの多様性とコヒーレンス値に比較して優れている。
論文 参考訳（メタデータ） (2024-09-28T19:45:45Z) - An incremental preference elicitation-based approach to learning potentially non-monotonic preferences in multi-criteria sorting [53.36437745983783]
まず最適化モデルを構築し,非単調な選好をモデル化する。
本稿では,情報量測定手法と質問選択戦略を考案し,各イテレーションにおいて最も情報に富む選択肢を特定する。
2つのインクリメンタルな選好に基づくアルゴリズムは、潜在的に単調な選好を学習するために開発された。
論文 参考訳（メタデータ） (2024-09-04T14:36:20Z) - Iterative Improvement of an Additively Regularized Topic Model [0.0]
本稿では,トピックモデルの反復的学習法を提案する。
いくつかの自然言語テキストの収集実験により、提案したITARモデルは、他の人気のあるトピックモデルよりも優れた性能を示した。
論文 参考訳（メタデータ） (2024-08-11T18:22:12Z) - TopicAdapt- An Inter-Corpora Topics Adaptation Approach [27.450275637652418]
本稿では、関連するソースコーパスから関連するトピックを適応し、ソースコーパスに存在しないターゲットコーパスに新しいトピックを発見できるトピックモデルTopicAdaptを提案する。
多様なドメインからの複数のデータセットに対する実験は、最先端のトピックモデルに対して提案されたモデルの優位性を示している。
論文 参考訳（メタデータ） (2023-10-08T02:56:44Z) - Revisiting Automated Topic Model Evaluation with Large Language Models [82.93251466435208]
より大きな言語モデルは、結果のトピックを適切に評価する。
次に,大規模言語モデルを用いてトピックの最適な数を自動的に決定できるかどうかを検討する。
論文 参考訳（メタデータ） (2023-05-20T09:42:00Z) - HyperTuner: A Cross-Layer Multi-Objective Hyperparameter Auto-Tuning
Framework for Data Analytic Services [25.889791254011794]
クロス層多目的ハイパーパラメータ自動チューニングを実現するHyperTunerを提案する。
他の4つのベースラインアルゴリズムと比較して,HyperTunerは収束性と多様性の両面で優れていることを示す。
異なるトレーニングデータセット、異なる最適化目標、異なる機械学習プラットフォームによる実験は、HyperTunerがさまざまなデータ分析サービスシナリオに適切に適応できることを検証する。
論文 参考訳（メタデータ） (2023-04-20T02:19:10Z) - Improving Contextualized Topic Models with Negative Sampling [3.708656266586146]
本稿では,文脈化トピックモデルに対する負のサンプリング機構を提案し,生成したトピックの品質を向上する。
特に、モデルトレーニング中に生成された文書トピックベクトルを摂動させ、三重項損失を用いて、正しい文書トピックベクトルから入力文書に類似した文書を再構築することを奨励する。
論文 参考訳（メタデータ） (2023-03-27T07:28:46Z) - AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient
Hyper-parameter Tuning [72.54359545547904]
ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。
ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
論文 参考訳（メタデータ） (2022-03-15T19:25:01Z) - Auto-weighted Multi-view Feature Selection with Graph Optimization [90.26124046530319]
グラフ学習に基づく新しい教師なしマルチビュー特徴選択モデルを提案する。
1) 特徴選択過程において, 異なる視点で共有されたコンセンサス類似度グラフが学習される。
各種データセットを用いた実験により,提案手法が最先端手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-04-11T03:25:25Z) - Improving Neural Topic Models using Knowledge Distillation [84.66983329587073]
我々は,確率論的トピックモデルと事前学習されたトランスフォーマーの最適属性を組み合わせるために,知識蒸留を用いる。
我々のモジュラー手法は、どのニューラルトピックモデルでも簡単に適用でき、トピックの品質を向上させることができる。
論文 参考訳（メタデータ） (2020-10-05T22:49:16Z) - Multi-Task Multicriteria Hyperparameter Optimization [77.34726150561087]
この記事は最適なハイパーパラメータを選択する問題に関する数学的定式化から始まる。
この問題を解決するMTMC法の手順を述べる。
提案手法は畳み込みニューラルネットワークを用いて画像分類問題に対して評価する。
論文 参考訳（メタデータ） (2020-02-15T12:47:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。