Fugu-MT 論文翻訳(概要): Revisiting Automated Topic Model Evaluation with Large Language Models

論文の概要: Revisiting Automated Topic Model Evaluation with Large Language Models

arxiv url: http://arxiv.org/abs/2305.12152v2
Date: Sun, 22 Oct 2023 09:46:13 GMT
ステータス: 処理完了
システム内更新日: 2023-10-25 12:12:54.366117
Title: Revisiting Automated Topic Model Evaluation with Large Language Models
Title（参考訳）: 大規模言語モデルによるトピック自動評価の再検討
Authors: Dominik Stammbach, Vil\'em Zouhar, Alexander Hoyle, Mrinmaya Sachan, Elliott Ash
Abstract要約: より大きな言語モデルは、結果のトピックを適切に評価する。次に,大規模言語モデルを用いてトピックの最適な数を自動的に決定できるかどうかを検討する。
参考スコア（独自算出の注目度）: 82.93251466435208
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Topic models are used to make sense of large text collections. However, automatically evaluating topic model output and determining the optimal number of topics both have been longstanding challenges, with no effective automated solutions to date. This paper proposes using large language models to evaluate such output. We find that large language models appropriately assess the resulting topics, correlating more strongly with human judgments than existing automated metrics. We then investigate whether we can use large language models to automatically determine the optimal number of topics. We automatically assign labels to documents and choosing configurations with the most pure labels returns reasonable values for the optimal number of topics.
Abstract（参考訳）: トピックモデルは大きなテキストコレクションを理解するために使用される。しかし、トピックモデルのアウトプットを自動評価し、最適なトピック数を決定することは、どちらも長年の課題であり、これまでは効果的な自動化ソリューションがなかった。本稿では,大規模言語モデルを用いた出力評価手法を提案する。大規模言語モデルは、既存の自動メトリクスよりも人間の判断に強く関連し、結果のトピックを適切に評価する。次に,大規模言語モデルを用いてトピックの最適な数を自動的に決定できるかどうかを検討する。文書にラベルを自動的に割り当て、最も純粋なラベルを持つ構成を選択すると、最適なトピック数に対して適切な値を返す。

関連論文リスト

Combining Autoregressive and Autoencoder Language Models for Text Classification [1.0878040851638]
CAALM-TCは、自動回帰言語モデルと自動エンコーダ言語モデルを統合することで、テキスト分類を強化する新しい手法である。 4つのベンチマークデータセットの実験結果は、CAALMが既存の手法より一貫して優れていることを示している。
論文参考訳（メタデータ） (2024-11-20T12:49:42Z)
LLM Reading Tea Leaves: Automatically Evaluating Topic Models with Large Language Models [12.500091504010067]
トピックモデリングのための新しい評価手法であるWALM(Words Agreement with Language Model)を提案する。異なる種類のトピックモデルを含む広範な実験により、WALMは人間の判断に合致することを示した。
論文参考訳（メタデータ） (2024-06-13T11:19:50Z)
Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation [65.16137964758612]
大規模言語モデルにおける長文文の活用について検討し,本書全体の読解データを作成する。我々の目的は、長いテキストの詳細な理解を必要とする問題を分析し、理解し、推論するLLMの能力をテストすることである。
論文参考訳（メタデータ） (2024-05-31T20:15:10Z)
Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
論文参考訳（メタデータ） (2024-03-26T12:47:39Z)
Label-Efficient Model Selection for Text Generation [14.61636207880449]
DiffUseは、好みアノテーションに基づいた候補テキスト生成モデル間の情報決定を行う手法である。何百ものモデルペアに対する一連の実験において、DiffUseは必要なアノテーション数を劇的に削減できることを示した。
論文参考訳（メタデータ） (2024-02-12T18:54:02Z)
Multi-Candidate Speculative Decoding [82.05519287513444]
大規模な言語モデルは、様々なNLPタスクで印象的な機能を示してきたが、その生成は自動回帰的に時間を要する。これは高速なドラフトモデルから候補セグメントを生成し、ターゲットモデルによって並列に検証する。本稿では,複数の候補をドラフトモデルから抽出し,検証のためにバッチにまとめる手法を提案する。対象モデルの分布を維持しつつ,効率的な多候補検証のためのアルゴリズムを設計する。
論文参考訳（メタデータ） (2024-01-12T17:15:23Z)
EvalCrafter: Benchmarking and Evaluating Large Video Generation Models [70.19437817951673]
これらのモデルはしばしば、マルチアスペクト能力を持つ非常に大きなデータセットで訓練されているので、単純な指標から大きな条件生成モデルを判断することは困難である、と我々は主張する。我々のアプローチは、テキスト・ツー・ビデオ生成のための700のプロンプトの多種多様な包括的リストを作成することである。そこで我々は、視覚的品質、コンテンツ品質、動作品質、テキスト・ビデオアライメントの観点から、慎重に設計されたベンチマークに基づいて、最先端のビデオ生成モデルを評価する。
論文参考訳（メタデータ） (2023-10-17T17:50:46Z)
Large Language Models as Zero-Shot Conversational Recommenders [52.57230221644014]
ゼロショット設定における代表的大言語モデルを用いた会話推薦タスクに関する実証的研究を行った。我々は、人気のあるディスカッションサイトをスクラップして、レコメンデーション関連の会話のデータセットを構築した。我々は、微調整なしでも、大規模な言語モデルは既存の微調整された会話レコメンデーションモデルより優れていることを観察する。
論文参考訳（メタデータ） (2023-08-19T15:29:45Z)
Topic Discovery via Latent Space Clustering of Pretrained Language Model Representations [35.74225306947918]
本研究では, PLM 埋め込みを基盤とした空間学習とクラスタリングの連携フレームワークを提案する。提案モデルでは,トピック発見のためにPLMがもたらす強力な表現力と言語的特徴を効果的に活用する。
論文参考訳（メタデータ） (2022-02-09T17:26:08Z)
Model LineUpper: Supporting Interactive Model Comparison at Multiple Levels for AutoML [29.04776652873194]
現在のAutoMLシステムでは、選択はパフォーマンスメトリックによってのみサポートされる。複数のXAI(Explainable AI)と可視化技術を組み合わせることで、AutoMLのインタラクティブなモデル比較を支援するツールを開発しています。
論文参考訳（メタデータ） (2021-04-09T14:06:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。