Fugu-MT 論文翻訳(概要): Addressing Topic Granularity and Hallucination in Large Language Models for Topic Modelling

論文の概要: Addressing Topic Granularity and Hallucination in Large Language Models for Topic Modelling

arxiv url: http://arxiv.org/abs/2405.00611v1
Date: Wed, 1 May 2024 16:32:07 GMT
ステータス: 処理完了
システム内更新日: 2024-05-02 15:17:48.026521
Title: Addressing Topic Granularity and Hallucination in Large Language Models for Topic Modelling
Title（参考訳）: トピックモデリングのための大規模言語モデルにおけるトピックの粒度と幻覚の対応
Authors: Yida Mu, Peizhen Bai, Kalina Bontcheva, Xingyi Song,
Abstract要約: 強力なゼロショットトピック抽出機能を備えた大規模言語モデル(LLM)は確率論的トピックモデリングに代わるものだ。本稿では,LLMに基づくトピックモデリングにおけるトピックの粒度と幻覚の問題に対処することに焦点を当てる。提案手法は, 従来の人間のアノテーションに頼らず, 生トピックの修正に再構築パイプラインを用いる。
参考スコア（独自算出の注目度）: 1.0345450222523374
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: Large language models (LLMs) with their strong zero-shot topic extraction capabilities offer an alternative to probabilistic topic modelling and closed-set topic classification approaches. As zero-shot topic extractors, LLMs are expected to understand human instructions to generate relevant and non-hallucinated topics based on the given documents. However, LLM-based topic modelling approaches often face difficulties in generating topics with adherence to granularity as specified in human instructions, often resulting in many near-duplicate topics. Furthermore, methods for addressing hallucinated topics generated by LLMs have not yet been investigated. In this paper, we focus on addressing the issues of topic granularity and hallucinations for better LLM-based topic modelling. To this end, we introduce a novel approach that leverages Direct Preference Optimisation (DPO) to fine-tune open-source LLMs, such as Mistral-7B. Our approach does not rely on traditional human annotation to rank preferred answers but employs a reconstruction pipeline to modify raw topics generated by LLMs, thus enabling a fast and efficient training and inference framework. Comparative experiments show that our fine-tuning approach not only significantly improves the LLM's capability to produce more coherent, relevant, and precise topics, but also reduces the number of hallucinated topics.
Abstract（参考訳）: 強力なゼロショットトピック抽出機能を備えた大規模言語モデル(LLM)は、確率論的トピックモデリングとクローズドセットトピック分類アプローチに代わる手段を提供する。ゼロショットトピック抽出器として, LLMは, 与えられた文書に基づいて, 関連性および非関連性のあるトピックを生成するための人間の指示を理解することが期待されている。しかし、LLMベースのトピックモデリングアプローチは、人間の指示で規定された粒度に従順なトピックを生成するのに困難に直面し、多くの場合、多くのほぼ重複したトピックを生み出す。さらに, LLM が生成する幻覚的話題に対処する方法についても検討されていない。本稿では,LLMに基づくトピックモデリングにおけるトピックの粒度と幻覚の問題に焦点をあてる。そこで我々は,Mistral-7B などのオープンソース LLM の微調整に DPO (Direct Preference Optimisation) を活用する新しい手法を提案する。提案手法では,従来の人間のアノテーションを優先回答のランク付けに頼らず,LLMが生み出すトピックを再構築するための再構築パイプラインを用いて,高速かつ効率的なトレーニングと推論の枠組みを実現する。比較実験により、我々の微調整アプローチは、より一貫性があり、関連性があり、正確なトピックを生成するLLMの能力を著しく改善するだけでなく、幻覚的トピックの数を減少させることが示された。

関連論文リスト

Neural Topic Modeling with Large Language Models in the Loop [12.142323482188056]
大規模言語モデル(LLM)とニューラルトピックモデル(NTM)を統合する新しいフレームワークを提案する。 LLM-ITLでは、グローバルトピックとドキュメント表現がNTMを通して学習され、LDMは信頼度重み付き最適輸送(OT)に基づくアライメントの目的を通じてトピックを洗練する。このプロセスは、NTMの効率を保ちながら、学習したトピックの解釈性とコヒーレンスを高める。
論文参考訳（メタデータ） (2024-11-13T11:31:02Z)
Mitigating Hallucinations of Large Language Models in Medical Information Extraction via Contrastive Decoding [92.32881381717594]
医療情報抽出タスクにおける幻覚の問題を解決するために,ALCD(ALternate Contrastive Decoding)を導入する。 ALCDは, 従来の復号法に比べて幻覚の解消に有意な改善が見られた。
論文参考訳（メタデータ） (2024-10-21T07:19:19Z)
RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
近年,MLLM (Multimodal Large Language Models) が注目されている。検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
論文参考訳（メタデータ） (2024-10-18T03:45:19Z)
Enhancing Short-Text Topic Modeling with LLM-Driven Context Expansion and Prefix-Tuned VAEs [25.915607750636333]
本稿では,大規模言語モデル(LLM)を利用して,トピックモデリングを適用する前に,短いテキストをより詳細なシーケンスに拡張する手法を提案する。提案手法は,データ空間が極端である実世界のデータセットに対する広範な実験により,短文のトピックモデリング性能を著しく向上させる。
論文参考訳（メタデータ） (2024-10-04T01:28:56Z)
Comprehensive Evaluation of Large Language Models for Topic Modeling [18.317976368281716]
トピックモデリングのための大規模言語モデル(LLM)を定量的に評価する。 LLMは幻覚の少ないコヒーレントで多様なトピックを識別できるが、文書の一部だけに着目してショートカットを行う可能性がある。
論文参考訳（メタデータ） (2024-06-02T10:25:02Z)
Multi-Reference Preference Optimization for Large Language Models [56.84730239046117]
複数の参照モデルを用いた直接選好最適化のための新しいクローズドフォームの定式化を提案する。得られたアルゴリズムであるMulti-Reference Preference Optimization (MRPO)は、様々な参照モデルからより広範な事前知識を活用する。 MRPOを微調整したLLMは,データ不足や多量性に関わらず,様々な嗜好データにおいてより一般化されていることを示す。
論文参考訳（メタデータ） (2024-05-26T00:29:04Z)
Large Language Models Offer an Alternative to the Traditional Approach of Topic Modelling [0.9095496510579351]
広範テキストコーパス内の話題を明らかにする代替手段として,大規模言語モデル (LLM) の未解決の可能性について検討する。本研究は, 適切なプロンプトを持つLCMが, トピックのタイトルを生成でき, トピックを洗練, マージするためのガイドラインに固執する上で, 有効な代替手段として目立たせることを示唆している。
論文参考訳（メタデータ） (2024-03-24T17:39:51Z)
Mitigating Object Hallucination in Large Vision-Language Models via Classifier-Free Guidance [56.04768229686853]
LVLM(Large Vision-Language Models)は、画像中の既存の物体を幻覚させる傾向がある。私たちはclassifieR-Free guIdaNcE (MARINE)を介してMitigating HallucinAtionと呼ばれるフレームワークを導入する。 MARINEはトレーニングフリーかつAPIフリーであり、生成プロセス中のオブジェクト幻覚を効果的かつ効率的に低減することができる。
論文参考訳（メタデータ） (2024-02-13T18:59:05Z)
Learning to Generate Explainable Stock Predictions using Self-Reflective Large Language Models [54.21695754082441]
説明可能なストック予測を生成するために,LLM(Large Language Models)を教えるフレームワークを提案する。反射剤は自己推論によって過去の株価の動きを説明する方法を学ぶ一方、PPOトレーナーは最も可能性の高い説明を生成するためにモデルを訓練する。我々のフレームワークは従来のディープラーニング法とLLM法の両方を予測精度とマシューズ相関係数で上回ることができる。
論文参考訳（メタデータ） (2024-02-06T03:18:58Z)
Generative Context-aware Fine-tuning of Self-supervised Speech Models [54.389711404209415]
生成型大規模言語モデル(LLM)生成コンテキスト情報の利用について検討する。自己教師型音声モデルの微調整中に生成した情報を抽出する手法を提案する。本稿では,SLUE と Libri-light のベンチマークを用いて,自動音声認識,名前付きエンティティ認識,感情分析を行う手法を提案する。
論文参考訳（メタデータ） (2023-12-15T15:46:02Z)
Topic Discovery via Latent Space Clustering of Pretrained Language Model Representations [35.74225306947918]
本研究では, PLM 埋め込みを基盤とした空間学習とクラスタリングの連携フレームワークを提案する。提案モデルでは,トピック発見のためにPLMがもたらす強力な表現力と言語的特徴を効果的に活用する。
論文参考訳（メタデータ） (2022-02-09T17:26:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。