Fugu-MT 論文翻訳(概要): Addressing Topic Granularity and Hallucination in Large Language Models for Topic Modelling

論文の概要: Addressing Topic Granularity and Hallucination in Large Language Models for Topic Modelling

arxiv url: http://arxiv.org/abs/2405.00611v1
Date: Wed, 1 May 2024 16:32:07 GMT
ステータス: 処理完了
システム内更新日: 2024-05-02 15:17:48.026521
Title: Addressing Topic Granularity and Hallucination in Large Language Models for Topic Modelling
Title（参考訳）: トピックモデリングのための大規模言語モデルにおけるトピックの粒度と幻覚の対応
Authors: Yida Mu, Peizhen Bai, Kalina Bontcheva, Xingyi Song,
Abstract要約: 強力なゼロショットトピック抽出機能を備えた大規模言語モデル(LLM)は確率論的トピックモデリングに代わるものだ。本稿では,LLMに基づくトピックモデリングにおけるトピックの粒度と幻覚の問題に対処することに焦点を当てる。提案手法は, 従来の人間のアノテーションに頼らず, 生トピックの修正に再構築パイプラインを用いる。
参考スコア（独自算出の注目度）: 1.0345450222523374
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: Large language models (LLMs) with their strong zero-shot topic extraction capabilities offer an alternative to probabilistic topic modelling and closed-set topic classification approaches. As zero-shot topic extractors, LLMs are expected to understand human instructions to generate relevant and non-hallucinated topics based on the given documents. However, LLM-based topic modelling approaches often face difficulties in generating topics with adherence to granularity as specified in human instructions, often resulting in many near-duplicate topics. Furthermore, methods for addressing hallucinated topics generated by LLMs have not yet been investigated. In this paper, we focus on addressing the issues of topic granularity and hallucinations for better LLM-based topic modelling. To this end, we introduce a novel approach that leverages Direct Preference Optimisation (DPO) to fine-tune open-source LLMs, such as Mistral-7B. Our approach does not rely on traditional human annotation to rank preferred answers but employs a reconstruction pipeline to modify raw topics generated by LLMs, thus enabling a fast and efficient training and inference framework. Comparative experiments show that our fine-tuning approach not only significantly improves the LLM's capability to produce more coherent, relevant, and precise topics, but also reduces the number of hallucinated topics.
Abstract（参考訳）: 強力なゼロショットトピック抽出機能を備えた大規模言語モデル(LLM)は、確率論的トピックモデリングとクローズドセットトピック分類アプローチに代わる手段を提供する。ゼロショットトピック抽出器として, LLMは, 与えられた文書に基づいて, 関連性および非関連性のあるトピックを生成するための人間の指示を理解することが期待されている。しかし、LLMベースのトピックモデリングアプローチは、人間の指示で規定された粒度に従順なトピックを生成するのに困難に直面し、多くの場合、多くのほぼ重複したトピックを生み出す。さらに, LLM が生成する幻覚的話題に対処する方法についても検討されていない。本稿では,LLMに基づくトピックモデリングにおけるトピックの粒度と幻覚の問題に焦点をあてる。そこで我々は,Mistral-7B などのオープンソース LLM の微調整に DPO (Direct Preference Optimisation) を活用する新しい手法を提案する。提案手法では,従来の人間のアノテーションを優先回答のランク付けに頼らず,LLMが生み出すトピックを再構築するための再構築パイプラインを用いて,高速かつ効率的なトレーニングと推論の枠組みを実現する。比較実験により、我々の微調整アプローチは、より一貫性があり、関連性があり、正確なトピックを生成するLLMの能力を著しく改善するだけでなく、幻覚的トピックの数を減少させることが示された。

関連論文リスト

Comprehensive Evaluation of Large Language Models for Topic Modeling [18.317976368281716]
トピックモデリングのための大規模言語モデル(LLM)を定量的に評価する。 LLMは幻覚の少ないコヒーレントで多様なトピックを識別できるが、文書の一部だけに着目してショートカットを行う可能性がある。
論文参考訳（メタデータ） (2024-06-02T10:25:02Z)
Multi-Reference Preference Optimization for Large Language Models [56.84730239046117]
複数の参照モデルを用いた直接選好最適化のための新しいクローズドフォームの定式化を提案する。得られたアルゴリズムであるMulti-Reference Preference Optimization (MRPO)は、様々な参照モデルからより広範な事前知識を活用する。 MRPOを微調整したLLMは,データ不足や多量性に関わらず,様々な嗜好データにおいてより一般化されていることを示す。
論文参考訳（メタデータ） (2024-05-26T00:29:04Z)
Enhanced Short Text Modeling: Leveraging Large Language Models for Topic Refinement [7.6115889231452964]
トピックリファインメント(Topic Refinement)と呼ばれる新しいアプローチを導入する。このアプローチは、トピックの初期のモデリングに直接関係せず、採掘後にトピックを改善することに重点を置いています。素早いエンジニアリングを駆使して、所与のトピック内での話題外単語を排除し、文脈的に関係のある単語だけが、よりセマンティックに適合した単語で保存または置換されることを保証する。
論文参考訳（メタデータ） (2024-03-26T13:50:34Z)
Large Language Models Offer an Alternative to the Traditional Approach of Topic Modelling [0.9095496510579351]
広範テキストコーパス内の話題を明らかにする代替手段として,大規模言語モデル (LLM) の未解決の可能性について検討する。本研究は, 適切なプロンプトを持つLCMが, トピックのタイトルを生成でき, トピックを洗練, マージするためのガイドラインに固執する上で, 有効な代替手段として目立たせることを示唆している。
論文参考訳（メタデータ） (2024-03-24T17:39:51Z)
Causal Prompting: Debiasing Large Language Model Prompting based on Front-Door Adjustment [32.12998469814097]
大規模言語モデル(LLM)のバイアスを効果的に軽減するために,正面調整に基づく新たな因果的プロンプト手法を提案する。実験結果から,提案手法は7つの自然言語処理データセットにおいて優れた性能を発揮することが示された。
論文参考訳（メタデータ） (2024-03-05T07:47:34Z)
Mitigating Object Hallucination in Large Vision-Language Models via Classifier-Free Guidance [56.04768229686853]
LVLM(Large Vision-Language Models)は、画像中の既存の物体を幻覚させる傾向がある。私たちはclassifieR-Free guIdaNcE (MARINE)を介してMitigating HallucinAtionと呼ばれるフレームワークを導入する。 MARINEはトレーニングフリーかつAPIフリーであり、生成プロセス中のオブジェクト幻覚を効果的かつ効率的に低減することができる。
論文参考訳（メタデータ） (2024-02-13T18:59:05Z)
Learning to Generate Explainable Stock Predictions using Self-Reflective Large Language Models [54.21695754082441]
説明可能なストック予測を生成するために,LLM(Large Language Models)を教えるフレームワークを提案する。反射剤は自己推論によって過去の株価の動きを説明する方法を学ぶ一方、PPOトレーナーは最も可能性の高い説明を生成するためにモデルを訓練する。我々のフレームワークは従来のディープラーニング法とLLM法の両方を予測精度とマシューズ相関係数で上回ることができる。
論文参考訳（メタデータ） (2024-02-06T03:18:58Z)
Sparsity-Guided Holistic Explanation for LLMs with Interpretable Inference-Time Intervention [53.896974148579346]
大規模言語モデル(LLM)は、様々な自然言語処理領域において前例のないブレークスルーを達成した。 LLMの謎的なブラックボックスの性質は、透過的で説明可能なアプリケーションを妨げる、解釈可能性にとって重要な課題である。本稿では,LLMの全体的解釈を提供することを目的として,スポーシティ誘導技術に係わる新しい方法論を提案する。
論文参考訳（メタデータ） (2023-12-22T19:55:58Z)
Generative Context-aware Fine-tuning of Self-supervised Speech Models [54.389711404209415]
生成型大規模言語モデル(LLM)生成コンテキスト情報の利用について検討する。自己教師型音声モデルの微調整中に生成した情報を抽出する手法を提案する。本稿では,SLUE と Libri-light のベンチマークを用いて,自動音声認識,名前付きエンティティ認識,感情分析を行う手法を提案する。
論文参考訳（メタデータ） (2023-12-15T15:46:02Z)
LLMRefine: Pinpointing and Refining Large Language Models via Fine-Grained Actionable Feedback [65.84061725174269]
最近の大規模言語モデル(LLM)は、世代品質を改善するために人間のフィードバックを活用している。 LLMの出力を最適化する推論時間最適化手法であるLLMRefineを提案する。機械翻訳、長文質問応答(QA)、話題要約を含む3つのテキスト生成タスクについて実験を行った。 LLMRefineは、すべてのベースラインアプローチを一貫して上回り、翻訳タスクの1.7 MetricXポイント、ASQAの8.1 ROUGE-L、トピックの要約の2.2 ROUGE-Lの改善を実現している。
論文参考訳（メタデータ） (2023-11-15T19:52:11Z)
Topic Discovery via Latent Space Clustering of Pretrained Language Model Representations [35.74225306947918]
本研究では, PLM 埋め込みを基盤とした空間学習とクラスタリングの連携フレームワークを提案する。提案モデルでは,トピック発見のためにPLMがもたらす強力な表現力と言語的特徴を効果的に活用する。
論文参考訳（メタデータ） (2022-02-09T17:26:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。