論文の概要: Semantic-Augmented Latent Topic Modeling with LLM-in-the-Loop

• arxiv url: http://arxiv.org/abs/2507.08498v1
• Date: Fri, 11 Jul 2025 11:20:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-14 18:03:54.338902
• Title: Semantic-Augmented Latent Topic Modeling with LLM-in-the-Loop
• Title（参考訳）: LLM-in-the-Loopを用いた意味拡張潜在トピックモデリング
• Authors: Mengze Hong, Chen Jason Zhang, Di Jiang,
• Abstract要約: Latent Dirichlet Allocation (LDA)は、文書コレクション内の抽象トピックを明らかにするために使用される顕著な生成確率モデルである。 本稿では,Large Language Models (LLMs) を用いたトピックモデルの拡張の有効性を,初期化とポストコレクションの2つの重要なフェーズに統合することによって検討する。
• 参考スコア（独自算出の注目度）: 9.763247646329392
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Latent Dirichlet Allocation (LDA) is a prominent generative probabilistic model used for uncovering abstract topics within document collections. In this paper, we explore the effectiveness of augmenting topic models with Large Language Models (LLMs) through integration into two key phases: Initialization and Post-Correction. Since the LDA is highly dependent on the quality of its initialization, we conduct extensive experiments on the LLM-guided topic clustering for initializing the Gibbs sampling algorithm. Interestingly, the experimental results reveal that while the proposed initialization strategy improves the early iterations of LDA, it has no effect on the convergence and yields the worst performance compared to the baselines. The LLM-enabled post-correction, on the other hand, achieved a promising improvement of 5.86% in the coherence evaluation. These results highlight the practical benefits of the LLM-in-the-loop approach and challenge the belief that LLMs are always the superior text mining alternative.
• Abstract（参考訳）: Latent Dirichlet Allocation (LDA)は、文書コレクション内の抽象トピックを明らかにするために使用される顕著な生成確率モデルである。 本稿では,Large Language Models (LLMs) を用いたトピックモデルの拡張の有効性を,初期化とポストコレクションの2つの重要なフェーズに統合することによって検討する。 LDAはその初期化の質に大きく依存しているため、Gibsサンプリングアルゴリズムを初期化するためのLLM誘導トピッククラスタリングに関する広範な実験を行う。 実験結果から,提案した初期化戦略はLDAの初期イテレーションを改善するが,収束に影響を与えず,ベースラインと比較して最悪の性能が得られることがわかった。 LLM対応後補正はコヒーレンス評価において5.86%の有望な改善を実現した。 これらの結果は、LLM-in-the-loopアプローチの実用的メリットを強調し、LLMが常に優れたテキストマイニング手段であるという考えに挑戦する。

関連論文リスト

• Revisiting LLM Reasoning via Information Bottleneck [57.519119962528166]
  大規模言語モデル(LLM)は、最近、検証可能な報酬付き強化学習(RLVR)を通じて推論能力の顕著な進歩を示した。 本稿では,情報ボトルネック(IB)の原理に基づくLLM推論の理論的特徴について述べる。 IB対応推論最適化(IBRO)を提案する。
  論文  参考訳（メタデータ） (2025-07-24T13:14:25Z)
• Direct Retrieval-augmented Optimization: Synergizing Knowledge Selection and Language Models [83.8639566087953]
  本稿では,2つの主要コンポーネントのエンドツーエンドトレーニングを可能にするDROという,直接検索拡張最適化フレームワークを提案する。 DROは、 (i) 文書置換推定と (ii) 再重み付けされ、段階的に改善されたRAGコンポーネントの2つのフェーズの間で交代する。 理論解析により,DROは強化学習における政策段階的な手法に類似していることが明らかとなった。
  論文  参考訳（メタデータ） (2025-05-05T23:54:53Z)
• LENSLLM: Unveiling Fine-Tuning Dynamics for LLM Selection [11.353302879735862]
  オープンソースのLarge Language Models (LLM) と様々な下流タスクは効率的なモデル選択を必要とする。 LLMの一般化能力を評価するための適切なレンズを提供する新しい理論フレームワークを提案する。 特に, LLMの微調整ダイナミクスを明らかにするPAC-Bayesian Generalization Boundを導出する。 次に,ニューラルタンジェントカーネル(NTK)をベースとしたRectified Scaling ModelであるLENSLLMを紹介し,正確な性能予測を実現する。
  論文  参考訳（メタデータ） (2025-05-01T15:07:32Z)
• Decoding Recommendation Behaviors of In-Context Learning LLMs Through Gradient Descent [15.425423867768163]
  本稿では,理論モデル LLM-ICL Recommendation Equivalent Gradient Descent Model (LRGD) を提案する。 LLMにおけるICL推論プロセスは、その二重モデルのトレーニング手順と一致し、二重モデルの試験出力に相当するトークン予測を生成する。 さらに実演効率を向上し,性能崩壊を防止し,長期適応性を確保するため,実演における2段階最適化プロセスを提案する。
  論文  参考訳（メタデータ） (2025-04-06T06:36:45Z)
• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• Sequential Large Language Model-Based Hyper-parameter Optimization [0.0]
  本研究では,大規模言語モデル(LLM)をハイパーパラメータ最適化(HPO)に活用する革新的なフレームワークSLLMBOを紹介する。 動的探索空間適応性、拡張パラメータ空間利用、新しいLLM木構造パーゼン推定器(LLM-TPE)が組み込まれている。 この総合ベンチマークは、GPT-3.5-Turbo、GPT-4o、Claude-Sonnet-3.5、Gemini-1.5-Flashを含む複数のLCMを評価する。
  論文  参考訳（メタデータ） (2024-10-27T00:50:30Z)
• Efficient Reinforcement Learning with Large Language Model Priors [18.72288751305885]
  大規模言語モデル(LLM)は、最近、強力な汎用ツールとして登場した。 本稿では,従来の行動分布としてLLMを扱い,それらをRLフレームワークに統合することを提案する。 LLMに基づくアクションの事前処理を取り入れることで、探索と複雑性の最適化が大幅に削減されることを示す。
  論文  参考訳（メタデータ） (2024-10-10T13:54:11Z)
• LLMRefine: Pinpointing and Refining Large Language Models via Fine-Grained Actionable Feedback [65.84061725174269]
  最近の大規模言語モデル(LLM)は、世代品質を改善するために人間のフィードバックを活用している。 LLMの出力を最適化する推論時間最適化手法であるLLMRefineを提案する。 機械翻訳、長文質問応答(QA)、話題要約を含む3つのテキスト生成タスクについて実験を行った。 LLMRefineは、すべてのベースラインアプローチを一貫して上回り、翻訳タスクの1.7 MetricXポイント、ASQAの8.1 ROUGE-L、トピックの要約の2.2 ROUGE-Lの改善を実現している。
  論文  参考訳（メタデータ） (2023-11-15T19:52:11Z)
• Accelerating LLaMA Inference by Enabling Intermediate Layer Decoding via Instruction Tuning with LITE [62.13435256279566]
  大規模言語モデル(LLM)は、様々な自然言語タスクで顕著なパフォーマンスを実現している。 しかし、その大きなサイズは推論を遅く、計算的に高価にする。 最終層の生成能力に影響を与えることなく、これらの層が「良い」生成能力を得ることができることを示す。
  論文  参考訳（メタデータ） (2023-10-28T04:07:58Z)
• On Learning to Summarize with Large Language Models as References [101.79795027550959]
  大型言語モデル (LLM) は、一般的な要約データセットにおける元の参照要約よりも人間のアノテーションに好まれる。 より小さなテキスト要約モデルに対するLLM-as-reference学習設定について検討し,その性能が大幅に向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2023-05-23T16:56:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。