論文の概要: Bridging the Evaluation Gap: Leveraging Large Language Models for Topic Model Evaluation

• arxiv url: http://arxiv.org/abs/2502.07352v1
• Date: Tue, 11 Feb 2025 08:23:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:08:12.870580
• Title: Bridging the Evaluation Gap: Leveraging Large Language Models for Topic Model Evaluation
• Title（参考訳）: 評価ギャップのブリッジ:トピックモデル評価のための大規模言語モデルを活用する
• Authors: Zhiyin Tan, Jennifer D'Souza,
• Abstract要約: 本研究では,Large Language Models (LLMs) を用いた科学文献における動的に進化するトピックの自動評価のための枠組みを提案する。 提案手法は,専門家のアノテータや狭義の統計指標に大きく依存することなく,コヒーレンス,反復性,多様性,トピック文書のアライメントといった重要な品質次元を測定するためにLLMを利用する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This study presents a framework for automated evaluation of dynamically evolving topic taxonomies in scientific literature using Large Language Models (LLMs). In digital library systems, topic modeling plays a crucial role in efficiently organizing and retrieving scholarly content, guiding researchers through complex knowledge landscapes. As research domains proliferate and shift, traditional human centric and static evaluation methods struggle to maintain relevance. The proposed approach harnesses LLMs to measure key quality dimensions, such as coherence, repetitiveness, diversity, and topic-document alignment, without heavy reliance on expert annotators or narrow statistical metrics. Tailored prompts guide LLM assessments, ensuring consistent and interpretable evaluations across various datasets and modeling techniques. Experiments on benchmark corpora demonstrate the method's robustness, scalability, and adaptability, underscoring its value as a more holistic and dynamic alternative to conventional evaluation strategies.
• Abstract（参考訳）: 本研究では,Large Language Models (LLMs) を用いた科学的文献における動的に進化するトピック分類を自動評価するための枠組みを提案する。 デジタル図書館システムでは、トピックモデリングは学術的内容の効率的な整理と検索において重要な役割を担い、複雑な知識の風景を通して研究者を導く。 研究領域が拡大し、シフトするにつれて、従来の人間中心および静的評価手法は、関連性を維持するのに苦労する。 提案手法は,専門家のアノテータや狭義の統計指標に大きく依存することなく,コヒーレンス,反復性,多様性,トピック文書のアライメントといった重要な品質次元を測定するためにLLMを利用する。 TailoredはLLMアセスメントをガイドし、さまざまなデータセットやモデリングテクニックの一貫性と解釈可能なアセスメントを保証する。 ベンチマークコーパスの実験では、従来の評価戦略に対するより包括的でダイナミックな代替手段として、この手法の堅牢性、スケーラビリティ、適応性を示す。

関連論文リスト

• Large Language Models Penetration in Scholarly Writing and Peer Review [43.600778691549706]
  学術的な視点と次元にまたがる大規模言語モデルの浸透を評価する。 本実験は,学術的プロセスにおけるLLMの役割の増大を明らかにするために,textttLLMetricaの有効性を実証した。 これらの知見は、学術的信頼性を維持するために、LLMの使用における透明性、説明責任、倫理的実践の必要性を強調した。
  論文  参考訳（メタデータ） (2025-02-16T16:37:34Z)
• MME-Survey: A Comprehensive Survey on Evaluation of Multimodal LLMs [97.94579295913606]
  MLLM(Multimodal Large Language Models)は、産業と学術の両方から注目を集めている。 開発プロセスでは、モデルの改善に関する直感的なフィードバックとガイダンスを提供するため、評価が重要である。 この研究は、研究者に異なるニーズに応じてMLLMを効果的に評価する方法を簡単に把握し、より良い評価方法を促すことを目的としている。
  論文  参考訳（メタデータ） (2024-11-22T18:59:54Z)
• Large Language Model for Qualitative Research -- A Systematic Mapping Study [3.302912592091359]
  先進的な生成AIを駆使した大規模言語モデル(LLM)がトランスフォーメーションツールとして登場した。 本研究は, LLMを用いた定性的研究に関する文献を体系的にマッピングする。 LLMは様々な分野にまたがって利用されており、プロセスの自動化の可能性を示している。
  論文  参考訳（メタデータ） (2024-11-18T21:28:00Z)
• IdeaBench: Benchmarking Large Language Models for Research Idea Generation [19.66218274796796]
  大規模言語モデル(LLM)は、人々が人工知能(AI)システムと対話する方法を変革した。 包括的データセットと評価フレームワークを含むベンチマークシステムであるIdeanBenchを提案する。 私たちのデータセットは、さまざまな影響力のある論文のタイトルと要約と、参照された作品で構成されています。 まず、GPT-4oを用いて、新規性や実現可能性などのユーザ固有の品質指標に基づいて、アイデアをランク付けし、スケーラブルなパーソナライズを可能にする。
  論文  参考訳（メタデータ） (2024-10-31T17:04:59Z)
• A Survey of Small Language Models [104.80308007044634]
  小言語モデル (SLM) は, 計算資源の最小化による言語タスクの効率化と性能の向上により, ますます重要になってきている。 本稿では,SLMのアーキテクチャ,トレーニング技術,モデル圧縮技術に着目した総合的な調査を行う。
  論文  参考訳（メタデータ） (2024-10-25T23:52:28Z)
• Automating Bibliometric Analysis with Sentence Transformers and Retrieval-Augmented Generation (RAG): A Pilot Study in Semantic and Contextual Search for Customized Literature Characterization for High-Impact Urban Research [2.1728621449144763]
  文献分析は、都市科学における研究動向、スコープ、影響を理解するために不可欠である。 キーワード検索に依存する伝統的な手法は、記事のタイトルやキーワードに明記されていない価値ある洞察を明らかにするのに失敗することが多い。 我々は、生成AIモデル、特にトランスフォーマーとレトリーバル拡張生成(RAG)を活用して、バイオロメトリ分析の自動化と強化を行う。
  論文  参考訳（メタデータ） (2024-10-08T05:13:27Z)
• Benchmarks as Microscopes: A Call for Model Metrology [76.64402390208576]
  現代の言語モデル(LM)は、能力評価において新たな課題を提起する。 メトリクスに自信を持つためには、モデルミアロジの新たな規律が必要です。
  論文  参考訳（メタデータ） (2024-07-22T17:52:12Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Exploring the Power of Topic Modeling Techniques in Analyzing Customer Reviews: A Comparative Analysis [0.0]
  大量のテキストデータをオンラインで分析するために、機械学習と自然言語処理アルゴリズムがデプロイされている。 本研究では,顧客レビューに特化して用いられる5つのトピックモデリング手法について検討・比較する。 以上の結果から,BERTopicはより意味のあるトピックを抽出し,良好な結果を得ることができた。
  論文  参考訳（メタデータ） (2023-08-19T08:18:04Z)
• Multi-Dimensional Evaluation of Text Summarization with In-Context Learning [79.02280189976562]
  本稿では,テキスト内学習を用いた多次元評価器として,大規模言語モデルの有効性について検討する。 実験の結果,テキスト要約作業において,文脈内学習に基づく評価手法が学習評価フレームワークと競合していることが判明した。 次に、テキスト内サンプルの選択や数などの要因がパフォーマンスに与える影響を分析する。
  論文  参考訳（メタデータ） (2023-06-01T23:27:49Z)
• Investigating Fairness Disparities in Peer Review: A Language Model Enhanced Approach [77.61131357420201]
  我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。 我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。 我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
  論文  参考訳（メタデータ） (2022-11-07T16:19:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。