論文の概要: How Much Structure Do LLMs Need? Evaluating LLMs for Bibliometric Cluster Description

• arxiv url: http://arxiv.org/abs/2605.24351v1
• Date: Sat, 23 May 2026 02:24:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:17.946277
• Title: How Much Structure Do LLMs Need? Evaluating LLMs for Bibliometric Cluster Description
• Title（参考訳）: LLMはどのくらいの構造を必要とするか? バイオメトリッククラスタ記述のためのLCMの評価
• Authors: Abraham Camelo-Guerrero, Jairo Diaz-Rodriguez,
• Abstract要約: 大型言語モデル(LLM)は科学文献の合成をサポートすることができるが、幻覚的参照、不均一なカバレッジ、弱く根底的な主題的組織に傾向が残る。 異なるレベルのエビデンスと構造の下でクラスタ記述を生成するための6つのパイプラインを比較することにより,書誌構造がLLM支援合成を改善するか否かを評価する。 以上の結果から, LLMは人文に近い意味的な記述を生成するが, 書誌構造をスクラッチから推測するには信頼性が低いことが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) can support scientific literature synthesis, but remain prone to hallucinated references, uneven coverage, and weakly grounded thematic organization. We evaluate whether bibliometric structure improves LLM-assisted synthesis by comparing six pipelines for generating cluster descriptions under different levels of evidence and structure. Using 100 published bibliometric analyses, we reconstruct Scopus corpora, extract human-written cluster descriptions, and assess outputs by human alignment, semantic coverage, clustering quality, graph quality, and reference grounding. Results show that LLMs produce descriptions semantically close to human-written ones, but are unreliable when asked to infer bibliometric structure from scratch. Performance improves when bibliometric algorithms define the clusters and the LLM interprets them. Overall, LLM-assisted bibliometric synthesis is most promising as a hybrid workflow in which algorithms provide auditable structure and LLMs generate readable descriptions.
• Abstract（参考訳）: 大型言語モデル(LLM)は科学文献の合成をサポートすることができるが、幻覚的参照、不均一なカバレッジ、弱く根底的な主題的組織に傾向が残る。 異なるレベルのエビデンスと構造の下でクラスタ記述を生成するための6つのパイプラインを比較することにより,書誌構造がLLM支援合成を改善するか否かを評価する。 著者らは,100件の文献分析結果を用いて,スコパスコーパスを再構築し,人文によるクラスタ記述を抽出し,人間のアライメント,セマンティックカバレッジ,クラスタリング品質,グラフ品質,参照グラウンドニングによるアウトプットの評価を行った。 以上の結果から, LLMは人文に近い意味的な記述を生成するが, 書誌構造をゼロから推定するには信頼性が低いことが示唆された。 ビブリオメトリックアルゴリズムがクラスタを定義し、LLMがそれらを解釈すると、パフォーマンスが向上する。 全体として、LLMを補助するバイオロメトリ合成は、アルゴリズムが監査可能な構造を提供し、LLMが読みやすい記述を生成するハイブリッドワークフローとして最も有望である。

関連論文リスト

• RAVEL: Reasoning Agents for Validating and Evaluating LLM Text Synthesis [78.32151470154422]
  テスト担当者が自律的に設計し、典型的な合成操作を実行できるようにするためのエージェントフレームワークであるRAVELを紹介する。 C3EBenchは、プロの人間の文章から1,258個のサンプルを抽出したベンチマークである。 SOTA LLMを演算子としてRAVELを増強することにより、そのようなエージェントテキスト合成はLLMの推論能力に支配されていることがわかった。
  論文  参考訳（メタデータ） (2026-02-28T14:47:34Z)
• Context-Aware Hierarchical Taxonomy Generation for Scientific Papers via LLM-Guided Multi-Aspect Clustering [59.54662810933882]
  既存の分類体系の構築手法は、教師なしクラスタリングや大きな言語モデルの直接的プロンプトを利用しており、コヒーレンスと粒度の欠如が多かった。 LLM誘導型マルチアスペクト符号化と動的クラスタリングを統合したコンテキスト対応階層型階層型分類生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-23T15:12:58Z)
• Beyond Isolated Dots: Benchmarking Structured Table Construction as Deep Knowledge Extraction [80.88654868264645]
  Arranged and Organized extract Benchmarkは、断片化された文書を理解するための大規模言語モデルの能力を評価するために設計された。 AOEには3つの異なるドメインにまたがる11のタスクが含まれており、さまざまな入力クエリに適したコンテキスト固有のスキーマを生成するモデルが必要である。 結果は、最も先進的なモデルでさえ、かなり苦労したことを示している。
  論文  参考訳（メタデータ） (2025-07-22T06:37:51Z)
• Latent Factor Models Meets Instructions: Goal-conditioned Latent Factor Discovery without Task Supervision [50.45597801390757]
  Instruct-LFはゴール指向の潜在因子発見システムである。 命令フォロー機能と統計モデルを統合して、ノイズの多いデータセットを処理する。
  論文  参考訳（メタデータ） (2025-02-21T02:03:08Z)
• "I know myself better, but not really greatly": How Well Can LLMs Detect and Explain LLM-Generated Texts? [10.454446545249096]
  本稿では,2進(人間対LLM生成)と3進分類(未決定クラスを含む)の2つの設定において,現在のLLMの検出と説明能力について検討する。 異なる大きさの6つのオープンソースLCMを評価し、自己検出(LLM)が相互検出(他のLCMからの出力の同定)を一貫して上回っていることを発見した。 本研究は, 自己検出・自己説明における現在のLCMの限界を浮き彫りにして, 過度に適合し, 一般化性を高めるためのさらなる研究の必要性を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-02-18T11:00:28Z)
• Text Clustering as Classification with LLMs [9.128151647718251]
  本稿では,大規模言語モデルの文脈内学習機能を活用することで,テキストクラスタリングを分類タスクとして再編成するフレームワークを提案する。 LLMの高度な自然言語理解と一般化機能を活用することで,人間の介入を最小限に抑えた効果的なクラスタリングを実現する。 多様なデータセットに対する実験結果から,我々のフレームワークは,最先端の組込みクラスタリング技術に匹敵する,あるいは優れた性能を達成できることが示された。
  論文  参考訳（メタデータ） (2024-09-30T16:57:34Z)
• Enhancing LLM's Cognition via Structurization [41.13997892843677]
  大規模言語モデル(LLM)は因果的かつシーケンシャルな視点で入力コンテキストを処理する。 本稿では,コンテキスト構造化という新しい概念を提案する。 具体的には、平易で秩序のない文脈文を、適切に順序付けされ階層的に構造化された要素に変換する。
  論文  参考訳（メタデータ） (2024-07-23T12:33:58Z)
• Benchmarking Generation and Evaluation Capabilities of Large Language Models for Instruction Controllable Summarization [132.25202059478065]
  命令制御可能なテキスト要約の大規模言語モデル(LLM)をベンチマークする。 本研究は,LLMにおいて,命令制御可能なテキスト要約が依然として困難な課題であることを示す。
  論文  参考訳（メタデータ） (2023-11-15T18:25:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。