論文の概要: A Large-Scale Multi-Dimensional Empirical Study of LLMs for Conversation Summarization

• arxiv url: http://arxiv.org/abs/2606.15974v1
• Date: Sun, 14 Jun 2026 18:57:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:33.970067
• Title: A Large-Scale Multi-Dimensional Empirical Study of LLMs for Conversation Summarization
• Title（参考訳）: 会話要約のためのLLMの大規模多次元実験的研究
• Abstract要約: OmniCSEvalは6つの実世界のシナリオをまたいだ1,800の多様な会話からなる統合ベンチマークである。 きめ細かな評価には、キーファクトマッチングを統合した双方向のファクトチェックフレームワークを使用し、完全性と簡潔性を評価する。 推論能力とモデルスケールによってグループ分けされた4つのカテゴリにわたる28個のLLMを評価した。
• 参考スコア（独自算出の注目度）: 17.601111891544885
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the significant advancement of LLMs in conversation summarization, their evaluation remains limited by insufficient scenarios, input lengths, and sample sizes. Furthermore, existing benchmarks often omit frontier reasoning systems and efficient small models, or lack fine-grained, multi-dimensional assessments. To bridge these gaps, we propose OmniCSEval, a unified benchmark comprising 1,800 diverse conversations across six real-world scenarios, featuring context lengths ranging from 128 to 32k tokens. For fine-grained evaluation, we employ a bidirectional fact-checking framework that integrates key fact matching to assess completeness and conciseness, alongside summary fact verification to evaluate faithfulness. To ensure reliable assessment, we establish a human-LLM collaborative pipeline for key fact extraction and a multi-LLM consensus verifier for summary fact decomposition. Leveraging this framework, we evaluate 28 LLMs across four distinct categories grouped by reasoning capability and model scale. Our extensive empirical study reveals critical insights regarding the cross-scenario challenges current LLMs continue to face, the impacts of reasoning and scale, and the efficiency and adaptability of reasoning models. We also provide guidance for system selection in real-world deployments.
• Abstract（参考訳）: 会話要約におけるLLMの顕著な進歩にもかかわらず、それらの評価は不十分なシナリオ、入力長、サンプルサイズによって制限されている。 さらに、既存のベンチマークでは、フロンティア推論システムと効率的な小さなモデルが省略されるか、細粒度で多次元のアセスメントが欠如していることが多い。 これらのギャップを埋めるために、OmniCSEvalを提案する。OmniCSEvalは、現実世界の6つのシナリオで1,800の多様な会話で構成され、コンテキスト長は128から32kのトークンである。 きめ細かい評価を行うために,重要事実マッチングを統合し,完全性および簡潔性を評価する双方向事実チェックフレームワークと,忠実性を評価する要約事実検証を併用する。 そこで我々は,重要事実抽出のための人間-LLM協調パイプラインと,要約事実分解のためのマルチLLMコンセンサス検証器を構築した。 このフレームワークを活用することで、推論能力とモデルスケールによってグループ化された4つの異なるカテゴリにわたる28のLLMを評価します。 我々の広範な実証研究は、現在のLLMが直面する横断的な課題、推論とスケールの影響、推論モデルの効率と適応性に関する重要な洞察を明らかにします。 また,実環境におけるシステム選択のガイダンスも提供する。

関連論文リスト

• D2VBench: Benchmarking Large Language Models with Value Dilemmas in Daily Scenarios [44.97202907424815]
  D2VBenchは,手動で注釈付き微粒な値の概念を定式化した158の値アライメントベンチマークである。 ベンチマーク評価のために,複数選択質問とオープンエンド質問を統合したハイブリッド評価パラダイムを提案する。 実験により、D2VBenchは高い信頼性とロバスト性を示し、LLMのアライメントを異なる値のカテゴリと次元で効果的に反映していることが示された。
  論文  参考訳（メタデータ） (2026-07-22T07:15:42Z)
• Towards Comprehensive Stage-wise Benchmarking of Large Language Models in Fact-Checking [64.97768177044355]
  大規模言語モデル(LLM)は、現実のファクトチェックシステムにますます多くデプロイされている。 FactArenaは、完全に自動化されたアリーナスタイルの評価フレームワークである。 本研究では,静的クレーム検証精度とエンドツーエンドのファクトチェック能力の相違点を明らかにした。
  論文  参考訳（メタデータ） (2026-01-06T02:51:56Z)
• Curse of Knowledge: When Complex Evaluation Context Benefits yet Biases LLM Judges [72.3356133063925]
  審査員としての大規模言語モデル(LLM)のパラダイムはスケーラブルなソリューションとして登場したが、以前の作業は主に単純な設定に焦点を当てていた。 我々の詳細な分析は、評価信号の精度と妥当性を向上させるための重要な洞察を提供する。
  論文  参考訳（メタデータ） (2025-09-03T15:48:33Z)
• Reasoning or Not? A Comprehensive Evaluation of Reasoning LLMs for Dialogue Summarization [9.994839971567542]
  本報告では, 最先端の推論LDMと非推論LDMの総合的, 体系的評価について述べる。 他の推論集約的なタスクの傾向とは対照的に、明示的な段階的推論は対話の要約品質を常に改善しない。
  論文  参考訳（メタデータ） (2025-07-02T21:02:41Z)
• What Are They Talking About? A Benchmark of Knowledge-Grounded Discussion Summarization [19.535214886967218]
  本稿では、文脈の補足的背景を要約する新しいタスクであるKGDS(Knowledge-Grounded Discussion Summarization)を紹介する。 また、細粒度かつ解釈可能なメトリクスを持つ新しい階層的評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-18T15:52:24Z)
• Are Your LLMs Capable of Stable Reasoning? [38.03049704515947]
  G-Pass@$k$は、複数のサンプリング試行においてモデル性能を継続的に評価する新しい評価指標である。 私たちはG-Pass@$k$と最先端の大規模言語モデルを使って、その潜在能力と運用上の一貫性に関する包括的な洞察を提供しています。
  論文  参考訳（メタデータ） (2024-12-17T18:12:47Z)
• MMIE: Massive Multimodal Interleaved Comprehension Benchmark for Large Vision-Language Models [71.36392373876505]
  我々は、LVLM(Large Vision-Language Models)において、インターリーブされたマルチモーダル理解と生成を評価するための大規模ベンチマークであるMMIEを紹介する。 MMIEは、数学、コーディング、物理学、文学、健康、芸術を含む3つのカテゴリ、12のフィールド、102のサブフィールドにまたがる20Kの厳密にキュレートされたマルチモーダルクエリで構成されている。 インターリーブされたインプットとアウトプットの両方をサポートし、多様な能力を評価するために、複数選択とオープンな質問フォーマットの混合を提供する。
  論文  参考訳（メタデータ） (2024-10-14T04:15:00Z)
• FB-Bench: A Fine-Grained Multi-Task Benchmark for Evaluating LLMs' Responsiveness to Human Feedback [33.532239489610056]
  FB-Benchは、中国語の実際の使用シナリオ下での人間のフィードバックに対する大規模言語モデルの応答性を評価するために設計されたベンチマークである。 我々は,多種多様なLLMを広範囲に評価し,異なる相互作用シナリオにおける性能の顕著な変動を明らかにした。 我々の研究結果は、現在のモデルの強みと限界の両方を強調し、将来の研究に価値ある洞察と方向性を提供する。
  論文  参考訳（メタデータ） (2024-10-12T07:40:01Z)
• DnA-Eval: Enhancing Large Language Model Evaluation through Decomposition and Aggregation [75.81096662788254]
  大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。 これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。 本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
  論文  参考訳（メタデータ） (2024-05-24T08:12:30Z)
• ChEF: A Comprehensive Evaluation Framework for Standardized Assessment of Multimodal Large Language Models [49.48109472893714]
  MLLM(Multimodal Large Language Models)は、視覚コンテンツと無数の下流タスクとを相互作用する優れた能力を示す。 本稿では,各MLLMを全体プロファイルし,異なるMLLMを比較した最初の総合評価フレームワーク(ChEF)を提案する。 詳細な実装をすべて公開して、さらなる分析と、新しいレシピやモデルを統合するための使い易いモジュラーツールキットを提供します。
  論文  参考訳（メタデータ） (2023-11-05T16:01:40Z)
• L-Eval: Instituting Standardized Evaluation for Long Context Language Models [91.05820785008527]
  長い文脈言語モデル(LCLM)のより標準化された評価を行うためにL-Evalを提案する。 20のサブタスク、508の長いドキュメント、2000以上の人間ラベルのクエリ応答対を含む新しい評価スイートを構築した。 その結果、一般的なn-gramマッチングの指標は人間の判断とよく相関しないことがわかった。
  論文  参考訳（メタデータ） (2023-07-20T17:59:41Z)
• Evaluating Factual Consistency of Summaries with Large Language Models [24.416837319515896]
  大規模言語モデル(LLM)の直接的推進による要約の事実整合性の評価について検討する。 実験により, LLM のプロンプトは, 全ての設定において, 過去の最良事実性システムより優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-23T13:48:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。