論文の概要: CCSBench: Evaluating Compositional Controllability in LLMs for Scientific Document Summarization

• arxiv url: http://arxiv.org/abs/2410.12601v1
• Date: Wed, 16 Oct 2024 14:21:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:42:37.209562
• Title: CCSBench: Evaluating Compositional Controllability in LLMs for Scientific Document Summarization
• Title（参考訳）: CCSBench:科学文書要約のためのLCMの構成制御性の評価
• Authors: Yixi Ding, Jiaying Wu, Tongyao Zhu, Yanxia Qin, Qian Liu, Min-Yen Kan,
• Abstract要約: CCSBenchは、科学領域における制御可能な合成要約のベンチマークである。 私たちのベンチマークでは、明示的な属性(長さなど)と暗黙的な属性(経験的焦点など)の両方をきめ細かな制御が可能です。 その結果,制御属性間のトレードオフのバランスをとる大きな言語モデルでは,大きな制限がみられた。
• 参考スコア（独自算出の注目度）: 24.46277463437597
• License:
• Abstract: To broaden the dissemination of scientific knowledge to diverse audiences, scientific document summarization must simultaneously control multiple attributes such as length and empirical focus. However, existing research typically focuses on controlling single attributes, leaving the compositional control of multiple attributes underexplored. To address this gap, we introduce CCSBench, a benchmark for compositional controllable summarization in the scientific domain. Our benchmark enables fine-grained control over both explicit attributes (e.g., length), which are objective and straightforward, and implicit attributes (e.g., empirical focus), which are more subjective and conceptual. We conduct extensive experiments on GPT-4, LLaMA2, and other popular LLMs under various settings. Our findings reveal significant limitations in large language models' ability to balance trade-offs between control attributes, especially implicit ones that require deeper understanding and abstract reasoning.
• Abstract（参考訳）: 科学的知識を多様な聴衆に広めるためには、科学的文書要約は長さや経験的焦点などの複数の属性を同時に制御する必要がある。 しかし、既存の研究は典型的には単一属性の制御に重点を置いており、複数の属性の組成制御は未探索のままである。 このギャップに対処するために、科学領域における構成制御可能な要約のベンチマークであるCSBenchを紹介する。 我々のベンチマークでは、客観的で分かりやすい明示的属性(例:長さ)と、より主観的で概念的な暗黙的属性(例:経験的焦点)の両方をきめ細かな制御が可能である。 GPT-4, LLaMA2, その他のLLMについて, 様々な環境下で広範囲にわたる実験を行った。 以上の結果から,大きな言語モデルがコントロール属性間のトレードオフのバランスをとる能力,特に深い理解と抽象的推論を必要とする暗黙的な能力に重大な制限があることが判明した。

関連論文リスト

• One Arrow, Many Targets: Probing LLMs for Multi-Attribute Controllable Text Summarization [7.734726150561089]
  Multi-Attribute Controllable Summarization (MACS)は、自然言語処理(NLP)コミュニティの中で確立されたタスクである。 本研究は,大規模言語モデルのレンズを通してMACSタスクを調べることで,そのギャップに対処する。 2つの異なる制御可能な属性からの学習を統合するために,新しい階層型アダプタ融合手法を提案し,評価する。
  論文  参考訳（メタデータ） (2024-11-02T11:07:25Z)
• Unveiling and Consulting Core Experts in Retrieval-Augmented MoE-based LLMs [64.9693406713216]
  RAGシステムの有効性に寄与する内部メカニズムは未解明のままである。 実験の結果,複数のコアグループの専門家がRAG関連行動に主に関与していることが判明した。 本稿では,専門家の活性化を通じてRAGの効率性と有効性を高めるためのいくつかの戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-20T16:08:54Z)
• GIVE: Structured Reasoning with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを統合する新しい推論フレームワークである。 本手法は,ゴールド回答検索ではなく,専門家の問題解決に類似した論理的・段階的推論手法を提案する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)
• ATLAS: Improving Lay Summarisation with Attribute-based Control [19.62666787748948]
  レイ要約(Lay summarisation)は、専門家でない聴衆に理解しやすい要約を作成することを目的としている。 以前の作業では、生成したサマリの内容とスタイルが、モデルをトレーニングするために使用されるデータに完全に依存する、オールサイズのアプローチを前提としていました。 我々は,生成された要約の全体的「遅延性」に寄与する様々な特性を制御できる,抽象的な要約手法ATLASを提案する。
  論文  参考訳（メタデータ） (2024-06-09T03:22:55Z)
• Evaluating Large Language Models for Structured Science Summarization in the Open Research Knowledge Graph [18.41743815836192]
  本稿では,構造化科学要約のプロパティを自動提案するために,Large Language Models (LLMs) を提案する。 本研究は,ORKGが手作業でキュレートした特性と,前述の最先端のLCMによって生成された特性とを総合的に比較した。 全体として、LLMは科学を構造化するためのレコメンデーションシステムとしての可能性を示しているが、科学的タスクや人間の専門知識の模倣との整合性を改善するために、さらなる微調整が推奨されている。
  論文  参考訳（メタデータ） (2024-05-03T14:03:04Z)
• Unveiling the Generalization Power of Fine-Tuned Large Language Models [81.70754292058258]
  大規模言語モデル(LLM)に固有の内在的一般化能力に微調整が及ぼす影響について検討する。 本研究の主目的は、生成タスクと分類タスクを微調整したモデルが、異なる領域やタスクに一般化する際に異なる振る舞いを示すことである。 生成タスクの微調整中にコンテキスト内学習戦略を統合することで、モデルの一般化能力を高めることができる。
  論文  参考訳（メタデータ） (2024-03-14T08:18:59Z)
• Rethinking Scientific Summarization Evaluation: Grounding Explainable Metrics on Facet-aware Benchmark [43.94573037950725]
  本稿では,科学的要約の概念的および実験的分析について述べる。 要約を評価するために,先進的なセマンティックマッチングにLLMを用いたFacet-Aware Metric (FM)を導入する。 以上の結果から,FMは科学的要約を評価するためのより論理的なアプローチであることが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-22T07:58:29Z)
• Discovery of the Hidden World with Large Language Models [95.58823685009727]
  本稿では,大きな言語モデル(LLM)を導入してギャップを埋めるCausal representatiOn AssistanT(COAT)を提案する。 LLMは世界中の大規模な観測に基づいて訓練されており、構造化されていないデータから重要な情報を抽出する優れた能力を示している。 COATはまた、特定変数間の因果関係を見つけるためにCDを採用し、提案された要因を反復的に洗練するためにLSMにフィードバックを提供する。
  論文  参考訳（メタデータ） (2024-02-06T12:18:54Z)
• Can Large Language Model Summarizers Adapt to Diverse Scientific Communication Goals? [19.814974042343028]
  科学的な要約タスクにおける大規模言語モデル(LLM)の可制御性について検討する。 MuP レビュー生成タスクでは,非微調整 LLM が人間より優れていることが判明した。
  論文  参考訳（メタデータ） (2024-01-18T23:00:54Z)
• MACSum: Controllable Summarization with Mixed Attributes [56.685735509260276]
  MACSumは、混合属性を制御するための最初の人間アノテーションによる要約データセットである。 混合制御可能な要約の新しいタスクに対する2つの単純かつ効果的なパラメータ効率のアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-09T17:17:37Z)
• CTRLsum: Towards Generic Controllable Text Summarization [54.69190421411766]
  現在、制御可能な要約のための新しいフレームワークである。 本手法により,ユーザは要約システムと対話することで,生成された要約の複数の側面を制御できる。 単一の統一モデルを使用することで、sumは推論時に要約操作の幅広い範囲を達成できる。
  論文  参考訳（メタデータ） (2020-12-08T08:54:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。