論文の概要: CCSBench: Evaluating Compositional Controllability in LLMs for Scientific Document Summarization

• arxiv url: http://arxiv.org/abs/2410.12601v3
• Date: Mon, 04 Aug 2025 14:11:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 14:07:55.480338
• Title: CCSBench: Evaluating Compositional Controllability in LLMs for Scientific Document Summarization
• Title（参考訳）: CCSBench:科学文書要約のためのLCMの構成制御性の評価
• Authors: Yixi Ding, Jiaying Wu, Tongyao Zhu, Yanxia Qin, Qian Liu, Min-Yen Kan,
• Abstract要約: CCSBenchは、科学領域における制御可能な合成要約のための最初の評価ベンチマークである。 私たちのベンチマークでは、明示的な属性(長さなど)と暗黙的な属性(概念的あるいは経験的焦点など)の両方をきめ細かな制御が可能です。 各種大規模言語モデル (LLM) を用いて, コンテキスト内学習, パラメータ効率の微調整, 異なる属性に対する制御のバランスをとるための2段階のモジュラー手法など, 様々な条件下で実験を行う。
• 参考スコア（独自算出の注目度）: 24.46277463437597
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To broaden the dissemination of scientific knowledge to diverse audiences, it is desirable for scientific document summarization systems to simultaneously control multiple attributes such as length and empirical focus. However, existing research typically focuses on controlling single attributes, leaving the compositional control of multiple attributes underexplored. To address this gap, we introduce CCSBench, the first evaluation benchmark for compositional controllable summarization in the scientific domain. Our benchmark enables fine-grained control over both explicit attributes (e.g., length), which are objective and straightforward, and implicit attributes (e.g., conceptual or empirical focus), which are more subjective and abstract. We conduct extensive experiments using various large language models (LLMs) under various settings, including in-context learning, parameter-efficient fine-tuning, and two-stage modular methods for balancing control over different attributes. Our findings reveal significant limitations in LLMs capabilities in balancing trade-offs between control attributes, especially implicit ones that require deeper understanding and abstract reasoning.
• Abstract（参考訳）: 科学的知識を多様な読者に広めるためには,複数の属性(長さや経験的焦点など)を同時に制御することが科学文書要約システムに望ましい。 しかし、既存の研究は典型的には単一属性の制御に重点を置いており、複数の属性の組成制御は未探索のままである。 このギャップに対処するために、科学領域における構成制御可能な要約のための最初の評価ベンチマークであるCSBenchを紹介する。 我々のベンチマークでは、客観的で分かりやすい明示的属性(例:長さ)と、より主観的で抽象的な暗黙的属性(例:概念的、経験的焦点)の両方をきめ細かな制御が可能である。 各種大規模言語モデル (LLM) を用いて, コンテキスト内学習, パラメータ効率の高い微調整, 異なる属性に対する制御のバランスをとるための2段階のモジュラー手法など, 様々な条件下で広範囲にわたる実験を行う。 制御属性間のトレードオフのバランスをとるLLMの能力には,特に深い理解と抽象的推論を必要とする暗黙的な制限があることが本研究で明らかになった。

関連論文リスト

• Unveiling Effective In-Context Configurations for Image Captioning: An External & Internal Analysis [28.52057785196361]
  自然言語処理(NLP)では、インコンテキスト学習(ICL)の有効性を実証する研究が数多く行われている。 LLM(Large Language Models)の成功に触発された研究者らは、ICL機能を備えたLarge Multimodal Models(LMM)を開発した。 本稿では,画像キャプションタスクにおけるマルチモーダル・イン・コンテクスト学習の総合的な外部および内部調査を行う。
  論文  参考訳（メタデータ） (2025-07-08T08:07:57Z)
• Graft: Integrating the Domain Knowledge via Efficient Parameter Synergy for MLLMs [56.76586846269894]
  MLLM(Multimodal Large Language Models)は、様々な領域で成功している。 その重要性にもかかわらず、ドメイン固有のMLLM間の知識共有の研究はほとんど未調査のままである。 専門家機能のモジュール構成を可能にする統一パラメータ統合フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-30T15:07:41Z)
• Hallucination Detection in LLMs via Topological Divergence on Attention Graphs [64.74977204942199]
  幻覚(Halucination)、すなわち、事実的に誤ったコンテンツを生成することは、大きな言語モデルにとって重要な課題である。 本稿では,TOHA (Topology-based HAllucination detector) をRAG設定に導入する。
  論文  参考訳（メタデータ） (2025-04-14T10:06:27Z)
• How do Large Language Models Understand Relevance? A Mechanistic Interpretability Perspective [64.00022624183781]
  大規模言語モデル(LLM)は、関連性を評価し、情報検索(IR)タスクをサポートする。 メカニスティック・インタプリタビリティのレンズを用いて,異なるLLMモジュールが関係判断にどのように寄与するかを検討する。
  論文  参考訳（メタデータ） (2025-04-10T16:14:55Z)
• Multi-Attribute Constraint Satisfaction via Language Model Rewriting [67.5778646504987]
  マルチ属性制約満足度(英: Multi-Attribute Constraint Satisfaction, MACS)は、言語モデルを微調整して、複数の外部実値属性に対するユーザ指定制約を満たす手法である。 我々の研究は、NLPやバイオインフォマティクスにまたがる多様な応用に影響を及ぼす、一般化および実値多属性制御のための新しい道を開く。
  論文  参考訳（メタデータ） (2024-12-26T12:36:39Z)
• One Arrow, Many Targets: Probing LLMs for Multi-Attribute Controllable Text Summarization [7.734726150561089]
  Multi-Attribute Controllable Summarization (MACS)は、自然言語処理(NLP)コミュニティの中で確立されたタスクである。 本研究は,大規模言語モデルのレンズを通してMACSタスクを調べることで,そのギャップに対処する。 2つの異なる制御可能な属性からの学習を統合するために,新しい階層型アダプタ融合手法を提案し,評価する。
  論文  参考訳（メタデータ） (2024-11-02T11:07:25Z)
• Unveiling and Consulting Core Experts in Retrieval-Augmented MoE-based LLMs [64.9693406713216]
  RAGシステムの有効性に寄与する内部メカニズムは未解明のままである。 実験の結果,複数のコアグループの専門家がRAG関連行動に主に関与していることが判明した。 本稿では,専門家の活性化を通じてRAGの効率性と有効性を高めるためのいくつかの戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-20T16:08:54Z)
• GIVE: Structured Reasoning with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを統合する新しい推論フレームワークである。 本手法は,ゴールド回答検索ではなく,専門家の問題解決に類似した論理的・段階的推論手法を提案する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)
• ATLAS: Improving Lay Summarisation with Attribute-based Control [19.62666787748948]
  レイ要約(Lay summarisation)は、専門家でない聴衆に理解しやすい要約を作成することを目的としている。 以前の作業では、生成したサマリの内容とスタイルが、モデルをトレーニングするために使用されるデータに完全に依存する、オールサイズのアプローチを前提としていました。 我々は,生成された要約の全体的「遅延性」に寄与する様々な特性を制御できる,抽象的な要約手法ATLASを提案する。
  論文  参考訳（メタデータ） (2024-06-09T03:22:55Z)
• Evaluating Large Language Models for Structured Science Summarization in the Open Research Knowledge Graph [18.41743815836192]
  本稿では,構造化科学要約のプロパティを自動提案するために,Large Language Models (LLMs) を提案する。 本研究は,ORKGが手作業でキュレートした特性と,前述の最先端のLCMによって生成された特性とを総合的に比較した。 全体として、LLMは科学を構造化するためのレコメンデーションシステムとしての可能性を示しているが、科学的タスクや人間の専門知識の模倣との整合性を改善するために、さらなる微調整が推奨されている。
  論文  参考訳（メタデータ） (2024-05-03T14:03:04Z)
• Unveiling the Generalization Power of Fine-Tuned Large Language Models [81.70754292058258]
  大規模言語モデル(LLM)に固有の内在的一般化能力に微調整が及ぼす影響について検討する。 本研究の主目的は、生成タスクと分類タスクを微調整したモデルが、異なる領域やタスクに一般化する際に異なる振る舞いを示すことである。 生成タスクの微調整中にコンテキスト内学習戦略を統合することで、モデルの一般化能力を高めることができる。
  論文  参考訳（メタデータ） (2024-03-14T08:18:59Z)
• Rethinking Scientific Summarization Evaluation: Grounding Explainable Metrics on Facet-aware Benchmark [43.94573037950725]
  本稿では,科学的要約の概念的および実験的分析について述べる。 要約を評価するために,先進的なセマンティックマッチングにLLMを用いたFacet-Aware Metric (FM)を導入する。 以上の結果から,FMは科学的要約を評価するためのより論理的なアプローチであることが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-22T07:58:29Z)
• Discovery of the Hidden World with Large Language Models [95.58823685009727]
  本稿では,大きな言語モデル(LLM)を導入してギャップを埋めるCausal representatiOn AssistanT(COAT)を提案する。 LLMは世界中の大規模な観測に基づいて訓練されており、構造化されていないデータから重要な情報を抽出する優れた能力を示している。 COATはまた、特定変数間の因果関係を見つけるためにCDを採用し、提案された要因を反復的に洗練するためにLSMにフィードバックを提供する。
  論文  参考訳（メタデータ） (2024-02-06T12:18:54Z)
• Can Large Language Model Summarizers Adapt to Diverse Scientific Communication Goals? [19.814974042343028]
  科学的な要約タスクにおける大規模言語モデル(LLM)の可制御性について検討する。 MuP レビュー生成タスクでは,非微調整 LLM が人間より優れていることが判明した。
  論文  参考訳（メタデータ） (2024-01-18T23:00:54Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• Seen to Unseen: Exploring Compositional Generalization of Multi-Attribute Controllable Dialogue Generation [23.79168163871952]
  既存の制御可能な対話生成作業は、単一属性制御に焦点を当てている。 本稿では, プロンプトベースで制御不能な対話生成モデルDCGを提案する。
  論文  参考訳（メタデータ） (2023-06-17T10:50:19Z)
• MACSum: Controllable Summarization with Mixed Attributes [56.685735509260276]
  MACSumは、混合属性を制御するための最初の人間アノテーションによる要約データセットである。 混合制御可能な要約の新しいタスクに対する2つの単純かつ効果的なパラメータ効率のアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-09T17:17:37Z)
• CTRLsum: Towards Generic Controllable Text Summarization [54.69190421411766]
  現在、制御可能な要約のための新しいフレームワークである。 本手法により,ユーザは要約システムと対話することで,生成された要約の複数の側面を制御できる。 単一の統一モデルを使用することで、sumは推論時に要約操作の幅広い範囲を達成できる。
  論文  参考訳（メタデータ） (2020-12-08T08:54:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。