論文の概要: Efficient Aspect-Based Summarization of Climate Change Reports with Small Language Models

• arxiv url: http://arxiv.org/abs/2411.14272v1
• Date: Thu, 21 Nov 2024 16:28:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-22 15:19:35.168854
• Title: Efficient Aspect-Based Summarization of Climate Change Reports with Small Language Models
• Title（参考訳）: 小規模言語モデルによる気候変動レポートの効率的な要約
• Authors: Iacopo Ghinassi, Leonardo Catalano, Tommaso Colella,
• Abstract要約: 我々は、気候変化レポートのアスペクトベース要約(ABS)のための新しいデータセットをリリースする。 我々は、この問題を解決するために、LLM(Large Language Models)といわゆるSmall Language Models(SLM)を用いています。 また, 現状の問題を考えると, SLM が炭素フットプリントの減少に繋がる一方で, 問題に悪影響を及ぼさないことを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The use of Natural Language Processing (NLP) for helping decision-makers with Climate Change action has recently been highlighted as a use case aligning with a broader drive towards NLP technologies for social good. In this context, Aspect-Based Summarization (ABS) systems that extract and summarize relevant information are particularly useful as they provide stakeholders with a convenient way of finding relevant information in expert-curated reports. In this work, we release a new dataset for ABS of Climate Change reports and we employ different Large Language Models (LLMs) and so-called Small Language Models (SLMs) to tackle this problem in an unsupervised way. Considering the problem at hand, we also show how SLMs are not significantly worse for the problem while leading to reduced carbon footprint; we do so by applying for the first time an existing framework considering both energy efficiency and task performance to the evaluation of zero-shot generative models for ABS. Overall, our results show that modern language models, both big and small, can effectively tackle ABS for Climate Change reports but more research is needed when we frame the problem as a Retrieval Augmented Generation (RAG) problem and our work and dataset will help foster efforts in this direction.
• Abstract（参考訳）: 気候変動対策の意思決定者を支援するための自然言語処理(NLP)の利用が最近強調されている。 この文脈では、関連する情報を抽出して要約するアスペクトベース要約(ABS)システムが特に有用であり、ステークホルダーに専門家が作成したレポートに関連情報を見つける便利な方法を提供する。 本研究では,気候変化レポートのABSデータセットを新たにリリースし,LLM(Large Language Models)とSmall Language Models(SLM)を併用して,この問題を教師なしの方法で解決する。 また, エネルギー効率とタスク性能の両面を考慮した既存フレームワークをABSゼロショット生成モデルの評価に適用し, 炭素フットプリントの低減を図った。 総じて, 大規模・小規模の現代言語モデルでは, ABS for Climate Changeレポートを効果的に扱えるが, この問題をレトリーバル拡張世代(RAG)問題とみなす場合には, さらなる研究が必要である。

関連論文リスト

• Enhancing SLM via ChatGPT and Dataset Augmentation [0.3844771221441211]
  我々は,大言語モデル (LLMs) と小言語モデル (SLMs) のパフォーマンスギャップを埋めるために,知識蒸留技術と合成データセット拡張を用いている。 提案手法は,情報抽出と情報推論という2種類の理性生成を伴い,ANLIデータセットを充実させる。 その結果, 合成合理化によって自然言語の理解能力が向上し, ANLIデータセット上での分類精度が1.3%, 2.3%向上することが判明した。
  論文  参考訳（メタデータ） (2024-09-19T09:24:36Z)
• InkubaLM: A small language model for low-resource African languages [9.426968756845389]
  InkubaLMは0.4億のパラメータを持つ小さな言語モデルである。 パラメータ数が大幅に大きいモデルに匹敵するパフォーマンスを実現する。 複数の言語にまたがる顕著な一貫性を示す。
  論文  参考訳（メタデータ） (2024-08-30T05:42:31Z)
• Reporting and Analysing the Environmental Impact of Language Models on the Example of Commonsense Question Answering with External Knowledge [7.419725234099729]
  チャットGPTは大規模言語モデル(LLM)に社会的な関心を喚起した LLMは相当な計算資源を必要としており、財政的にも環境的にも訓練に非常に費用がかかる。 本研究では,外部知識でT5 LLMを注入し,質問応答タスクのモデルを微調整した。
  論文  参考訳（メタデータ） (2024-07-24T16:16:16Z)
• Large Language Models for Next Point-of-Interest Recommendation [53.93503291553005]
  位置情報ベースのソーシャルネットワーク(LBSN)データは、しばしば次のPoint of Interest(POI)レコメンデーションタスクに使用される。 しばしば無視される課題の1つは、LBSNデータに存在する豊富なコンテキスト情報を効果的に利用する方法である。 本稿では,この課題に対処するために,LLM(Large Language Models)を用いたフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-19T13:28:36Z)
• Assessing Privacy Risks in Language Models: A Case Study on Summarization Tasks [65.21536453075275]
  我々は要約作業に焦点をあて、会員推測(MI)攻撃について調査する。 テキストの類似性や文書修正に対するモデルの抵抗をMI信号として活用する。 我々は、MI攻撃から保護するための要約モデルの訓練と、プライバシとユーティリティの本質的にのトレードオフについて議論する。
  論文  参考訳（メタデータ） (2023-10-20T05:44:39Z)
• Data-efficient, Explainable and Safe Box Manipulation: Illustrating the Advantages of Physical Priors in Model-Predictive Control [0.0]
  MPCフレームワークにおける環境力学の事前知識が,説明可能性,安全性,データ効率の向上につながることを示す。 我々は,実際のロボットシステムに基づくペイロード操作問題をモデル化し,MPCフレームワークにおける環境のダイナミクスに関する事前知識を活用することにより,説明可能性,安全性,データ効率の向上につながることを示す。
  論文  参考訳（メタデータ） (2023-03-02T20:28:19Z)
• Large Language Models Are Latent Variable Models: Explaining and Finding Good Demonstrations for In-Context Learning [104.58874584354787]
  近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。 本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
  論文  参考訳（メタデータ） (2023-01-27T18:59:01Z)
• Privacy Adhering Machine Un-learning in NLP [66.17039929803933]
  現実の業界では、機械学習を使ってユーザデータに基づくモデルを構築します。 このような委任事項には、データだけでなく、モデルの再トレーニングにも労力が要る。 データの継続的な削除と モデル再訓練のステップはスケールしません この課題に対処するために、textitMachine Unlearningを提案する。
  論文  参考訳（メタデータ） (2022-12-19T16:06:45Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Improving Classifier Training Efficiency for Automatic Cyberbullying Detection with Feature Density [58.64907136562178]
  言語支援の異なる特徴前処理手法を用いて特徴密度(FD)の有効性を検討した。 データセットの複雑さを推定することで、必要な実験の数を削減できると仮定する。 データセットの言語的複雑さの違いにより、言語的に支援された単語前処理の有効性を議論することが可能になる。
  論文  参考訳（メタデータ） (2021-11-02T15:48:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。