論文の概要: A Comparative Study of Task Adaptation Techniques of Large Language Models for Identifying Sustainable Development Goals

• arxiv url: http://arxiv.org/abs/2506.15208v1
• Date: Wed, 18 Jun 2025 07:42:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-19 19:35:51.575094
• Title: A Comparative Study of Task Adaptation Techniques of Large Language Models for Identifying Sustainable Development Goals
• Title（参考訳）: 持続可能な開発目標を特定するための大規模言語モデルのタスク適応手法の比較検討
• Authors: Andrea Cadeddu, Alessandro Chessa, Vincenzo De Leo, Gianni Fenu, Enrico Motta, Francesco Osborne, Diego Reforgiato Recupero, Angelo Salatino, Luca Secchi,
• Abstract要約: 本研究では,国連の持続可能な開発目標に焦点をあてた,単一ラベルの多クラステキスト分類タスクを対象とした,プロプライエタリでオープンソースのテキスト分類モデルについて分析する。 その結果、より小さなモデルでは、プロンプトエンジニアリングによって最適化された場合、OpenAIのGPTのような大きなモデルと同等に動作できることが判明した。
• 参考スコア（独自算出の注目度）: 39.71115518041856
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In 2012, the United Nations introduced 17 Sustainable Development Goals (SDGs) aimed at creating a more sustainable and improved future by 2030. However, tracking progress toward these goals is difficult because of the extensive scale and complexity of the data involved. Text classification models have become vital tools in this area, automating the analysis of vast amounts of text from a variety of sources. Additionally, large language models (LLMs) have recently proven indispensable for many natural language processing tasks, including text classification, thanks to their ability to recognize complex linguistic patterns and semantics. This study analyzes various proprietary and open-source LLMs for a single-label, multi-class text classification task focused on the SDGs. Then, it also evaluates the effectiveness of task adaptation techniques (i.e., in-context learning approaches), namely Zero-Shot and Few-Shot Learning, as well as Fine-Tuning within this domain. The results reveal that smaller models, when optimized through prompt engineering, can perform on par with larger models like OpenAI's GPT (Generative Pre-trained Transformer).
• Abstract（参考訳）: 2012年、国連は2030年までにより持続的で改善された未来を生み出すことを目的とした17の持続可能な開発目標(SDG)を導入した。 しかし,データの大規模化と複雑化のため,これらの目標に向けての進捗の追跡は困難である。 テキスト分類モデルはこの分野において重要なツールとなり、様々な情報源から大量のテキストの分析を自動化する。 加えて、大規模言語モデル(LLM)は、複雑な言語パターンや意味論を認識する能力のおかげで、テキスト分類を含む多くの自然言語処理タスクに不可欠であることが最近証明された。 本研究では,SDGに着目したシングルラベル・マルチクラステキスト分類タスクに対して,プロプライエタリかつオープンソースなLCMを解析する。 また、タスク適応手法(例えば、文脈内学習アプローチ)、すなわちゼロショットとフューショット学習、およびこの領域におけるファインチューニングの有効性を評価する。 その結果、より小さなモデルでは、プロンプトエンジニアリングによって最適化されると、OpenAIのGPT(Generative Pre-trained Transformer)のような大きなモデルと同等に動作できることが判明した。

関連論文リスト

• Whisper-LM: Improving ASR Models with Language Models for Low-Resource Languages [0.43498389175652036]
  本研究は、従来の言語モデルと新しい言語モデルと微調整されたWhisperモデルを統合し、あまり一般的でない言語での性能を高める。 我々は、特に低リソースシナリオにおいて、単語エラー率を大幅に改善したことを示す。 統合はすべてのモデルサイズに確実に貢献するが、改善の程度は様々であり、最適化された言語モデルパラメータの重要性を強調している。
  論文  参考訳（メタデータ） (2025-03-30T18:03:52Z)
• Improving In-Context Learning with Small Language Model Ensembles [2.3499129784547654]
  In-context Learning (ICL) は安価で効率的な代替手段であるが、高度な手法の精度と一致しない。 本稿では,複数の微調整小言語モデル(SLM)の専門知識を活用することでICLを強化する新しいアプローチであるEnsemble SuperICLを提案する。
  論文  参考訳（メタデータ） (2024-10-29T09:02:37Z)
• Unsupervised Data Validation Methods for Efficient Model Training [0.0]
  自然言語処理(NLP)、テキスト音声処理(TTS)、音声テキスト処理(STT)、視覚言語モデル(VLM)は大規模なデータセットに大きく依存している。 本研究では,「品質データ」の定義,適切なデータ生成方法の開発,モデルトレーニングへのアクセシビリティ向上など,重要な分野について検討する。
  論文  参考訳（メタデータ） (2024-10-10T13:00:53Z)
• A Survey of Large Language Models [81.06947636926638]
  言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。 近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。 パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
  論文  参考訳（メタデータ） (2023-03-31T17:28:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。