Fugu-MT 論文翻訳(概要): Predicting Sustainable Development Goals Using Course Descriptions -- from LLMs to Conventional Foundation Models

論文の概要: Predicting Sustainable Development Goals Using Course Descriptions -- from LLMs to Conventional Foundation Models

arxiv url: http://arxiv.org/abs/2402.16420v2
Date: Tue, 23 Apr 2024 12:49:57 GMT
ステータス: 処理完了
システム内更新日: 2024-04-24 19:06:16.373263
Title: Predicting Sustainable Development Goals Using Course Descriptions -- from LLMs to Conventional Foundation Models
Title（参考訳）: コース記述を用いた持続可能な開発目標の予測 - LLMから従来の基礎モデルへ-
Authors: Lev Kharlashkin, Melany Macias, Leo Huovinen, Mika Hämäläinen,
Abstract要約: ノイズの多いコース記述が入力として入力された場合,PALM 2 という名前の LLM を用いてトレーニングデータを生成する。このデータを使って、大学コースのSDGを予測するために、いくつかの異なる言語モデルをトレーニングします。
参考スコア（独自算出の注目度）: 0.412484724941528
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present our work on predicting United Nations sustainable development goals (SDG) for university courses. We use an LLM named PaLM 2 to generate training data given a noisy human-authored course description input as input. We use this data to train several different smaller language models to predict SDGs for university courses. This work contributes to better university level adaptation of SDGs. The best performing model in our experiments was BART with an F1-score of 0.786.
Abstract（参考訳）: 大学コースにおける国連の持続可能な開発目標(SDG)の予測に関する研究について述べる。ノイズの多いコース記述が入力として入力された場合,PALM 2 という LLM を用いてトレーニングデータを生成する。このデータを使って、大学コースのSDGを予測するために、いくつかの小さな言語モデルをトレーニングします。この研究は、SDGの大学レベルの適応に寄与する。私たちの実験で最高のパフォーマンスモデルは、F1スコア0.786のBARTでした。

関連論文リスト

SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文参考訳（メタデータ） (2024-07-16T04:41:58Z)
Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
論文参考訳（メタデータ） (2024-01-02T18:53:13Z)
CoAnnotating: Uncertainty-Guided Work Allocation between Human and Large Language Models for Data Annotation [94.59630161324013]
本稿では,非構造化テキストの大規模共同アノテーションのための新しいパラダイムであるCoAnnotatingを提案する。我々の実証研究は、CoAnnotatingが、異なるデータセット上の結果から作業を割り当てる効果的な手段であることを示し、ランダムベースラインよりも最大21%のパフォーマンス改善を実現している。
論文参考訳（メタデータ） (2023-10-24T08:56:49Z)
The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文参考訳（メタデータ） (2023-09-20T10:31:17Z)
Models of reference production: How do they withstand the test of time? [6.651864489482537]
本研究では,文脈の参照表現を生成するタスクをケーススタディとして使用し,GRECから分析を開始する。より現実的なデータセットでモデルを評価すれば、モデルのパフォーマンスはどうなるのか、私たちは尋ねます。我々は、GRECは、人間の参照生産を模倣するモデルの能力に対する信頼性の高い評価を提供するものではないと結論付けている。
論文参考訳（メタデータ） (2023-07-27T12:46:38Z)
RoBLEURT Submission for the WMT2021 Metrics Task [72.26898579202076]
本稿では,共有メトリクスタスクであるRoBLEURTについて紹介する。我々のモデルは10対の英語言語対のうち8対でWMT 2020の人間のアノテーションと最先端の相関に達する。
論文参考訳（メタデータ） (2022-04-28T08:49:40Z)
Bayesian Active Learning with Pretrained Language Models [9.161353418331245]
Active Learning (AL)は、ラベルなしデータのプールからアノテーションのためのデータを反復的に選択する手法である。以前のALアプローチは、イテレーションごとにゼロからトレーニングされるタスク固有のモデルに制限されている。 BALM;Bayesian Active Learning with pretrained language modelを紹介します。
論文参考訳（メタデータ） (2021-04-16T19:07:31Z)
Neural Semi-supervised Learning for Text Classification Under Large-Scale Pretraining [51.19885385587916]
我々は、大規模LM事前学習の文脈下で、テキスト分類タスクにおける半教師あり学習の研究を行う。我々の研究は、大規模事前学習の文脈下でのセミ教師付き学習モデルの振る舞いを理解するための最初のステップである。
論文参考訳（メタデータ） (2020-11-17T13:39:05Z)
UmBERTo-MTSA @ AcCompl-It: Improving Complexity and Acceptability Prediction with Multi-task Learning on Self-Supervised Annotations [0.0]
本研究は,ラベル付きデータの適度な使用量のみの学習モデルの性能向上に使用される,自己教師型データ拡張手法について述べる。神経言語モデルは、EVALITA 2020におけるAcCompl-it共有タスクのコンテキストにおいて、この手順を用いて微調整される。
論文参考訳（メタデータ） (2020-11-10T15:50:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。