論文の概要: Large Language Model Enhanced Machine Learning Estimators for Classification

• arxiv url: http://arxiv.org/abs/2405.05445v1
• Date: Wed, 8 May 2024 22:28:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-10 14:32:26.028640
• Title: Large Language Model Enhanced Machine Learning Estimators for Classification
• Title（参考訳）: 分類のための大規模言語モデル強化機械学習推定器
• Authors: Yuhang Wu, Yingfei Wang, Chu Wang, Zeyu Zheng,
• Abstract要約: 様々なシナリオをシミュレートするための強力なツールとして、事前訓練された大規模言語モデル(LLM)が登場した。 本稿では,LLMを古典的機械学習推定器に統合し,予測性能をさらに向上させる手法を提案する。
• 参考スコア（独自算出の注目度）: 24.391150322835713
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained large language models (LLM) have emerged as a powerful tool for simulating various scenarios and generating output given specific instructions and multimodal input. In this work, we analyze the specific use of LLM to enhance a classical supervised machine learning method for classification problems. We propose a few approaches to integrate LLM into a classical machine learning estimator to further enhance the prediction performance. We examine the performance of the proposed approaches through both standard supervised learning binary classification tasks, and a transfer learning task where the test data observe distribution changes compared to the training data. Numerical experiments using four publicly available datasets are conducted and suggest that using LLM to enhance classical machine learning estimators can provide significant improvement on prediction performance.
• Abstract（参考訳）: 事前訓練された大規模言語モデル(LLM)は、様々なシナリオをシミュレートし、与えられた特定の命令とマルチモーダル入力を生成する強力なツールとして登場した。 本研究では,古典的教師付き機械学習手法を分類問題に適用するために,LLMの具体的利用を分析した。 本稿では,LLMを古典的機械学習推定器に統合し,予測性能をさらに向上させる手法を提案する。 本稿では,標準教師付き二分分類タスクと,テストデータが学習データと比較した場合の分布変化を観察する伝達学習タスクの両方を用いて,提案手法の性能について検討する。 4つの公開データセットを用いて数値実験を行い、LLMを用いて古典的機械学習推定器を強化することにより、予測性能が大幅に向上することが示唆された。

関連論文リスト

• LLM-Select: Feature Selection with Large Language Models [64.5099482021597]
  大規模言語モデル(LLM)は、データサイエンスの標準ツールに匹敵するパフォーマンスで、最も予測可能な機能を選択することができる。 以上の結果から,LSMはトレーニングに最適な機能を選択するだけでなく,そもそもどの機能を収集すべきかを判断する上でも有用である可能性が示唆された。
  論文  参考訳（メタデータ） (2024-07-02T22:23:40Z)
• Verbalized Machine Learning: Revisiting Machine Learning with Language Models [63.10391314749408]
  言語化機械学習(VML)の枠組みを紹介する。 VMLはパラメータ空間を人間の解釈可能な自然言語に制限する。 VMLの有効性を実証的に評価するために,いくつかの研究を行っている。
  論文  参考訳（メタデータ） (2024-06-06T17:59:56Z)
• Search-based Optimisation of LLM Learning Shots for Story Point Estimation [3.5365325264937897]
  探索に基づく手法を用いて,LLMの推定性能を向上させる実例の数と組み合わせを最適化する。 予備実験の結果,SBSE法によりLLMの推定性能は平均59.34%向上した。
  論文  参考訳（メタデータ） (2024-03-13T11:29:37Z)
• Towards Modeling Learner Performance with Large Language Models [7.002923425715133]
  本稿では,LLMのパターン認識とシーケンスモデリング機能が,知識追跡の領域にまで拡張できるかどうかを検討する。 ゼロショットプロンプト(ゼロショットプロンプト)とモデル微調整(モデル微調整)の2つの手法と,既存のLLM以外の知識追跡手法を比較した。 LLMベースのアプローチは最先端のパフォーマンスを達成しないが、微調整のLLMは素早いベースラインモデルの性能を上回り、標準的なベイズ的知識追跡手法と同等に機能する。
  論文  参考訳（メタデータ） (2024-02-29T14:06:34Z)
• Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
  本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。 その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。 私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
  論文  参考訳（メタデータ） (2023-08-07T18:50:57Z)
• Extension of Transformational Machine Learning: Classification Problems [0.0]
  本研究では、薬物発見における変換機械学習(TML)の適用と性能について検討する。 メタ学習アルゴリズムであるTMLは、さまざまなドメインにまたがる共通属性の活用に優れています。 薬物発見プロセスは複雑で時間を要するが、予測精度の増大から大きな恩恵を受けることができる。
  論文  参考訳（メタデータ） (2023-08-07T07:34:18Z)
• Language models are weak learners [71.33837923104808]
  本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。 これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。 結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
  論文  参考訳（メタデータ） (2023-06-25T02:39:19Z)
• Differentially Private Decoding in Large Language Models [14.221692239892207]
  本稿では,復号段階で既に訓練済みのモデルに適用可能な,単純で分かり易く,計算的に軽量な摂動機構を提案する。 我々の摂動メカニズムはモデルに依存しず、どんな大規模言語モデルとも併用することができる。
  論文  参考訳（メタデータ） (2022-05-26T20:50:58Z)
• First-order Optimization for Superquantile-based Supervised Learning [0.0]
  本稿では,超量子的学習目標を最小化する一階最適化アルゴリズムを提案する。 提案アルゴリズムは,不完全な畳み込みによる超量子関数の平滑化に基づく。
  論文  参考訳（メタデータ） (2020-09-30T11:43:45Z)
• A Survey on Large-scale Machine Learning [67.6997613600942]
  機械学習はデータに対する深い洞察を与え、マシンが高品質な予測を行うことを可能にする。 ほとんどの高度な機械学習アプローチは、大規模なデータを扱う場合の膨大な時間コストに悩まされる。 大規模機械学習は、ビッグデータからパターンを、同等のパフォーマンスで効率的に学習することを目的としている。
  論文  参考訳（メタデータ） (2020-08-10T06:07:52Z)
• Transfer Learning without Knowing: Reprogramming Black-box Machine Learning Models with Scarce Data and Limited Resources [78.72922528736011]
  そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。 ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。 BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
  論文  参考訳（メタデータ） (2020-07-17T01:52:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。