Fugu-MT 論文翻訳(概要): Towards Better Serialization of Tabular Data for Few-shot Classification with Large Language Models

論文の概要: Towards Better Serialization of Tabular Data for Few-shot Classification with Large Language Models

arxiv url: http://arxiv.org/abs/2312.12464v2
Date: Thu, 21 Dec 2023 02:43:26 GMT
ステータス: 処理完了
システム内更新日: 2023-12-22 17:37:46.957750
Title: Towards Better Serialization of Tabular Data for Few-shot Classification with Large Language Models
Title（参考訳）: 大規模言語モデルを用いたマイナショット分類のための表データのシリアライズ
Authors: Sukriti Jaitly, Tanay Shah, Ashish Shugani, Razik Singh Grewal
Abstract要約: 本稿では,3つの新しいシリアライズ手法を提案する。この方法は、ドメイン固有のデータセットを処理する際のLLMの性能を大幅に向上させる。従来のモデルよりも正確さと効率性が優れていることを実証します。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present a study on the integration of Large Language Models (LLMs) in tabular data classification, emphasizing an efficient framework. Building upon existing work done in TabLLM (arXiv:2210.10723), we introduce three novel serialization techniques, including the standout LaTeX serialization method. This method significantly boosts the performance of LLMs in processing domain-specific datasets, Our method stands out for its memory efficiency and ability to fully utilize complex data structures. Through extensive experimentation, including various serialization approaches like feature combination and importance, we demonstrate our work's superiority in accuracy and efficiency over traditional models.
Abstract（参考訳）: 本稿では,表型データ分類における大規模言語モデル(llm)の統合について検討し,効率的なフレームワークを強調する。既存のTabLLM(arXiv:2210.10723)をベースとして,LaTeXシリアライゼーション手法を含む3つの新しいシリアライゼーション手法を導入する。本手法は,ドメイン固有のデータセットの処理におけるLCMの性能を大幅に向上させ,そのメモリ効率と複雑なデータ構造を十分に活用する能力に注目する。機能の組み合わせや重要性といった様々なシリアライズアプローチを含む広範な実験を通じて、従来のモデルよりも精度と効率が優れていることを示す。

関連論文リスト

Generating Realistic Tabular Data with Large Language Models [49.03536886067729]
大規模言語モデル(LLM)は多様なタスクに使われてきたが、特徴と対象変数の正確な相関は捉えていない。そこで本研究では,LLMに基づく3つの重要な改良を加えて,実データの特徴クラス相関を正しく把握する手法を提案する。実験の結果,本手法は下流タスクにおいて,20個のデータセット上で10個のSOTAベースラインを著しく上回っていることがわかった。
論文参考訳（メタデータ） (2024-10-29T04:14:32Z)
EmbedLLM: Learning Compact Representations of Large Language Models [28.49433308281983]
大規模言語モデルのコンパクトなベクトル表現を学習するためのフレームワークである EmbedLLM を提案する。このような埋め込みを学習するためのエンコーダ-デコーダアプローチと,その有効性を評価するための体系的なフレームワークを導入する。 EmbedLLMはモデルルーティングにおいて,精度とレイテンシの両方において,従来の手法よりも優れていた。
論文参考訳（メタデータ） (2024-10-03T05:43:24Z)
Making Text Embedders Few-Shot Learners [33.50993377494602]
本稿では,高品質なテキスト埋め込みを実現するために,少数の例を用いた新しいモデルbge-en-iclを提案する。提案手法では,タスク関連例をクエリ側に直接統合することで,タスク間の大幅な改善を実現している。 MTEBおよびAIR-Benchベンチマークによる実験結果から,本手法がSOTA(State-of-the-art)性能を新たに設定することを示す。
論文参考訳（メタデータ） (2024-09-24T03:30:19Z)
VANER: Leveraging Large Language Model for Versatile and Adaptive Biomedical Named Entity Recognition [3.4923338594757674]
大型言語モデル(LLM)は、様々な種類のエンティティを抽出できるモデルを訓練するために使用することができる。本稿では,オープンソースのLLM LLaMA2をバックボーンモデルとして利用し,異なるタイプのエンティティとデータセットを区別するための具体的な命令を設計する。我々のモデルVANERは、パラメータの小さな分割で訓練され、従来のLLMモデルよりも大幅に優れており、LLMをベースとしたモデルとして初めて、従来の最先端のBioNERシステムの大部分を上回りました。
論文参考訳（メタデータ） (2024-04-27T09:00:39Z)
EPIC: Effective Prompting for Imbalanced-Class Data Synthesis in Tabular Data Classification via Large Language Models [39.347666307218006]
大規模言語モデル (LLM) は、多様なアプリケーションにまたがるテキスト内学習能力を示す。バランスの取れたデータサンプルと一貫したフォーマットと独自の変数マッピングを併用した新しい手法であるEPICを導入し、不均衡なデータセットであっても、全てのクラスで正確な合成データを生成するのにLLMをガイドする。
論文参考訳（メタデータ） (2024-04-15T17:49:16Z)
Learning to Extract Structured Entities Using Language Models [52.281701191329]
機械学習の最近の進歩は、情報抽出の分野に大きな影響を与えている。タスクをエンティティ中心にすることで、さまざまなメトリクスの使用を可能にします。我々は、Structured Entity extractを導入し、Adroximate Entity Set OverlaPメトリックを提案し、この分野にコントリビュートします。
論文参考訳（メタデータ） (2024-02-06T22:15:09Z)
Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
論文参考訳（メタデータ） (2024-01-28T08:56:49Z)
Few-Shot Data-to-Text Generation via Unified Representation and Multi-Source Learning [114.54944761345594]
本稿では,既存の手法の限界に対処する構造化データ・テキスト生成手法を提案する。提案手法は,マルチタスクトレーニング,ゼロショット,少数ショットシナリオの性能向上を目的としている。
論文参考訳（メタデータ） (2023-08-10T03:09:12Z)
TabLLM: Few-shot Classification of Tabular Data with Large Language Models [66.03023402174138]
大規模言語モデルのゼロショットおよび少数ショット分類への応用について検討する。テンプレートやテーブル・ツー・テキストモデル,大規模言語モデルなど,いくつかのシリアライズ手法を評価する。このアプローチは、勾配木のような強力な伝統的なベースラインとも競合する。
論文参考訳（メタデータ） (2022-10-19T17:08:13Z)
Efficient Data-specific Model Search for Collaborative Filtering [56.60519991956558]
協調フィルタリング(CF)はレコメンダシステムの基本的なアプローチである。本稿では,機械学習(AutoML)の最近の進歩を動機として,データ固有のCFモデルを設計することを提案する。ここでキーとなるのは、最先端(SOTA)のCFメソッドを統一し、それらを入力エンコーディング、埋め込み関数、インタラクション、予測関数の非結合ステージに分割する新しいフレームワークである。
論文参考訳（メタデータ） (2021-06-14T14:30:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。