Fugu-MT 論文翻訳(概要): LLM Embeddings for Deep Learning on Tabular Data

論文の概要: LLM Embeddings for Deep Learning on Tabular Data

arxiv url: http://arxiv.org/abs/2502.11596v1
Date: Mon, 17 Feb 2025 09:28:51 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-18 14:14:34.395680
Title: LLM Embeddings for Deep Learning on Tabular Data
Title（参考訳）: 語彙データを用いた深層学習のためのLLM埋め込み
Authors: Boshko Koloski, Andrei Margeloiu, Xiangjian Jiang, Blaž Škrlj, Nikola Simidjievski, Mateja Jamnik,
Abstract要約: タブラル深層学習法では, 数値的およびカテゴリー的な入力特徴を高次元空間に埋め込む必要がある。既存の手法では、異なる型固有のエンコーディングアプローチを用いることで、この異種データの性質を扱う。本稿では,まず表形式データをテキストに変換し,LLMから事前学習した表現を活用してそのデータを符号化し,プラグアンドプレイのソリューションを提案する。
参考スコア（独自算出の注目度）: 10.95164847873571
License:
Abstract: Tabular deep-learning methods require embedding numerical and categorical input features into high-dimensional spaces before processing them. Existing methods deal with this heterogeneous nature of tabular data by employing separate type-specific encoding approaches. This limits the cross-table transfer potential and the exploitation of pre-trained knowledge. We propose a novel approach that first transforms tabular data into text, and then leverages pre-trained representations from LLMs to encode this data, resulting in a plug-and-play solution to improv ing deep-learning tabular methods. We demonstrate that our approach improves accuracy over competitive models, such as MLP, ResNet and FT-Transformer, by validating on seven classification datasets.
Abstract（参考訳）: タブラル深層学習法では, 数値的およびカテゴリー的な入力特徴を高次元空間に埋め込む必要がある。既存の手法では、別個の型固有の符号化手法を用いて表データの異種性を扱う。これにより、クロステーブル転送電位と事前訓練された知識の活用が制限される。そこで我々は,まず表形式データをテキストに変換し,LLMから事前学習した表現を活用してそのデータを符号化する手法を提案する。提案手法は, MLP, ResNet, FT-Transformerなどの競合モデルに対して, 7つの分類データセットを検証することにより精度を向上することを示す。

関連論文リスト

Distributionally robust self-supervised learning for tabular data [2.942619386779508]
エラースライスの存在下での堅牢な表現の学習は、高い濃度特徴とエラーセットの構築の複雑さのために困難である。従来の堅牢な表現学習手法は、コンピュータビジョンにおける教師付き設定における最悪のグループパフォーマンスの改善に主に焦点をあてている。提案手法は,Masked Language Modeling (MLM) の損失を学習したエンコーダ・デコーダモデルを用いて,頑健な潜在表現を学習する。
論文参考訳（メタデータ） (2024-10-11T04:23:56Z)
Tabular Transfer Learning via Prompting LLMs [52.96022335067357]
大規模言語モデル(LLM)を用いたラベル付き(あるいは異種)ソースデータを利用した新しいフレームワークPrompt to Transfer (P2T)を提案する。 P2Tは、ターゲットタスク機能と強く相関しているソースデータセットの列の特徴を特定し、ターゲットタスクに関連する例を作成し、プロンプトの擬似宣言を生成する。
論文参考訳（メタデータ） (2024-08-09T11:30:52Z)
A Closer Look at Deep Learning Methods on Tabular Datasets [52.50778536274327]
タブラルデータは、機械学習のさまざまな領域で広く使われている。 Deep Neural Network(DNN)ベースの手法は最近、有望なパフォーマンスを実証した。我々は,32種類の最先端の深部・木質の手法を比較し,その平均性能を複数の基準で評価した。
論文参考訳（メタデータ） (2024-07-01T04:24:07Z)
Text Serialization and Their Relationship with the Conventional Paradigms of Tabular Machine Learning [0.0]
本研究では,機械学習タスクにおける特徴表現と予測に言語モデル(LM)をどのように使用できるかを検討する。本研究は,新しいLM技術が表型機械学習の伝統的なパラダイムとどのように比較されるかを評価する。以上の結果から,現在の事前学習モデルは従来の手法に取って代わるべきではないことがわかった。
論文参考訳（メタデータ） (2024-06-19T21:19:37Z)
Alpaca against Vicuna: Using LLMs to Uncover Memorization of LLMs [61.04246774006429]
本稿では,攻撃者によるLSMエージェントを用いたブラックボックスプロンプト最適化手法を提案する。ベースラインプレフィックス・サフィックス測定と比較すると,命令ベースのプロンプトは,トレーニングデータと23.7%のオーバラップで出力を生成する。以上の結果から,命令調整モデルでは,ベースモデルと同等に事前学習データを公開することが可能であり,他のLSMが提案する命令を用いることで,新たな自動攻撃の道を開くことが可能であることが示唆された。
論文参考訳（メタデータ） (2024-03-05T19:32:01Z)
Towards Efficient Active Learning in NLP via Pretrained Representations [1.90365714903665]
ファインチューニング大型言語モデル(LLM)は、今や幅広いアプリケーションにおけるテキスト分類の一般的なアプローチである。能動学習ループ内でのLLMの事前学習表現を用いて,このプロセスを大幅に高速化する。私たちの戦略は、アクティブな学習ループを通した微調整と同じようなパフォーマンスを得るが、計算コストは桁違いに低い。
論文参考訳（メタデータ） (2024-02-23T21:28:59Z)
Backward Lens: Projecting Language Model Gradients into the Vocabulary Space [94.85922991881242]
勾配行列は、その前方および後方の入力の低ランク線形結合としてキャスト可能であることを示す。次に、これらの勾配を語彙項目に投影する手法を開発し、新しい情報がLMのニューロンにどのように格納されているかのメカニズムを探索する。
論文参考訳（メタデータ） (2024-02-20T09:57:08Z)
Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
論文参考訳（メタデータ） (2023-10-31T03:35:59Z)
Distinguishability Calibration to In-Context Learning [31.375797763897104]
そこで本研究では, PLM符号化埋め込みを新しい距離空間にマッピングすることで, 埋め込みの識別性を保証する手法を提案する。また、双曲的埋め込みの利点を生かして、粒度の細かいクラス関連トークン埋め込み間の階層的関係を捉える。
論文参考訳（メタデータ） (2023-02-13T09:15:00Z)
Bi-level Alignment for Cross-Domain Crowd Counting [113.78303285148041]
現在の手法は、補助的なタスクを訓練したり、高価な粗大な見積もりを適用したりするための外部データに依存している。そこで我々は, 簡易かつ効率的に適用可能な, 逆学習に基づく新しい手法を開発した。実世界の5つのクラウドカウントベンチマークに対するアプローチを評価し、既存のアプローチを大きなマージンで上回ります。
論文参考訳（メタデータ） (2022-05-12T02:23:25Z)
Numeric Encoding Options with Automunge [0.0]
本稿では,ディープラーニングにおける数値ストリームの拡張符号化の潜在的なメリットについて論じる。提案は、Automungeオープンソースpythonライブラリプラットフォームで利用可能な数値変換オプションに基づいている。
論文参考訳（メタデータ） (2022-02-19T02:21:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。