論文の概要: Small Language Models for Tabular Data

• arxiv url: http://arxiv.org/abs/2211.02941v1
• Date: Sat, 5 Nov 2022 16:57:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 17:56:47.668509
• Title: Small Language Models for Tabular Data
• Title（参考訳）: 表データのための小型言語モデル
• Authors: Benjamin L. Badger
• Abstract要約: 分類と回帰の問題に対処する深層表現学習の能力を示す。 小型モデルは様々な関数の近似に十分なキャパシティを持ち、記録分類ベンチマークの精度を実現する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Supervised deep learning is most commonly applied to difficult problems defined on large and often extensively curated datasets. Here we demonstrate the ability of deep representation learning to address problems of classification and regression from small and poorly formed tabular datasets by encoding input information as abstracted sequences composed of a fixed number of characters per input field. We find that small models have sufficient capacity for approximation of various functions and achieve record classification benchmark accuracy. Such models are shown to form useful embeddings of various input features in their hidden layers, even if the learned task does not explicitly require knowledge of those features. These models are also amenable to input attribution, allowing for an estimation of the importance of each input element to the model output as well as of which inputs features are effectively embedded in the model. We present a proof-of-concept for the application of small language models to mixed tabular data without explicit feature engineering, cleaning, or preprocessing, relying on the model to perform these tasks as part of the representation learning process.
• Abstract（参考訳）: 教師付きディープラーニングは、大きくて、しばしば広くキュレートされたデータセット上で定義された難しい問題に一般的に適用される。 ここでは、入力情報を入力フィールドあたりの固定数の文字からなる抽象シーケンスとして符号化することで、小さく、未成年な表型データセットからの分類と回帰の問題に対処する深層表現学習の能力を示す。 小型モデルは様々な関数の近似に十分なキャパシティを持ち、記録分類ベンチマークの精度を実現する。 このようなモデルは、たとえ学習したタスクがこれらの特徴の知識を明示的に必要としていないとしても、様々な入力機能の有用な埋め込みを形成する。 これらのモデルは入力帰属にも適しており、モデル出力に対する各入力要素の重要性と、どの入力特徴が効果的にモデルに埋め込まれているかを予測することができる。 本稿では,これらのタスクを表現学習プロセスの一部として実行するモデルに頼って,機能工学やクリーニング,あるいは事前処理を行なわずに,小さな言語モデルを混合表データに適用するための概念実証を行う。

関連論文リスト

• Arithmetic with Language Models: from Memorization to Computation [3.077668143048211]
  本研究は、次のトークンを予測するために訓練された言語モデルが、トレーニングデータを超えて一般化された算術演算を実行する方法を検討する。 我々はこれらのタスクを学ぶために軽言語モデルを訓練し、外挿能力と内部情報処理を調べるために多くの実験を行った。
  論文  参考訳（メタデータ） (2023-08-02T13:58:37Z)
• LLM2Loss: Leveraging Language Models for Explainable Model Diagnostics [5.33024001730262]
  我々は、失敗とバイアスのモデルパターンに関するセマンティックな洞察を提供するアプローチを提案する。 このような軽量モデルのアンサンブルを用いて,ブラックボックスモデルの性能に関する洞察を得られることを示す。
  論文  参考訳（メタデータ） (2023-05-04T23:54:37Z)
• Rethinking interpretation: Input-agnostic saliency mapping of deep visual classifiers [28.28834523468462]
  Saliencyメソッドは、入力特徴をモデル出力に寄与させることで、ポストホックモデルの解釈を提供する。 入力特異性マッピングは本質的に誤解を招く特徴の帰属に影響を受けやすいことを示す。 本稿では,モデルが持つ高次特徴をその出力に対して計算的に推定する,入力非依存のサリエンシマッピングの新たな視点を紹介する。
  論文  参考訳（メタデータ） (2023-03-31T06:58:45Z)
• Discrete Key-Value Bottleneck [95.61236311369821]
  ディープニューラルネットワークは、データストリームがi.d.d.であり、ラベル付きデータが豊富である分類タスクでうまく機能する。 この課題に対処した強力なアプローチの1つは、手軽に利用可能なデータ量に対する大規模なエンコーダの事前トレーニングと、タスク固有のチューニングである。 しかし、新しいタスクを考えると、多くの重みを微調整する必要があるため、エンコーダの重みを更新することは困難であり、その結果、以前のタスクに関する情報を忘れてしまう。 この問題に対処するモデルアーキテクチャを提案し,個別かつ学習可能なキー値符号のペアを含む離散的ボトルネックの上に構築する。
  論文  参考訳（メタデータ） (2022-07-22T17:52:30Z)
• Actuarial Applications of Natural Language Processing Using Transformers: Case Studies for Using Text Features in an Actuarial Context [0.0]
  このチュートリアルは、テキストデータをアクチュアリ分類と回帰タスクに組み込むことを実証する。 主な焦点はトランスフォーマーモデルを用いた手法である。 このケーススタディは、多言語設定と長い入力シーケンスに関連する課題に取り組む。
  論文  参考訳（メタデータ） (2022-06-04T15:39:30Z)
• CHALLENGER: Training with Attribution Maps [63.736435657236505]
  ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。 特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-30T13:34:46Z)
• Learning Debiased and Disentangled Representations for Semantic Segmentation [52.35766945827972]
  セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。 各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。 提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
  論文  参考訳（メタデータ） (2021-10-31T16:15:09Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• When Can Models Learn From Explanations? A Formal Framework for Understanding the Roles of Explanation Data [84.87772675171412]
  個々のデータポイントの説明がモデリング性能を向上させる状況について検討する。 e-SNLI、TACRED、SemEvalの3つの既存のデータセットを使って説明します。
  論文  参考訳（メタデータ） (2021-02-03T18:57:08Z)
• When is Memorization of Irrelevant Training Data Necessary for High-Accuracy Learning? [53.523017945443115]
  我々は,十分な精度のトレーニングアルゴリズムが,予測モデルにおいて,そのトレーニング例の大規模サブセットに関する情報を本質的にすべてエンコードしなければならない自然予測問題を記述する。 私たちの結果は、トレーニングアルゴリズムや学習に使用されるモデルのクラスに依存しません。
  論文  参考訳（メタデータ） (2020-12-11T15:25:14Z)
• What shapes feature representations? Exploring datasets, architectures, and training [14.794135558227682]
  自然主義的な学習問題では、モデルの入力には幅広い特徴が含まれており、いくつかは手元にあるタスクに有用である。 これらの疑問はモデル決定の基盤を理解する上で重要である。 入力特徴のタスク関連性を直接制御できる合成データセットを用いて,これらの質問について検討する。
  論文  参考訳（メタデータ） (2020-06-22T17:02:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。