Fugu-MT 論文翻訳(概要): OmniPred: Language Models as Universal Regressors

論文の概要: OmniPred: Language Models as Universal Regressors

arxiv url: http://arxiv.org/abs/2402.14547v4
Date: Mon, 23 Dec 2024 06:19:53 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-24 15:55:05.297696
Title: OmniPred: Language Models as Universal Regressors
Title（参考訳）: OmniPred:Universal Regressorsとしての言語モデル
Authors: Xingyou Song, Oscar Li, Chansoo Lee, Bangding Yang, Daiyi Peng, Sagi Perel, Yutian Chen,
Abstract要約: 任意のフォーマットから$(x,y)$のデータに対して,言語モデルをユニバーサルなエンドツーエンド回帰器としてトレーニングするためのフレームワークを提案する。
参考スコア（独自算出の注目度）: 19.603446289122033
License:
Abstract: Regression is a powerful tool to accurately predict the outcome metric of a system given a set of parameters, but has traditionally been restricted to methods which are only applicable to a specific task. In this paper, we propose OmniPred, a framework for training language models as universal end-to-end regressors over $(x,y)$ data from arbitrary formats. Using data sourced from Google Vizier, one of the largest proprietary blackbox optimization databases in the world, our extensive experiments demonstrate that language models are capable of very precise numerical regression using only textual representations of mathematical parameters and values, and if given the opportunity to train at scale over multiple tasks, can significantly outperform traditional regression models.
Abstract（参考訳）: 回帰は、パラメータのセットが与えられたシステムの結果のメトリックを正確に予測する強力なツールであるが、伝統的に特定のタスクにのみ適用可能なメソッドに限定されてきた。本稿では,OmniPredを提案する。OmniPredは任意のフォーマットからのデータに対して,言語モデルを汎用のエンドツーエンド回帰器としてトレーニングするためのフレームワークである。世界最大のプロプライエタリなブラックボックス最適化データベースであるGoogle Vizierからソースされたデータを用いて、我々の広範な実験は、言語モデルが数学的パラメータと値のテキスト表現のみを使用して非常に正確な数値回帰を行うことができることを示した。

関連論文リスト

UniArk: Improving Generalisation and Consistency for Factual Knowledge Extraction through Debiasing [19.2764682793582]
本研究は,言語モデルにおける事前学習目標と下流学習目標との相違点を示す。汎用的で一貫した事実知識抽出のためのアダプタベースのフレームワークUniArkを提案する。
論文参考訳（メタデータ） (2024-04-01T17:22:07Z)
UniPredict: Large Language Models are Universal Tabular Classifiers [33.811778526930745]
本稿では、生成モデル、すなわちUniPredictに基づいて、普遍的な表型データ予測器を構築するというアイデアを活用する。多様なターゲットを持つ169データセットのアグリゲーション上で1つのLLMをトレーニングし、そのパフォーマンスを各データセットで個別にトレーニングされたベースラインと比較する。我々は、この汎用UniPredictモデルは、最高のツリーブースティングベースラインと最高のニューラルネットワークベースラインと比較して、5.4%から13.4%の範囲で、他のモデルよりも有利であることを示す。
論文参考訳（メタデータ） (2023-10-05T02:37:09Z)
Reimagining Retrieval Augmented Language Models for Answering Queries [23.373952699385427]
本稿では,大規模言語モデルに対する現実性チェックと,比較対象言語モデル検索の可能性を検証する。このような言語モデルは半パラメトリックであり、モデルがモデルパラメータと外部データソースからの知識を統合して予測を行う。
論文参考訳（メタデータ） (2023-06-01T18:08:51Z)
Curriculum-Based Imitation of Versatile Skills [15.97723808124603]
模倣による学習スキルは、ロボットの直感的な教育にとって有望な概念である。このようなスキルを学ぶ一般的な方法は、デモが与えられた可能性の最大化によってパラメトリックモデルを学ぶことである。しかし、人間のデモンストレーションはしばしばマルチモーダルであり、同じタスクは複数の方法で解決される。
論文参考訳（メタデータ） (2023-04-11T12:10:41Z)
A Multi-dimensional Evaluation of Tokenizer-free Multilingual Pretrained Models [87.7086269902562]
サブワードベースのモデルは、多くの設定において依然として最も実用的な選択肢であることを示している。我々は,新しいモデルを設計し,評価する際のこれらの要因を検討するために,トークンフリーな手法の今後の取り組みを奨励する。
論文参考訳（メタデータ） (2022-10-13T15:47:09Z)
HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文参考訳（メタデータ） (2022-06-15T19:10:35Z)
Super-Prompting: Utilizing Model-Independent Contextual Data to Reduce Data Annotation Required in Visual Commonsense Tasks [3.42658286826597]
我々は,言語モデルとマルチモーダル因果変換器モデルの両方における結果を改善するために,異なるプロンプトベースの微調整手法を解析する。以上の結果から,モデルに依存しないインシデントベースの微調整により,微調整データセットの35%～40%のみを用いて,同等の精度で達成できることが示唆された。
論文参考訳（メタデータ） (2022-04-25T18:56:55Z)
Efficient Nearest Neighbor Language Models [114.40866461741795]
非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
論文参考訳（メタデータ） (2021-09-09T12:32:28Z)
ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文参考訳（メタデータ） (2021-04-11T12:14:04Z)
Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
論文参考訳（メタデータ） (2020-10-20T17:31:07Z)
Learning Universal Representations from Word to Sentence [89.82415322763475]
この研究は普遍的な表現学習、すなわち一様ベクトル空間における言語単位の異なるレベルへの埋め込みを導入し、探求する。本稿では, 単語, 句, 文の観点から, 類似したデータセットを構築するためのアプローチを提案する。適切なトレーニング設定を組み込んだよく訓練されたトランスフォーマーモデルが、効果的に普遍的な表現が得られることを実証的に検証する。
論文参考訳（メタデータ） (2020-09-10T03:53:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。