Fugu-MT 論文翻訳(概要): OmniPred: Language Models as Universal Regressors

論文の概要: OmniPred: Language Models as Universal Regressors

arxiv url: http://arxiv.org/abs/2402.14547v4
Date: Mon, 23 Dec 2024 06:19:53 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-24 15:55:05.297696
Title: OmniPred: Language Models as Universal Regressors
Title（参考訳）: OmniPred:Universal Regressorsとしての言語モデル
Authors: Xingyou Song, Oscar Li, Chansoo Lee, Bangding Yang, Daiyi Peng, Sagi Perel, Yutian Chen,
Abstract要約: 任意のフォーマットから$(x,y)$のデータに対して,言語モデルをユニバーサルなエンドツーエンド回帰器としてトレーニングするためのフレームワークを提案する。
参考スコア（独自算出の注目度）: 19.603446289122033
License:
Abstract: Regression is a powerful tool to accurately predict the outcome metric of a system given a set of parameters, but has traditionally been restricted to methods which are only applicable to a specific task. In this paper, we propose OmniPred, a framework for training language models as universal end-to-end regressors over $(x,y)$ data from arbitrary formats. Using data sourced from Google Vizier, one of the largest proprietary blackbox optimization databases in the world, our extensive experiments demonstrate that language models are capable of very precise numerical regression using only textual representations of mathematical parameters and values, and if given the opportunity to train at scale over multiple tasks, can significantly outperform traditional regression models.
Abstract（参考訳）: 回帰は、パラメータのセットが与えられたシステムの結果のメトリックを正確に予測する強力なツールであるが、伝統的に特定のタスクにのみ適用可能なメソッドに限定されてきた。本稿では,OmniPredを提案する。OmniPredは任意のフォーマットからのデータに対して,言語モデルを汎用のエンドツーエンド回帰器としてトレーニングするためのフレームワークである。世界最大のプロプライエタリなブラックボックス最適化データベースであるGoogle Vizierからソースされたデータを用いて、我々の広範な実験は、言語モデルが数学的パラメータと値のテキスト表現のみを使用して非常に正確な数値回帰を行うことができることを示した。

関連論文リスト

"Medium" LMs of Code in the Era of LLMs: Lessons From StackOverflow [5.036273913335737]
SOBertBase、109Mパラメータを持つSOBertBaseと、762Mパラメータを持つSOBertLargeの2つのモデルを、それぞれ$187$と$800$の予算でトレーニングします。その結果、ドメイン内データを広範囲かつ適切に事前学習することで、クローズドソース汎用モデルを活用するための、強力で安価な代替手段が得られることが示された。
論文参考訳（メタデータ） (2023-06-05T21:38:30Z)
Reimagining Retrieval Augmented Language Models for Answering Queries [23.373952699385427]
本稿では,大規模言語モデルに対する現実性チェックと,比較対象言語モデル検索の可能性を検証する。このような言語モデルは半パラメトリックであり、モデルがモデルパラメータと外部データソースからの知識を統合して予測を行う。
論文参考訳（メタデータ） (2023-06-01T18:08:51Z)
Deep Regression Unlearning [6.884272840652062]
我々は、プライバシー攻撃に対して堅牢な、一般化された深層回帰学習手法を導入する。我々は、コンピュータビジョン、自然言語処理、予測アプリケーションのための回帰学習実験を行う。
論文参考訳（メタデータ） (2022-10-15T05:00:20Z)
A Multi-dimensional Evaluation of Tokenizer-free Multilingual Pretrained Models [87.7086269902562]
サブワードベースのモデルは、多くの設定において依然として最も実用的な選択肢であることを示している。我々は,新しいモデルを設計し,評価する際のこれらの要因を検討するために,トークンフリーな手法の今後の取り組みを奨励する。
論文参考訳（メタデータ） (2022-10-13T15:47:09Z)
Zemi: Learning Zero-Shot Semi-Parametric Language Models from Multiple Tasks [77.90900650816046]
ゼロショットセミパラメトリック言語モデルである$textZemi$を紹介します。私たちは、新しいセミパラメトリックマルチタスクによるトレーニングパラダイムで、textZemi$をトレーニングします。具体的には、大規模タスクに依存しない未ラベルコーパスからの検索により、マルチタスクトレーニングとゼロショット評価を強化する。
論文参考訳（メタデータ） (2022-10-01T04:08:50Z)
HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文参考訳（メタデータ） (2022-06-15T19:10:35Z)
Super-Prompting: Utilizing Model-Independent Contextual Data to Reduce Data Annotation Required in Visual Commonsense Tasks [3.42658286826597]
我々は,言語モデルとマルチモーダル因果変換器モデルの両方における結果を改善するために,異なるプロンプトベースの微調整手法を解析する。以上の結果から,モデルに依存しないインシデントベースの微調整により,微調整データセットの35%～40%のみを用いて,同等の精度で達成できることが示唆された。
論文参考訳（メタデータ） (2022-04-25T18:56:55Z)
Efficient Nearest Neighbor Language Models [114.40866461741795]
非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
論文参考訳（メタデータ） (2021-09-09T12:32:28Z)
ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文参考訳（メタデータ） (2021-04-11T12:14:04Z)
Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
論文参考訳（メタデータ） (2020-10-20T17:31:07Z)
Injecting Numerical Reasoning Skills into Language Models [41.78745615537762]
数値推論のような高いレベルの推論スキルは、言語モデリングの目的のみから学ぶことが難しい。数値推論が自動データ生成に有効であることを示し、この技術を予め訓練されたLMに注入できることを示す。我々は、我々のモデルであるGenBERTがDROP(49.3$rightarrow$ 72.3 F1)の性能を劇的に改善し、同等の大きさの最先端モデルに匹敵する性能に達することを示す。
論文参考訳（メタデータ） (2020-04-09T11:14:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。