論文の概要: OmniPred: Language Models as Universal Regressors

• arxiv url: http://arxiv.org/abs/2402.14547v1
• Date: Thu, 22 Feb 2024 13:36:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-23 15:04:05.128896
• Title: OmniPred: Language Models as Universal Regressors
• Title（参考訳）: OmniPred:Universal Regressorsとしての言語モデル
• Authors: Xingyou Song, Oscar Li, Chansoo Lee, Bangding (Jeffrey) Yang, Daiyi Peng, Sagi Perel, Yutian Chen
• Abstract要約: 本稿では,言語モデルの訓練を行うフレームワークを提案し,評価データを$(x,y)$で提供する。 実験により, 数学的パラメータと値のテキスト表現のみにより, 言語モデルは非常に正確な数値回帰が可能であることが示された。
• 参考スコア（独自算出の注目度）: 20.586475230425883
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Over the broad landscape of experimental design, regression has been a powerful tool to accurately predict the outcome metrics of a system or model given a set of parameters, but has been traditionally restricted to methods which are only applicable to a specific task. In this paper, we propose OmniPred, a framework for training language models as universal end-to-end regressors over $(x,y)$ evaluation data from diverse real world experiments. Using data sourced from Google Vizier, one of the largest blackbox optimization databases in the world, our extensive experiments demonstrate that through only textual representations of mathematical parameters and values, language models are capable of very precise numerical regression, and if given the opportunity to train over multiple tasks, can significantly outperform traditional regression models.
• Abstract（参考訳）: 実験設計の広い視野において、回帰は、パラメータのセットが与えられたシステムやモデルの結果メトリクスを正確に予測する強力なツールであるが、伝統的に特定のタスクにのみ適用可能なメソッドに限られてきた。 本稿では,多種多様な実世界実験から得られた$(x,y)$の評価データに対して,汎用的なエンドツーエンドレグレッサとして言語モデルをトレーニングするためのフレームワークであるomnipredを提案する。 世界最大のブラックボックス最適化データベースであるGoogle Vizierからソースされたデータを用いて、我々の広範な実験は、数学的パラメータと値のテキスト表現のみによって、言語モデルは非常に正確な数値回帰が可能であり、複数のタスクをトレーニングする機会が与えられれば、従来の回帰モデルよりも大幅に向上することを示した。

関連論文リスト

• UniArk: Improving Generalisation and Consistency for Factual Knowledge Extraction through Debiasing [19.2764682793582]
  本研究は,言語モデルにおける事前学習目標と下流学習目標との相違点を示す。 汎用的で一貫した事実知識抽出のためのアダプタベースのフレームワークUniArkを提案する。
  論文  参考訳（メタデータ） (2024-04-01T17:22:07Z)
• UniPredict: Large Language Models are Universal Tabular Classifiers [33.811778526930745]
  本稿では、生成モデル、すなわちUniPredictに基づいて、普遍的な表型データ予測器を構築するというアイデアを活用する。 多様なターゲットを持つ169データセットのアグリゲーション上で1つのLLMをトレーニングし、そのパフォーマンスを各データセットで個別にトレーニングされたベースラインと比較する。 我々は、この汎用UniPredictモデルは、最高のツリーブースティングベースラインと最高のニューラルネットワークベースラインと比較して、5.4%から13.4%の範囲で、他のモデルよりも有利であることを示す。
  論文  参考訳（メタデータ） (2023-10-05T02:37:09Z)
• Reimagining Retrieval Augmented Language Models for Answering Queries [23.373952699385427]
  本稿では,大規模言語モデルに対する現実性チェックと,比較対象言語モデル検索の可能性を検証する。 このような言語モデルは半パラメトリックであり、モデルがモデルパラメータと外部データソースからの知識を統合して予測を行う。
  論文  参考訳（メタデータ） (2023-06-01T18:08:51Z)
• Curriculum-Based Imitation of Versatile Skills [15.97723808124603]
  模倣による学習スキルは、ロボットの直感的な教育にとって有望な概念である。 このようなスキルを学ぶ一般的な方法は、デモが与えられた可能性の最大化によってパラメトリックモデルを学ぶことである。 しかし、人間のデモンストレーションはしばしばマルチモーダルであり、同じタスクは複数の方法で解決される。
  論文  参考訳（メタデータ） (2023-04-11T12:10:41Z)
• A Multi-dimensional Evaluation of Tokenizer-free Multilingual Pretrained Models [87.7086269902562]
  サブワードベースのモデルは、多くの設定において依然として最も実用的な選択肢であることを示している。 我々は,新しいモデルを設計し,評価する際のこれらの要因を検討するために,トークンフリーな手法の今後の取り組みを奨励する。
  論文  参考訳（メタデータ） (2022-10-13T15:47:09Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Super-Prompting: Utilizing Model-Independent Contextual Data to Reduce Data Annotation Required in Visual Commonsense Tasks [3.42658286826597]
  我々は,言語モデルとマルチモーダル因果変換器モデルの両方における結果を改善するために,異なるプロンプトベースの微調整手法を解析する。 以上の結果から,モデルに依存しないインシデントベースの微調整により,微調整データセットの35%～40%のみを用いて,同等の精度で達成できることが示唆された。
  論文  参考訳（メタデータ） (2022-04-25T18:56:55Z)
• Efficient Nearest Neighbor Language Models [114.40866461741795]
  非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。 比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
  論文  参考訳（メタデータ） (2021-09-09T12:32:28Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• Learning Universal Representations from Word to Sentence [89.82415322763475]
  この研究は普遍的な表現学習、すなわち一様ベクトル空間における言語単位の異なるレベルへの埋め込みを導入し、探求する。 本稿では, 単語, 句, 文の観点から, 類似したデータセットを構築するためのアプローチを提案する。 適切なトレーニング設定を組み込んだよく訓練されたトランスフォーマーモデルが、効果的に普遍的な表現が得られることを実証的に検証する。
  論文  参考訳（メタデータ） (2020-09-10T03:53:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。