論文の概要: Embedding-based statistical inference on generative models
- arxiv url: http://arxiv.org/abs/2410.01106v1
- Date: Tue, 1 Oct 2024 22:28:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-04 23:10:15.061929
- Title: Embedding-based statistical inference on generative models
- Title（参考訳）: 埋め込みに基づく生成モデルに基づく統計的推測
- Authors: Hayden Helm, Aranyak Acharyya, Brandon Duderstadt, Youngser Park, Carey E. Priebe,
- Abstract要約: 生成モデルの埋め込みに基づく表現に関する結果を、古典的な統計的推論設定に拡張する。
類似」の概念の基盤として視点空間を用いることは、複数のモデルレベルの推論タスクに有効であることを示す。
- 参考スコア（独自算出の注目度）: 10.948308354932639
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The recent cohort of publicly available generative models can produce human expert level content across a variety of topics and domains. Given a model in this cohort as a base model, methods such as parameter efficient fine-tuning, in-context learning, and constrained decoding have further increased generative capabilities and improved both computational and data efficiency. Entire collections of derivative models have emerged as a byproduct of these methods and each of these models has a set of associated covariates such as a score on a benchmark, an indicator for if the model has (or had) access to sensitive information, etc. that may or may not be available to the user. For some model-level covariates, it is possible to use "similar" models to predict an unknown covariate. In this paper we extend recent results related to embedding-based representations of generative models -- the data kernel perspective space -- to classical statistical inference settings. We demonstrate that using the perspective space as the basis of a notion of "similar" is effective for multiple model-level inference tasks.
- Abstract（参考訳）: 最近公開された生成モデルのコホートは、さまざまなトピックやドメインにまたがって、人間の専門家レベルのコンテンツを生成することができる。
このコホートにベースモデルとしてモデルが与えられた場合、パラメータ効率のよい微調整、文脈内学習、制約付き復号化といった手法により、生成能力がさらに向上し、計算効率とデータ効率が向上した。
デリバティブモデルのコレクションがこれらの手法の副産物として現れており、これらのモデルはそれぞれ、ベンチマーク上のスコアや、ユーザが利用できないかもしれない、あるいは利用できないかもしれない機密情報にアクセスしている(または持っていた)かどうかの指標など、関連する共変数のセットを持っている。
いくつかのモデルレベルの共変数に対しては、未知の共変数を予測するために「類似」モデルを使用することができる。
本稿では,データカーネルの視点空間である生成モデルの埋め込みに基づく表現に関する最近の結果を,古典的な統計的推論設定に拡張する。
類似」の概念の基盤として視点空間を用いることは、複数のモデルレベルの推論タスクに有効であることを示す。
関連論文リスト
- Consistent estimation of generative model representations in the data kernel perspective space [11.990746437073694]
大規模言語モデルやテキストから画像への拡散モデルのような生成モデルは、クエリを提示すると関連する情報を生成する。
同じクエリを表示すると、異なるモデルが異なる情報を生成する可能性がある。
本稿では,一組のクエリのコンテキストにおける生成モデルの埋め込みに基づく表現に関する新しい理論的結果を示す。
論文 参考訳（メタデータ） (2024-09-25T19:35:58Z) - Learning-based Models for Vulnerability Detection: An Extensive Study [3.1317409221921144]
我々は、最先端の学習ベースアプローチの2つのタイプを広範かつ包括的に調査する。
本稿では,シーケンスベースモデルの優先度と,グラフベースモデルの限定能力について実験的に検証する。
論文 参考訳（メタデータ） (2024-08-14T13:01:30Z) - Reinforcing Pre-trained Models Using Counterfactual Images [54.26310919385808]
本稿では,言語誘導型生成対実画像を用いた分類モデル強化のための新しいフレームワークを提案する。
逆ファクト画像データセットを用いてモデルをテストすることにより、モデルの弱点を同定する。
我々は、分類モデルを微調整し強化するために、デファクトイメージを拡張データセットとして採用する。
論文 参考訳（メタデータ） (2024-06-19T08:07:14Z) - Knowledge Fusion By Evolving Weights of Language Models [5.354527640064584]
本稿では,複数のモデルを統一モデルに統合するアプローチについて検討する。
本稿では進化的アルゴリズムに触発されたEvolverという知識融合手法を提案する。
論文 参考訳（メタデータ） (2024-06-18T02:12:34Z) - Has Your Pretrained Model Improved? A Multi-head Posterior Based
Approach [25.927323251675386]
我々は、世界的知識の源として各エンティティに関連するメタ機能を活用し、モデルからエンティティ表現を採用する。
本稿では,これらの表現とメタ機能との整合性を,事前学習モデルの評価指標として用いることを提案する。
提案手法の有効性は,関係データセットを用いたモデル,大規模言語モデル,画像モデルなど,様々な領域で実証されている。
論文 参考訳（メタデータ） (2024-01-02T17:08:26Z) - Representer Point Selection for Explaining Regularized High-dimensional
Models [105.75758452952357]
本稿では,高次元表現器と呼ぶサンプルベース説明のクラスを紹介する。
私たちのワークホースは、一般化された高次元モデルに対する新しい代表者定理である。
提案手法の実証的性能について,実世界の2進分類データセットと2つの推薦システムデータセットを用いて検討した。
論文 参考訳（メタデータ） (2023-05-31T16:23:58Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳（メタデータ） (2022-12-19T20:46:43Z) - An Ample Approach to Data and Modeling [1.0152838128195467]
さまざまな分野の概念とメソッドを統合するモデルの構築方法をモデル化するためのフレームワークについて説明する。
参照M*メタモデルフレームワークは、厳密な同値関係の観点からデータセットと各モデルの関連付けに批判的に依存する。
開発されたフレームワークがデータクラスタリング、複雑性、共同研究、ディープラーニング、クリエイティビティに関する洞察を提供する方法について、いくつかの考察がなされている。
論文 参考訳（メタデータ） (2021-10-05T01:26:09Z) - Model-agnostic multi-objective approach for the evolutionary discovery
of mathematical models [55.41644538483948]
現代のデータ科学では、どの部分がより良い結果を得るために置き換えられるかというモデルの性質を理解することがより興味深い。
合成データ駆動型モデル学習において,多目的進化最適化を用いてアルゴリズムの所望特性を求める。
論文 参考訳（メタデータ） (2021-07-07T11:17:09Z) - Design of Dynamic Experiments for Black-Box Model Discrimination [72.2414939419588]
選択したいような動的モデル判別の設定を考えてみましょう。 (i) 最高のメカニスティックな時間変化モデルと (ii) 最高のモデルパラメータ推定値です。
勾配情報にアクセス可能な競合する力学モデルに対しては、既存の手法を拡張し、より広い範囲の問題の不確実性を組み込む。
これらのブラックボックスモデルをガウス過程サロゲートモデルに置き換えることで、モデル識別設定を拡張して、競合するブラックボックスモデルをさらに取り入れる。
論文 参考訳（メタデータ） (2021-02-07T11:34:39Z) - Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。
本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。
次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文 参考訳（メタデータ） (2020-10-25T18:51:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。