論文の概要: Embedding-based statistical inference on generative models

• arxiv url: http://arxiv.org/abs/2410.01106v1
• Date: Tue, 1 Oct 2024 22:28:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 23:10:15.061929
• Title: Embedding-based statistical inference on generative models
• Title（参考訳）: 埋め込みに基づく生成モデルに基づく統計的推測
• Authors: Hayden Helm, Aranyak Acharyya, Brandon Duderstadt, Youngser Park, Carey E. Priebe,
• Abstract要約: 生成モデルの埋め込みに基づく表現に関する結果を、古典的な統計的推論設定に拡張する。 類似」の概念の基盤として視点空間を用いることは、複数のモデルレベルの推論タスクに有効であることを示す。
• 参考スコア（独自算出の注目度）: 10.948308354932639
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The recent cohort of publicly available generative models can produce human expert level content across a variety of topics and domains. Given a model in this cohort as a base model, methods such as parameter efficient fine-tuning, in-context learning, and constrained decoding have further increased generative capabilities and improved both computational and data efficiency. Entire collections of derivative models have emerged as a byproduct of these methods and each of these models has a set of associated covariates such as a score on a benchmark, an indicator for if the model has (or had) access to sensitive information, etc. that may or may not be available to the user. For some model-level covariates, it is possible to use "similar" models to predict an unknown covariate. In this paper we extend recent results related to embedding-based representations of generative models -- the data kernel perspective space -- to classical statistical inference settings. We demonstrate that using the perspective space as the basis of a notion of "similar" is effective for multiple model-level inference tasks.
• Abstract（参考訳）: 最近公開された生成モデルのコホートは、さまざまなトピックやドメインにまたがって、人間の専門家レベルのコンテンツを生成することができる。 このコホートにベースモデルとしてモデルが与えられた場合、パラメータ効率のよい微調整、文脈内学習、制約付き復号化といった手法により、生成能力がさらに向上し、計算効率とデータ効率が向上した。 デリバティブモデルのコレクションがこれらの手法の副産物として現れており、これらのモデルはそれぞれ、ベンチマーク上のスコアや、ユーザが利用できないかもしれない、あるいは利用できないかもしれない機密情報にアクセスしている(または持っていた)かどうかの指標など、関連する共変数のセットを持っている。 いくつかのモデルレベルの共変数に対しては、未知の共変数を予測するために「類似」モデルを使用することができる。 本稿では,データカーネルの視点空間である生成モデルの埋め込みに基づく表現に関する最近の結果を,古典的な統計的推論設定に拡張する。 類似」の概念の基盤として視点空間を用いることは、複数のモデルレベルの推論タスクに有効であることを示す。

関連論文リスト

• Supervised Score-Based Modeling by Gradient Boosting [49.556736252628745]
  本稿では,スコアマッチングを組み合わせた勾配向上アルゴリズムとして,SSM(Supervised Score-based Model)を提案する。 推測時間と予測精度のバランスをとるため,SSMの学習とサンプリングに関する理論的解析を行った。 我々のモデルは、精度と推測時間の両方で既存のモデルより優れています。
  論文  参考訳（メタデータ） (2024-11-02T07:06:53Z)
• Exploring Model Kinship for Merging Large Language Models [52.01652098827454]
  本稿では,大規模言語モデル間の類似性や関連性の程度であるモデル親和性を紹介する。 モデル統合後の性能向上とモデル親和性の間には,一定の関係があることが判明した。 我々は新しいモデルマージ戦略を提案する。Top-k Greedy Merging with Model Kinship。
  論文  参考訳（メタデータ） (2024-10-16T14:29:29Z)
• Likelihood Based Inference in Fully and Partially Observed Exponential Family Graphical Models with Intractable Normalizing Constants [4.532043501030714]
  マルコフ確率場を符号化する確率的グラフィカルモデルは、生成的モデリングの基本的な構成要素である。 本稿では,これらのモデルの全確率に基づく解析が,計算効率のよい方法で実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-04-27T02:58:22Z)
• Comparing Foundation Models using Data Kernels [13.099029073152257]
  基礎モデルの埋め込み空間幾何学を直接比較するための方法論を提案する。 提案手法はランダムグラフ理論に基づいており, 埋め込み類似性の有効な仮説検証を可能にする。 本稿では, 距離関数を付加したモデルの多様体が, 下流の指標と強く相関することを示す。
  論文  参考訳（メタデータ） (2023-05-09T02:01:07Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Conditional Generative Models for Counterfactual Explanations [0.0]
  本稿では,分散的非分布的モデル記述を生成する汎用フレームワークを提案する。 このフレームワークは、使用される生成モデルの種類や基礎となる予測モデルのタスクに関して柔軟である。
  論文  参考訳（メタデータ） (2021-01-25T14:31:13Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• Evaluating the Disentanglement of Deep Generative Models through Manifold Topology [66.06153115971732]
  本稿では,生成モデルのみを用いた乱れの定量化手法を提案する。 複数のデータセットにまたがるいくつかの最先端モデルを実証的に評価する。
  論文  参考訳（メタデータ） (2020-06-05T20:54:11Z)
• Amortized Bayesian model comparison with evidential deep learning [0.12314765641075436]
  本稿では,専門的なディープラーニングアーキテクチャを用いたベイズモデルの比較手法を提案する。 提案手法は純粋にシミュレーションベースであり,観測された各データセットに対して,すべての代替モデルを明示的に適合させるステップを回避している。 提案手法は,本研究で検討した事例に対して,精度,キャリブレーション,効率の点で優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-04-22T15:15:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。