論文の概要: Comparing Foundation Models using Data Kernels

• arxiv url: http://arxiv.org/abs/2305.05126v3
• Date: Sun, 7 Jan 2024 15:28:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-10 00:01:48.875618
• Title: Comparing Foundation Models using Data Kernels
• Title（参考訳）: データカーネルを用いた基礎モデルの比較
• Authors: Brandon Duderstadt and Hayden S. Helm and Carey E. Priebe
• Abstract要約: 基礎モデルの埋め込み空間幾何学を直接比較するための方法論を提案する。 提案手法はランダムグラフ理論に基づいており, 埋め込み類似性の有効な仮説検証を可能にする。 本稿では, 距離関数を付加したモデルの多様体が, 下流の指標と強く相関することを示す。
• 参考スコア（独自算出の注目度）: 13.099029073152257
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in self-supervised learning and neural network scaling have enabled the creation of large models, known as foundation models, which can be easily adapted to a wide range of downstream tasks. The current paradigm for comparing foundation models involves evaluating them with aggregate metrics on various benchmark datasets. This method of model comparison is heavily dependent on the chosen evaluation metric, which makes it unsuitable for situations where the ideal metric is either not obvious or unavailable. In this work, we present a methodology for directly comparing the embedding space geometry of foundation models, which facilitates model comparison without the need for an explicit evaluation metric. Our methodology is grounded in random graph theory and enables valid hypothesis testing of embedding similarity on a per-datum basis. Further, we demonstrate how our methodology can be extended to facilitate population level model comparison. In particular, we show how our framework can induce a manifold of models equipped with a distance function that correlates strongly with several downstream metrics. We remark on the utility of this population level model comparison as a first step towards a taxonomic science of foundation models.
• Abstract（参考訳）: 自己教師付き学習とニューラルネットワークのスケーリングの最近の進歩により、基盤モデルとして知られる大規模モデルの作成が可能になった。 基礎モデルを比較する現在のパラダイムは、さまざまなベンチマークデータセットの集約メトリクスでそれらを評価することです。 このモデルの比較方法は、選択された評価メトリックに大きく依存しており、理想的なメトリックが明確でないか、利用できない状況には不適当である。 本研究では,基礎モデルの埋め込み空間形状を直接比較する手法を提案する。 本手法はランダムグラフ理論に基礎を置き,1日当たりの埋め込み類似性の有効な仮説検証を可能にする。 さらに、人口レベルのモデル比較を容易にするために、我々の方法論を拡張できることを実証する。 特に,いくつかの下流メトリックと強く相関する距離関数を備えたモデルの多様体を,フレームワークがいかに誘導できるかを示す。 基礎モデルの分類学への第一歩として,この集団レベルのモデル比較の有用性について述べる。

関連論文リスト

• Exploring Model Kinship for Merging Large Language Models [52.01652098827454]
  本稿では,大規模言語モデル間の類似性や関連性の程度であるモデル親和性を紹介する。 モデル統合後の性能向上とモデル親和性の間には,一定の関係があることが判明した。 我々は新しいモデルマージ戦略を提案する。Top-k Greedy Merging with Model Kinship。
  論文  参考訳（メタデータ） (2024-10-16T14:29:29Z)
• Embedding-based statistical inference on generative models [10.948308354932639]
  生成モデルの埋め込みに基づく表現に関する結果を、古典的な統計的推論設定に拡張する。 類似」の概念の基盤として視点空間を用いることは、複数のモデルレベルの推論タスクに有効であることを示す。
  論文  参考訳（メタデータ） (2024-10-01T22:28:39Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Investigating Ensemble Methods for Model Robustness Improvement of Text Classifiers [66.36045164286854]
  既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。 適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
  論文  参考訳（メタデータ） (2022-10-28T17:52:10Z)
• Model Comparison in Approximate Bayesian Computation [0.456877715768796]
  自然科学における一般的な問題は、観測されたデータに照らして競合するモデルの比較である。 この枠組みは、実際に使用されるほとんどのモデルにとって難解な確率関数の計算に依存している。 ABCにおけるベイズモデルの比較を行うための新しい効率的な手法を提案する。
  論文  参考訳（メタデータ） (2022-03-15T10:24:16Z)
• A moment-matching metric for latent variable generative models [0.0]
  グッドハートの法則の範囲では、計量が対象となるとき、それは良い計量になるのをやめる。 モーメントに依存するモデル比較や正規化のための新しい指標を提案する。 潜時変動モデルを評価する際に, 適応分布からサンプルを抽出することが一般的である。
  論文  参考訳（メタデータ） (2021-10-04T17:51:08Z)
• Distributional Depth-Based Estimation of Object Articulation Models [21.046351215949525]
  本研究では,奥行き画像から直接,調音モデルパラメータの分布を効率よく学習する手法を提案する。 私たちのコアコントリビューションには、剛体変換に対する分布の新しい表現が含まれています。 本稿では,カテゴリに依存しない調音モデル推定を行う新しい深層学習手法DUST-netを提案する。
  論文  参考訳（メタデータ） (2021-08-12T17:44:51Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• Evaluating the Disentanglement of Deep Generative Models through Manifold Topology [66.06153115971732]
  本稿では,生成モデルのみを用いた乱れの定量化手法を提案する。 複数のデータセットにまたがるいくつかの最先端モデルを実証的に評価する。
  論文  参考訳（メタデータ） (2020-06-05T20:54:11Z)
• Amortized Bayesian model comparison with evidential deep learning [0.12314765641075436]
  本稿では,専門的なディープラーニングアーキテクチャを用いたベイズモデルの比較手法を提案する。 提案手法は純粋にシミュレーションベースであり,観測された各データセットに対して,すべての代替モデルを明示的に適合させるステップを回避している。 提案手法は,本研究で検討した事例に対して,精度,キャリブレーション,効率の点で優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-04-22T15:15:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。