論文の概要: Importance Sampling via Score-based Generative Models

• arxiv url: http://arxiv.org/abs/2502.04646v1
• Date: Fri, 07 Feb 2025 04:09:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:57:56.863109
• Title: Importance Sampling via Score-based Generative Models
• Title（参考訳）: スコアベース生成モデルによる重要サンプリング
• Authors: Heasung Kim, Taekyun Lee, Hyeji Kim, Gustavo de Veciana,
• Abstract要約: 重要度サンプリングは、重要度関数と基本PDFの積に比例した確率密度関数からのサンプリングを伴う。 本稿では,SGMを基本PDFにのみ依存する,完全にトレーニング不要なImportanceサンプリングフレームワークを提案する。 多様なデータセットやタスクにまたがって、メソッドのスケーラビリティと有効性を示す徹底的な分析を行う。
• 参考スコア（独自算出の注目度）: 12.32722207200796
• License:
• Abstract: Importance sampling, which involves sampling from a probability density function (PDF) proportional to the product of an importance weight function and a base PDF, is a powerful technique with applications in variance reduction, biased or customized sampling, data augmentation, and beyond. Inspired by the growing availability of score-based generative models (SGMs), we propose an entirely training-free Importance sampling framework that relies solely on an SGM for the base PDF. Our key innovation is realizing the importance sampling process as a backward diffusion process, expressed in terms of the score function of the base PDF and the specified importance weight function--both readily available--eliminating the need for any additional training. We conduct a thorough analysis demonstrating the method's scalability and effectiveness across diverse datasets and tasks, including importance sampling for industrial and natural images with neural importance weight functions. The training-free aspect of our method is particularly compelling in real-world scenarios where a single base distribution underlies multiple biased sampling tasks, each requiring a different importance weight function. To the best of our knowledge our approach is the first importance sampling framework to achieve this.
• Abstract（参考訳）: 重要重み関数と基本PDFの積に比例した確率密度関数(PDF)からのサンプリングを伴う重要サンプリングは、分散低減、偏りやカスタマイズされたサンプリング、データ拡張などの応用において強力な技術である。 スコアベース生成モデル(SGM)の普及に触発された本研究では,SGMをベースPDFにのみ依存する,完全にトレーニング不要なImportanceサンプリングフレームワークを提案する。 我々の重要な革新は、基準PDFのスコア関数と指定された重み関数で表される後方拡散過程として重要サンプリングプロセスを実現することである。 我々は,ニューラルネットワークの重み関数を持つ産業画像や自然画像の重要サンプリングを含む,多様なデータセットやタスクにまたがる手法のスケーラビリティと有効性を示す,徹底的な分析を行う。 また,本手法の学習自由面は,重み関数の異なる複数のバイアス付きサンプリングタスクを単一ベース分布で行う実世界のシナリオにおいて,特に有益である。 私たちの知る限りでは、私たちのアプローチは、これを実現するための最初の重要なサンプリングフレームワークです。

関連論文リスト

• Meta-Statistical Learning: Supervised Learning of Statistical Inference [59.463430294611626]
  この研究は、大きな言語モデル(LLM)の成功を駆動するツールと原則が、分散レベルのタスクに取り組むために再利用可能であることを実証している。 本稿では,統計的推論タスクを教師付き学習問題として再構成するマルチインスタンス学習に触発されたメタ統計学習を提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:04:39Z)
• Dynamic Loss-Based Sample Reweighting for Improved Large Language Model Pretraining [55.262510814326035]
  既存のリウェイト戦略は主にグループレベルのデータの重要性に焦点を当てている。 動的・インスタンスレベルのデータ再重み付けのための新しいアルゴリズムを提案する。 当社のフレームワークでは,冗長データや非形式データを優先的に再重み付けする戦略を考案することが可能です。
  論文  参考訳（メタデータ） (2025-02-10T17:57:15Z)
• Feasible Learning [78.6167929413604]
  本稿では,サンプル中心の学習パラダイムであるFeasible Learning(FL)を紹介する。 大規模言語モデルにおける画像分類, 年齢回帰, 好みの最適化といった経験的分析により, FLを用いて訓練したモデルでは, 平均的性能に限界があるものの, ERMと比較して改善された尾の挙動を示しながらデータから学習できることが実証された。
  論文  参考訳（メタデータ） (2025-01-24T20:39:38Z)
• Propensity-driven Uncertainty Learning for Sample Exploration in Source-Free Active Domain Adaptation [19.620523416385346]
  ソースフリーアクティブドメイン適応(SFADA)は、ソースデータにアクセスせずに、トレーニング済みのモデルを新しいドメインに適応するという課題に対処する。 このシナリオは、データプライバシ、ストレージ制限、ラベル付けコストが重要な懸念事項である現実世界のアプリケーションに特に関係している。 Propensity-driven Uncertainty Learning (ProULearn) フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-23T10:05:25Z)
• A Short Survey on Importance Weighting for Machine Learning [3.27651593877935]
  分布シフトと呼ばれる、トレーニングとテストの分布の違いを仮定した教師あり学習は、その密度比による重み付けによって統計的に望ましい特性を保証できることが知られている。 この調査は、機械学習と関連する研究における重み付けの幅広い応用について要約する。
  論文  参考訳（メタデータ） (2024-03-15T10:31:46Z)
• Self-Influence Guided Data Reweighting for Language Model Pre-training [46.57714637505164]
  言語モデル (LM) は、様々なNLPタスクのためのモデルを開発するためのデフォルトの出発点となっている。 コーパス内のすべてのデータサンプルは、LM事前トレーニング中に同等に重要視される。 データの関連性や品質のレベルが異なるため、すべてのデータサンプルと同等の重要性が最適な選択ではないかもしれない。 本稿では,サンプルの重要度と事前学習の指標として自己影響(SI)スコアを活用することで,サンプルを共同で重み付けするPreSenceを提案する。
  論文  参考訳（メタデータ） (2023-11-02T01:00:46Z)
• SUPERB-SG: Enhanced Speech processing Universal PERformance Benchmark for Semantic and Generative Capabilities [76.97949110580703]
  各種音声タスクの事前学習モデルを評価するための新しいベンチマークであるSUPERB-SGを紹介する。 データドメインのシフトの下で、事前訓練されたモデルによって学習された表現の堅牢性をテストするために、軽量な方法論を使用します。 また,SUPERB-SGのタスク多様性とタスク監督の限定が,モデル表現の一般化性を評価する効果的な方法であることを示す。
  論文  参考訳（メタデータ） (2022-03-14T04:26:40Z)
• MUC-driven Feature Importance Measurement and Adversarial Analysis for Random Forest [1.5896078006029473]
  我々は形式的手法と論理的推論を活用して、ランダムフォレスト(RF)の予測を説明する新しいモデル固有の方法を開発した。 提案手法は, 最小不飽和コア(MUC)を中心に, 特徴重要度, 局所的・グローバル的側面, および対向的サンプル分析に関する包括的ソリューションを提供する。 提案手法はユーザ中心のレポートを作成でき,リアルタイムアプリケーションにレコメンデーションを提供するのに役立つ。
  論文  参考訳（メタデータ） (2022-02-25T06:15:47Z)
• Active Multi-Task Representation Learning [50.13453053304159]
  本研究は,アクティブラーニングの手法を活用することで,資源タスクのサンプリングに関する最初の公式な研究を行う。 提案手法は, 対象タスクに対する各ソースタスクの関連性を反復的に推定し, その関連性に基づいて各ソースタスクからサンプルを抽出するアルゴリズムである。
  論文  参考訳（メタデータ） (2022-02-02T08:23:24Z)
• Optimal Importance Sampling for Federated Learning [57.14673504239551]
  フェデレートラーニングには、集中型と分散化された処理タスクが混在する。 エージェントとデータのサンプリングは概して一様であるが、本研究では一様でないサンプリングについて考察する。 エージェント選択とデータ選択の両方に最適な重要サンプリング戦略を導出し、置換のない一様サンプリングが元のFedAvgアルゴリズムの性能を向上させることを示す。
  論文  参考訳（メタデータ） (2020-10-26T14:15:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。