論文の概要: $f$-Trajectory Balance: A Loss Family for Tuning GFlowNets, Generative Models, and LLMs with Off- and On-Policy Data
- arxiv url: http://arxiv.org/abs/2605.15417v1
- Date: Thu, 14 May 2026 21:02:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-18 21:22:26.10582
- Title: $f$-Trajectory Balance: A Loss Family for Tuning GFlowNets, Generative Models, and LLMs with Off- and On-Policy Data
- Title（参考訳）: $f$-Trajectory Balance: オフ・オン・ポリティクスデータによるGFlowNets、生成モデル、LLMのチューニングのための損失ファミリー
- Abstract要約: GFlowNetsと変分推論では、ターゲットとモデルログの確率の平均二乗誤差は、生成モデルのトレーニングに有効な、低分散、サロゲート損失である。
この損失は、$f$-divergences(英語版)のファミリー全体に拡張可能であることが示され、その結果、政治上の勾配が対応する$f$-divergence(英語版)のファミリーとなるが、同じグローバルな最小化のオフポリティ(英語版)を維持している。
この同値性により、対応する$f$-divergenceの特性を継承する幅広い生成モデルのクラスをチューニングするための新しい代理損失関数を設計できる。
- 参考スコア（独自算出の注目度）: 3.294420397461204
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In GFlowNets and variational inference, it has been shown that the mean square error between target and model log probabilities is an effective, low variance, surrogate loss for training generative models. This loss has the property that when evaluated \emph{on-policy} its gradients correspond to those of the KL divergence, while \emph{off-policy} it remains a valid loss with the same global minimizer. In this work, we demonstrate that this construction can be extended to the whole family of $f$-divergences, leading to a family of losses whose on-policy gradients are that of the corresponding $f$-divergence, but retain the same global minimizer off-policy. Specifically, we show that the on-policy gradients lead to a one to one correspondence between translation invariant loss functions on the target and model log probabilities, and $f$-divergences. This equivalence allows us to design new surrogate loss functions for tuning a wide class of generative models that inherit the properties of the corresponding $f$-divergence, such as being more mode covering, whilst being applicable to off-policy data. We apply our losses on a range of tasks, including classic synthetic examples, SynFlowNets for molecule discovery, and asynchronous large language model (LLM) tuning, demonstrating that our models retain their predicted properties on- and off-policy in a wide class of generative models.
- Abstract（参考訳）: GFlowNetsと変分推論において、ターゲットとモデルログの確率の平均二乗誤差は、生成モデルのトレーニングに有効な、低分散、サロゲート損失であることが示されている。
この損失は、評価された \emph{on-policy} がその勾配が KL の発散と一致するという性質を持つが、 \emph{off-policy} は同じ大域最小化器で有効な損失である。
本研究では、この構造が$f$-divergences(英語版)のファミリー全体に拡張可能であることを実証し、その結果、政治上の勾配が対応する$f$-divergence(英語版)のファミリーとなるが、同じグローバルな最小限のオフポリティ(英語版)を維持している。
具体的には、オンライン勾配は、ターゲット上の翻訳不変損失関数とモデルログ確率との間の1対1の対応、および$f$-divergencesを導出することを示す。
この同値性により、よりモード被覆であるなど、対応する$f$-divergenceの特性を継承する広範囲な生成モデルのチューニングを行うための新しい代理損失関数を設計することができる。
我々は,古典的な合成例,分子探索のためのSynFlowNets,非同期大言語モデル(LLM)チューニングなど,さまざまなタスクに損失を適用し,我々のモデルが予測された特性を多種多様な生成モデルで維持していることを示す。
関連論文リスト
- Defending against Model Extraction for GNNs with Model Reprogramming [57.82196268649236]
グラフニューラルネットワーク(GNN)は、ML(Machine-Learning-as-a-Service)における高スループットアプリケーションのバックボーンとして機能する。
それでも、ブラックボックスのデプロイメントは、モデル抽出(ME)攻撃に晒される。
既存の防衛は「ユークリッドバイアス」に苦しむ
セキュリティのためにモデル再プログラミングを再利用するプロアクティブディフェンスフレームワークであるGraphRPを提案する。
論文 参考訳（メタデータ） (2026-08-11T23:20:15Z) - Inverting the Bellman Equation: From $Q$-Values to World Models [57.827849584133425]
我々は、十分に豊富な報酬関数のセットで訓練された価値に基づくエージェントが、ユニークで正確な世界モデルを暗黙的にエンコードしていることを証明した。
ttReacherエージェントの暗黙の世界モデルにのみ訓練されたポリシーは、位置のみのトレーニングにもかかわらず、分布外、速度に基づく目標に準最適であることがわかった。
論文 参考訳（メタデータ） (2026-06-19T07:26:14Z) - Scalable Offline Model-Based RL with Action Chunks [60.80151356018376]
モデルに基づく強化学習が、オフラインRLにおける複雑で長期のタスクに対処するためのスケーラブルなレシピを提供するかどうかを検討する。
我々はこのレシピを textbfModel-based RL with Action Chunks (MAC) と呼ぶ。
MAC はオフラインモデルベース RL アルゴリズムの中で,特に長期的タスクにおいて,最高の性能を発揮することを示す。
論文 参考訳（メタデータ） (2025-12-08T23:26:29Z) - Multiclass Loss Geometry Matters for Generalization of Gradient Descent in Separable Classification [27.33243506775655]
分離線形分類のための非正規化手法の一般化性能について検討する。
収束速度は損失テンプレートの幾何に大きく影響されていることを示す。
論文 参考訳（メタデータ） (2025-05-28T13:39:14Z) - Rejection via Learning Density Ratios [50.91522897152437]
拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。
そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。
私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
論文 参考訳（メタデータ） (2024-05-29T01:32:17Z) - Addressing GAN Training Instabilities via Tunable Classification Losses [8.151943266391493]
GAN(Generative Adversarial Network)は、形式的な保証付き合成データを生成する。
すべての対称$f$-発散は収束において同値であることを示す。
また,合成2次元ガウス混合環のトレーニング不安定性を緩和するために,$(alpha_D,alpha_G)$のチューニング値も強調する。
論文 参考訳（メタデータ） (2023-10-27T17:29:07Z) - Delta-AI: Local objectives for amortized inference in sparse graphical models [64.5938437823851]
スパース確率的グラフィカルモデル(PGM)における補正推論のための新しいアルゴリズムを提案する。
提案手法は, PGMにおける変数のサンプリングをエージェントが行う一連の行動とみなす場合, エージェントのポリシー学習目的において, PGMの疎結合が局所的な信用割当を可能にするという観察に基づいている。
合成PGMからサンプリングし、スパース因子構造を持つ潜在変数モデルを訓練するための$Delta$-AIの有効性について説明する。
論文 参考訳（メタデータ） (2023-10-03T20:37:03Z) - Smoothly Giving up: Robustness for Simple Models [30.56684535186692]
このようなモデルをトレーニングするアルゴリズムの例としては、ロジスティック回帰とブースティングがある。
我々は、標準凸損失関数間のチューニングを行う、$Served-Servedジョイント凸損失関数を用いて、そのようなモデルを堅牢に訓練する。
また、ロジスティック回帰のためのCOVID-19データセットを強化し、複数の関連ドメインにまたがる効果のアプローチを強調します。
論文 参考訳（メタデータ） (2023-02-17T19:48:11Z) - Shaping Deep Feature Space towards Gaussian Mixture for Visual
Classification [74.48695037007306]
視覚分類のためのディープニューラルネットワークのためのガウス混合損失関数(GM)を提案する。
分類マージンと可能性正規化により、GM損失は高い分類性能と特徴分布の正確なモデリングの両方を促進する。
提案したモデルは、追加のトレーニング可能なパラメータを使わずに、簡単かつ効率的に実装できる。
論文 参考訳（メタデータ） (2020-11-18T03:32:27Z) - A Generalised Linear Model Framework for $\beta$-Variational
Autoencoders based on Exponential Dispersion Families [0.0]
我々は$beta$-VAEと一般化線形モデル(GLM)の接続に基づく理論的枠組みを導入する。
我々は、観測モデル分布が指数分散族(EDF)に属するという仮定に基づいて、$beta$-VAEの損失解析を体系的に一般化する。
論文 参考訳（メタデータ） (2020-06-11T09:17:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。