論文の概要: Beyond Mode Collapse: Generating Diverse Synthetic Expert Conversations via Generative Flow Networks

• arxiv url: http://arxiv.org/abs/2609.38359v1
• Date: Tue, 29 Sep 2026 18:21:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.57239
• Title: Beyond Mode Collapse: Generating Diverse Synthetic Expert Conversations via Generative Flow Networks
• Title（参考訳）: モード崩壊を超えて:ジェネレーティブフローネットワークによる異種エキスパート会話の生成
• Abstract要約: 生成フローネットワーク(GFlowNets)を用いた多種多様な高品質な合成データを生成する手法を提案する。 我々のGFlowベースの合成データ生成アプローチは、2つの構造的に異なるドメイン、家庭教師と感情サポートの対話において、忠実度、モードカバレッジ、信頼性のバランスをより良くします。
• 参考スコア（独自算出の注目度）: 1.261707802034462
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: High quality synthetic data is central to post training LLMs for adaptive AI applications that represent the diverse expert strategies and decisions in conversations. Prompting LLMs directly or conditioning them on end use scenarios yields low diversity data that collapses onto dominant modes. We propose a method to generate diverse high quality synthetic data using Generative Flow Networks (GFlowNets). We show that training GFlowNets to generate latent conversation structure using a Gaussian mixture density over key interaction features (e.g., confusion episode dynamics, scaffolding directive balance) enables sampling expert strategies in proportion to their prevalence in the training data. Across two structurally distinct domains, tutoring and emotional support dialogues, our GFlow based synthetic data generation approach offers a better balance of fidelity, mode coverage and authenticity than reinforcement-learning and end to end LLM baselines, without copying training data. Evaluated on three downstream outcome prediction tasks, classifiers trained on synthetic GFlowNet generated conversations provide a stronger training signal than competitive synthesis baselines.
• Abstract（参考訳）: 高品質な合成データは、さまざまな専門家戦略と会話の決定を表す適応型AIアプリケーションのためのポストトレーニングLLMの中心である。 LLMを直接実行したり、エンドユースシナリオで条件付けしたりすると、多様性の低いデータが支配的なモードに崩壊する。 生成フローネットワーク(GFlowNets)を用いて,多様な高品質な合成データを生成する手法を提案する。 本稿では,GFlowNetsをトレーニングし,キーインタラクション機能(例えば,混乱エピソードダイナミクス,足場指向バランス)上のガウス混合密度を用いて潜在会話構造を生成することにより,トレーニングデータの頻度に比例した専門家戦略のサンプリングが可能になることを示す。 教師と感情支援の対話という2つの構造的に異なる領域において、GFlowベースの合成データ生成アプローチは、トレーニングデータをコピーすることなく、強化学習やエンドツーエンドのLCMベースラインよりも忠実さ、モードカバレッジ、信頼性のバランスが良くなります。 3つの下流結果予測タスクに基づいて、合成GFlowNetの生成した会話に基づいて訓練された分類器は、競合する合成ベースラインよりも強力な訓練信号を提供する。

関連論文リスト

• SyGra: A Unified Graph-Based Framework for Scalable Generation, Quality Tagging, and Management of Synthetic Data [0.0]
  大規模言語モデル(LLM)のための総合的な合成データ生成フレームワークを提案する。 本手法では,手作業による介入を最小限に抑えた複雑な対話フローをモデル化可能なモジュール型および構成型パイプラインを用いる。 得られたデータセットは、SFTとDPOの両方のユースケースをサポートするフレキシブルなスキーマの下で構成され、多様なトレーニングへのシームレスな統合を可能にする。
  論文  参考訳（メタデータ） (2025-08-21T10:35:41Z)
• Generating Realistic Tabular Data with Large Language Models [49.03536886067729]
  大規模言語モデル(LLM)は多様なタスクに使われてきたが、特徴と対象変数の正確な相関は捉えていない。 そこで本研究では,LLMに基づく3つの重要な改良を加えて,実データの特徴クラス相関を正しく把握する手法を提案する。 実験の結果,本手法は下流タスクにおいて,20個のデータセット上で10個のSOTAベースラインを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-10-29T04:14:32Z)
• ToolFlow: Boosting LLM Tool-Calling Through Natural and Coherent Dialogue Synthesis [80.34000499166648]
  より関連性の高いツールの組み合わせをサンプリングするためのグラフベースのサンプリング戦略と、コヒーレントな対話の合成を導く計画を作成するための計画生成戦略を提案する。 ツールフローで生成した8000の合成対話を用いてLLaMA-3.1-8BにSFTを適用した。 その結果,GPT-4に匹敵するツールコール性能が得られた。
  論文  参考訳（メタデータ） (2024-10-24T05:45:04Z)
• FLIGAN: Enhancing Federated Learning with Incomplete Data using GAN [1.5749416770494706]
  Federated Learning (FL)は、ネットワークデバイス上での機械学習モデルの分散トレーニングのためのプライバシ保護メカニズムを提供する。 本稿では,FLにおけるデータ不完全性問題に対処する新しいアプローチであるFLIGANを提案する。 本手法はFLのプライバシ要件に則り,プロセス内の実際のデータを共有せずに合成データをフェデレートした方法で生成する。
  論文  参考訳（メタデータ） (2024-03-25T16:49:38Z)
• Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization [165.98557106089777]
  大きな言語モデル(LLM)の能力を高めることが大きな課題だ。 本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。 次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
  論文  参考訳（メタデータ） (2024-02-22T04:10:57Z)
• CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
  本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。 このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。 提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
  論文  参考訳（メタデータ） (2022-03-03T05:58:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。