論文の概要: Dynamic Context Evolution for Scalable Synthetic Data Generation
- arxiv url: http://arxiv.org/abs/2604.07147v1
- Date: Wed, 08 Apr 2026 14:38:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-09 17:30:51.586464
- Title: Dynamic Context Evolution for Scalable Synthetic Data Generation
- Title（参考訳）: スケーラブルな合成データ生成のための動的文脈進化
- Authors: Ryan Lingo, Rajeev Chhajer,
- Abstract要約: 大規模言語モデルは、多くのバッチで独立して繰り返し出力を生成する。
3つのメカニズムからなる動的コンテキスト進化(DCE)を紹介する。
DCEは、メモリ状態と回転多様性戦略を使用して、各バッチの生成プロンプトを再構築する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models produce repetitive output when prompted independently across many batches, a phenomenon we term cross-batch mode collapse: the progressive loss of output diversity when a language model is prompted repeatedly without access to its prior generations. Practitioners have long mitigated this with ad hoc deduplication and seed rotation, but no principled framework exists. We introduce Dynamic Context Evolution (DCE), comprising three mechanisms: (1) verbalized tail sampling (the model labels each idea with a guess about how obvious it is, and obvious ideas are discarded), which filters high-probability candidates via model self-assessment; (2) semantic memory, which maintains a persistent embedding index to reject near-duplicates across batches; and (3) adaptive prompt evolution, which reconstructs the generation prompt each batch using memory state and rotating diversity strategies. In experiments across three domains (sustainable packaging concepts, educational exam questions, and creative writing prompts) and two model families (gpt-5-mini and claude-haiku-4-5), a component ablation across 2-3 random seeds per method shows that DCE achieves 0.0 +/- 0.0% collapse versus 5.6 +/- 2.0% for naive prompting, while producing 17-18 HDBSCAN clusters per seed versus naive's volatile 2-17, indicating reliably richer conceptual structure. These results are validated with an independent embedding model (all-MiniLM-L6-v2) and hold across sensitivity sweeps of the VTS threshold tau and dedup threshold delta. Deduplication and prompt evolution are individually insufficient but jointly effective, at approximately $0.50 per 1,000 candidates using only standard API calls, with no fine-tuning or custom architectures required.
- Abstract（参考訳）: 大規模言語モデルは、多くのバッチで独立して繰り返し出力を生成するが、これはクロスバッチモード崩壊と呼ばれる現象である。
実践者は長い間これをアドホックな重複と種子の回転で緩和してきたが、原則的な枠組みは存在しない。
本稿では,(1)高確率な候補をモデル自己評価によってフィルタリングする,(モデルラベルで各アイデアを推測して各アイデアをラベル付けする)動的コンテキスト進化(DCE),(2)バッチ間の近接重複を拒否する永続的な埋め込みインデックスを維持するセマンティックメモリ,(3)各バッチの生成をメモリ状態と回転多様性戦略を用いて再構築する適応的プロンプト進化(adaptive prompt evolution)という3つのメカニズムを紹介する。
3つのドメイン(持続的包装概念, 教育試験問題, クリエイティブライティングプロンプト)と2つのモデルファミリー(gpt-5-mini, claude-haiku-4-5)にわたる実験では, DCEが0+/-0.0%崩壊, 5.6+/-2.0%崩壊し, 1シード当たり17-18HDBSCANクラスターを生成し, よりリッチな概念構造を示す。
これらの結果は独立した埋め込みモデル (All-MiniLM-L6-v2) で検証され, VTS閾値タウおよびデダップしきい値デルタの感度スイープにわたって保持される。
重複と迅速な進化は個々に不十分だが、1,000の候補に対して標準APIコールのみを使用して約0.50ドルで、微調整やカスタムアーキテクチャは不要である。
関連論文リスト
- PLUME: Latent Reasoning Based Universal Multimodal Embedding [52.35354073629127]
ユニバーサルマルチモーダル埋め込み(UME)は、異種入力を単一のモデルで共有検索空間にマッピングする。
最近のアプローチでは、埋め込みを抽出する前に明確なチェーン・オブ・シント(CoT)論理を生成することにより、UMEを改善している。
PLUMEは,言語化されたCoTを連続的潜伏状態の短時間の自己回帰ロールアウトに置き換えることで,UMEを進化させる潜在的推論フレームワークである。
論文 参考訳（メタデータ） (2026-04-02T14:04:53Z) - Hydra: Unifying Document Retrieval and Generation in a Single Vision-Language Model [0.0]
Hydraは、シングルビジョン言語モデル(VLM)からColBERTスタイルの遅延相互作用検索と自己回帰生成の両方を提供するデュアルヘッドアプローチである。
単一のLoRAアダプタは、検索用にのみ訓練され、推論時にトグルされる。
ViDoRe V1では、Hydra (4B) は単一のトレーニングランで制御された単一ヘッドベースラインの1パーセント以内である。
論文 参考訳（メタデータ） (2026-03-30T15:17:41Z) - Do Understanding and Generation Fight? A Diagnostic Study of DPO for Unified Multimodal Models [0.0]
統一マルチモーダルモデルは、画像の理解と生成の両方のための言語モデルバックボーンを共有する。
DPOは両方の機能を同時に調整できますか?
1B と 7B のパラメータで DPO を Janus-Pro に適用する。
論文 参考訳（メタデータ） (2026-03-17T18:26:29Z) - DiffGRM: Diffusion-based Generative Recommendation Model [63.35379395455103]
ジェネレーティブレコメンデーション(GR)は、トークン化器を介して各項目をn桁のセマンティックID(SID)として表現する新興パラダイムである。
自己回帰デコーダをマスク付き離散拡散モデル(MDM)に置き換える拡散ベースGRモデルDiffGRMを提案する。
実験では、複数のデータセットに対する強力な生成的および差別的推奨ベースラインよりも一貫した利得を示す。
論文 参考訳（メタデータ） (2025-10-21T03:23:32Z) - You only need 4 extra tokens: Synergistic Test-time Adaptation for LLMs [50.54173262572369]
大規模言語モデル (LLM) は、金融、医療、農業などの専門分野にますます導入されている。
本稿では,言語モデルに対するラベルフリーテスト時適応について検討し,追加の監督なしにモデルをオンザフライで適応する推論時フレームワークであるSyTTAについて述べる。
論文 参考訳（メタデータ） (2025-10-11T14:00:39Z) - Datarus-R1: An Adaptive Multi-Step Reasoning LLM for Automated Data Analysis [0.0]
本稿では,Qwen 2.5-14B-Instructの言語モデルであるDatarus-R1-14Bを提案する。
Datarusは、独立した問合せペアではなく、推論ステップ、コード実行、エラートレース、自己補正、最終的な結論を含む完全な分析トラジェクトリに基づいて訓練されている。
論文 参考訳（メタデータ） (2025-08-18T21:58:18Z) - Discrete Diffusion Models for Language Generation [0.0]
本論文は、自然言語生成のための離散拡散モデルの実現可能性と性能について考察する。
我々は、生成性能を評価するためにBits Per Token(BPT)、Negative Log-Likelihood(NLL)、Perplexity(PPL)、Batch Processing Speedを使用します。
ARモデルは平均BPTが4.59で圧縮性能が向上するが、D3PMは処理速度が向上し、毎秒3.97バッチに達する。
論文 参考訳（メタデータ） (2025-07-02T23:43:02Z) - Ensuring Reproducibility in Generative AI Systems for General Use Cases: A Framework for Regression Testing and Open Datasets [0.0]
汎用ユースケースの回帰テストを実行するベンチマークであるGPR-benchを紹介する。
より新しいモデルは一般的に正確性を改善するが、違いは控えめで統計的に有意ではない。
対照的に、簡潔な命令は簡潔さを著しく向上させ、迅速なエンジニアリングの有効性を実証する。
論文 参考訳（メタデータ） (2025-05-02T12:31:43Z) - CFReID: Continual Few-shot Person Re-Identification [127.60234742605832]
Lifelong ReIDは、複数のドメインにまたがる知識を漸進的に学習し、蓄積するために提案されている。
LReIDモデルは、一般にプライバシとコストの懸念のためにアクセスできない、目に見えない各ドメインの大規模ラベル付きデータでトレーニングする必要がある。
本稿では,数ショットデータを用いてモデルをインクリメンタルにトレーニングし,すべてのドメインでテストするContinual Few-shot ReIDを提案する。
論文 参考訳（メタデータ） (2025-03-24T09:17:05Z) - AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。
最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。
第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。
3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
論文 参考訳（メタデータ） (2020-01-15T18:32:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。