論文の概要: T-GADE: Thermodynamical Generative-AI-Driven Evolution of LLM Artifacts
- arxiv url: http://arxiv.org/abs/2609.12286v1
- Date: Thu, 10 Sep 2026 23:33:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.569362
- Title: T-GADE: Thermodynamical Generative-AI-Driven Evolution of LLM Artifacts
- Title(参考訳): T-GADE: LLM人工物の熱力学的生成-AI駆動的進化
- Abstract要約: 本稿では, 熱力学的選択と人工物評価を通じて, 構造的アーティファクトを進化させるT-GADEを提案する。
一般的なフリーエネルギーの目標は、世代別と定常的な更新をサポートする。
世代別ボース型T-GADEはT3$で、中央値トレーニングを約29%削減した。
- 参考スコア(独自算出の注目度): 0.7734726150561086
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Integrating evolutionary computation and large language models (LLMs) requires control of population diversity as well as generative capability. Among LLM outputs, those with explicit structure, such as a description paired with code, are structured artifacts; we use artifact for short. We propose T-GADE, which evolves these artifacts by extending thermodynamical genetic algorithms through LLM-based genetic operators and artifact-level diversity evaluation. A common free-energy objective supports generational and steady-state updates, with Fermi-type occupancy excluding repeated genotypes and Bose-type occupancy permitting them. We establish exact one-member removal and conditions for recovering the zero-temperature survival rule of Evolution of Heuristics (EoH). On the online bin-packing task studied in the EoH paper, excess measures relative bin-count overhead above a volume lower bound. Training excess uses search instances; transfer excess uses instances with another bin capacity. Generational Bose-type T-GADE at $T=0.003$ reduced median training excess by approximately 29%, from 1.152% to 0.815%, over 20 runs per configuration (two-sided Mann-Whitney $p=0.042$, Cliff's $δ=0.378$). Validation selection among its two highest-ranked final candidates reached the same median transfer excess as EoH, 0.496%. These results demonstrate the utility of thermodynamical selection and validation-based use of retained artifacts.
- Abstract(参考訳): 進化的計算と大規模言語モデル(LLM)を統合するには、集団の多様性と生成能力の制御が必要である。
LLM出力のうち、コードと組み合わせた記述のような明示的な構造を持つものは構造化アーティファクトである。
熱力学の遺伝的アルゴリズムをLLMに基づく遺伝的演算子によって拡張し,これらの成果物を進化させるT-GADEを提案する。
一般的な自由エネルギー目的は、世代的および定常的な更新をサポートし、フェルミ型の占有は繰り返しジェノタイプを除外し、ボース型の占有は許容される。
我々は,EoH(Evolution of Heuristics)のゼロ温度生存則を,正確に1員の除去条件を定めている。
The online bin-packing task studied in the EoH paper, extra measures relative bin-count overhead above a volume lower bound。
過剰なトレーニングは検索インスタンスを使用し、過剰な転送は別のbinキャパシティを持つインスタンスを使用する。
世代別ボース型T-GADEはT=0.003$で1.152%から0.815%まで約29%過大なトレーニングを減らし、構成ごとに20回以上を走らせる(Mann-Whitney $p=0.042$、Cliff's $δ=0.378$)。
2つの上位候補のうちの検証選択は、EoHの0.496%と同じ中央値の移行超過に到達した。
これらの結果から, 熱力学的選択と残留遺物の有効利用が示された。
関連論文リスト
- Efficient Diffusion Distillation via Embedding Loss [5.036053636785486]
埋め込み損失 (EL) は, 既存の拡散蒸留法を補完する新たな補足損失関数であり, 生成品質を高め, バッチサイズを小さくして訓練を加速する。
提案手法は,非条件生成に1.475,条件生成に1.380のFID値を実現する。
また,本手法は,資源制約環境下での拡散型生成モデルを展開するための,より実用的でスケーラブルなソリューションを提供するため,最大80%のトレーニングイテレーションを短縮する。
論文 参考訳(メタデータ) (2026-04-24T09:16:47Z) - Self-Refining Training for Amortized Density Functional Theory [5.5541132320126945]
そこで本稿では,自己修復学習戦略を導入することにより,大規模な事前コンパイルデータセットに対するアモータイズDFTソルバの依存性を低減する手法を提案する。
本手法は, 生成試料と基底状態エネルギーで定義される対象ボルツマン分布との差分を測定するKL偏差の変動上界の最小化として導出する。
論文 参考訳(メタデータ) (2025-06-02T00:32:32Z) - Energy-based generator matching: A neural sampler for general state space [26.45926098524023]
本研究では,データがない場合にエネルギー関数から生成モデルを学習するためのエネルギーベースジェネレータマッチング(EGM)を提案する。
EGMは、拡散、流れ、ジャンプなどの任意の連続時間マルコフ過程の訓練を可能にし、連続的、離散的、および2つのモードの混合からデータを生成することができる。
論文 参考訳(メタデータ) (2025-05-26T08:02:29Z) - One-Step Diffusion Distillation through Score Implicit Matching [74.91234358410281]
本稿では,Score Implicit Matching (SIM) を用いて,事前学習した拡散モデルを単一ステップジェネレータモデルに蒸留する手法を提案する。
SIMはワンステップジェネレータに対して強い経験的性能を示す。
リードトランスに基づく拡散モデルにSIMを適用することにより,テキスト・ツー・イメージ生成のための単一ステップ生成器を蒸留する。
論文 参考訳(メタデータ) (2024-10-22T08:17:20Z) - Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
LLM蒸留における多粒性セマンティックリビジョン法を提案する。
シーケンスレベルでは、シーケンス修正と再生戦略を提案する。
トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。
スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
論文 参考訳(メタデータ) (2024-07-14T03:51:49Z) - Molecule Design by Latent Prompt Transformer [76.2112075557233]
本研究は、分子設計の課題を条件付き生成モデリングタスクとしてフレーミングすることによって検討する。
本研究では,(1)学習可能な事前分布を持つ潜伏ベクトル,(2)プロンプトとして潜伏ベクトルを用いる因果トランスフォーマーに基づく分子生成モデル,(3)潜在プロンプトを用いた分子の目標特性および/または制約値を予測する特性予測モデルからなる新しい生成モデルを提案する。
論文 参考訳(メタデータ) (2024-02-27T03:33:23Z) - Combating Mode Collapse in GANs via Manifold Entropy Estimation [70.06639443446545]
Generative Adversarial Networks (GAN) は、様々なタスクやアプリケーションにおいて魅力的な結果を示している。
GANのモード崩壊問題に対処するための新しいトレーニングパイプラインを提案する。
論文 参考訳(メタデータ) (2022-08-25T12:33:31Z) - OMASGAN: Out-of-Distribution Minimum Anomaly Score GAN for Sample
Generation on the Boundary [0.0]
生成モデルは, アウト・オブ・ディストリビューション(OoD)サンプルに高い可能性と低い再構成損失を設定した。
OMASGANは、負のデータ増大方法で、推定分布境界上の異常サンプルを生成する。
OMASGANは、分布境界上に発生する異常最小値のOoDサンプルを含むことにより、再訓練を行う。
論文 参考訳(メタデータ) (2021-10-28T16:35:30Z) - Discriminator Contrastive Divergence: Semi-Amortized Generative Modeling
by Exploring Energy of the Discriminator [85.68825725223873]
GAN(Generative Adversarial Networks)は、高次元データのモデリングにおいて大きな可能性を秘めている。
本稿では,WGANの識別器の特性を活かした識別器コントラストの多様性について紹介する。
我々は、合成データと実世界の画像生成ベンチマークの両方において、大幅に改善された生成の利点を実証する。
論文 参考訳(メタデータ) (2020-04-05T01:50:16Z) - Your GAN is Secretly an Energy-based Model and You Should use
Discriminator Driven Latent Sampling [106.68533003806276]
本研究では,潜時空間におけるサンプリングは,潜時空間の前対数密度と判別器出力スコアの和によって誘導されるエネルギーベースモデルに従って,潜時空間におけるサンプリングを行うことによって達成できることを示す。
判別器駆動潜時サンプリング(DDLS)は,高次元画素空間で動作する従来の手法と比較して,高効率であることを示す。
論文 参考訳(メタデータ) (2020-03-12T23:33:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。