論文の概要: Reinforcement Learning on the Discrete Composition Channel of a Crystal Generator: Validated Gains and Reward Hacking

• arxiv url: http://arxiv.org/abs/2610.03880v1
• Date: Fri, 02 Oct 2026 18:02:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:35:18.739363
• Title: Reinforcement Learning on the Discrete Composition Channel of a Crystal Generator: Validated Gains and Reward Hacking
• Title（参考訳）: クリスタルジェネレータの離散構成チャネルの強化学習: ゲインとリワードハックの検証
• Abstract要約: 逆材料設計は、計算材料発見の長年の目標である。 我々はグループ相対的政策最適化を用いて、補間子に基づく生成モデルと、強化学習による一般的なブラックボックス報酬関数との離散フローマッチングを整合させる。 本稿では, メタスタブル, ユニーク, 新規構造(mSUN)の収率を, 事前学習モデルでは13.4%から強化モデルでは45.5%に引き上げる報奨関数を提案する。
• 参考スコア（独自算出の注目度）: 0.9772267314090435
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inverse materials design is a long-standing goal of computational materials discovery. Generative models for crystalline materials are typically trained to match the distribution of a structure database, while nothing in their training objective points them at specific design goals such as targeted properties. We use group-relative policy optimization (GRPO) to align a generative model based on stochastic interpolants and discrete flow matching with general black-box reward functions through reinforcement learning. Atom types are generated by a discrete flow and the policy gradient of our generalization of GRPO directly acts on the likelihoods of the atom-type transitions, which differentiates our work from previous reinforcement-learning approaches for diffusion and flow-based generative models of crystalline materials. We introduce a reward function that raises the yield of metastable, unique and novel structures (mSUN) from 13.4% for the pretrained model to 45.5% for the reinforced model, as evaluated by a community benchmark. Our reward also improves the performance of a reinforcement learning framework for crystalline materials based on latent denoising diffusion models. At the same time, we find that directly reinforcing atom-type transition likelihoods enables reward exploitation that has to be prevented with explicit guards. The same analysis also exposes a gap in the community metric. Single-element structures in distinct packings are counted as metastable, unique and novel materials and inflate mSUN without yielding any new compounds. A stability claim is only as good as its reference hull. We report every result split by the number of reference phases behind it and argue that benchmarks should do the same.
• Abstract（参考訳）: 逆材料設計は、計算材料発見の長年の目標である。 結晶材料の生成モデルは、典型的には構造データベースの分布と一致するように訓練されるが、その訓練対象には、ターゲットとなる特性のような特定の設計目標を示すものはない。 我々は,グループ相対政策最適化(GRPO)を用いて,確率的補間と一般的なブラックボックス報酬関数との離散フローマッチングに基づく生成モデルを調整する。 原子型は離散的な流れによって生成され、GRPOの一般化の政策勾配は直接原子型遷移の可能性に作用する。 本稿では, メタスタブル, ユニーク, 新規構造(mSUN)の収率を, 事前学習モデルでは13.4%から強化モデルでは45.5%に引き上げる報奨関数を提案する。 我々の報奨は,潜伏拡散モデルに基づく結晶材料の強化学習フレームワークの性能も向上させる。 同時に、原子型遷移の可能性を直接強化することで、明確なガードで防ぐ必要がある報酬の搾取が可能になることが判明した。 同じ分析によって、コミュニティのメトリクスのギャップも明らかになる。 異なるパッキングにおける単元素構造は、メタスタブル、ユニークな新しい材料として数えられ、新しい化合物を産み出すことなくmSUNを膨らませる。 安定性のクレームは、基準船体と同程度である。 すべての結果を、その背後にある参照フェーズの数で割って報告し、ベンチマークが同じことをすべきである、と論じます。

関連論文リスト

• APO: Unsupervised Atomic Policy Optimization for 3D Structure Prediction of Atomic Systems [64.56252173115246]
  そこで本研究では, 基幹構造を不要とした非教師なしアライメントフレームワーク(Atomic Policy Optimization)を提案する。 APOは、新しい二重回帰機構を利用して、3次元原子環境にグループ相対的なポリシー最適化を適用する。 この結果から,本質的な物理的整合性は,ノイズや教師付き座標マッチングよりも優れたアライメントのガイドとなる可能性が示唆された。
  論文  参考訳（メタデータ） (2026-07-30T17:21:58Z)
• Be Your Own Teacher: Steering Protein Language Models via Unsupervised Reward Optimization [85.4863852505905]
  タンパク質言語モデル(PLM)の教師なし報酬最適化を導入する。 我々の重要な洞察は、本質的なモデルの不確実性とタンパク質表現モデルによって誘導される意味的整合性を組み合わせたタスク非依存報酬は、ベースモデルと温度レギュレーションの制御可能性指標と強い相関を示すことである。 我々のフレームワークは、ラベル付けされた好みや実験的なフィードバックが不足したり、利用できないような環境で、制御可能な生体分子設計へのスケーラブルな経路を提供する。
  論文  参考訳（メタデータ） (2026-06-17T11:42:01Z)
• Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
  構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。 グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。 特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
  論文  参考訳（メタデータ） (2026-04-20T16:43:28Z)
• Open Materials Generation with Inference-Time Reinforcement Learning [1.4323566945483497]
  推論時間強化学習を用いたオープンマテリアル生成(OMatG-IRL)を紹介する。 OMatG-IRLは学習した速度場を直接操作し、スコアの明示的な計算を不要にする。 我々は,OMatG-IRLが時間依存性の速度アニールスケジュールを学習し,正確な結晶構造予測を可能にすることを示す。
  論文  参考訳（メタデータ） (2026-01-31T00:22:52Z)
• Round-trip Reinforcement Learning: Self-Consistent Training for Better Chemical LLMs [51.29260537017623]
  大規模言語モデル (LLM) は計算化学の汎用基盤モデルとして登場しつつある。 これらのモデルは、しばしば往復一貫性を欠いている。 本稿では,その一貫性を向上させるためにモデルをトレーニングする新しいフレームワークであるRound-Trip Reinforcement Learning(RTRL)を紹介する。
  論文  参考訳（メタデータ） (2025-10-01T23:58:58Z)
• UniGenX: a unified generative foundation model that couples sequence, structure and function to accelerate scientific design across proteins, molecules and materials [62.72989417755985]
  自然系における関数の統一生成モデルUniGenXを提案する。 UniGenXはシンボルトークンと数値トークンの混合ストリームとして異種入力を表す。 ドメイン間のファンクション・アウェア・ジェネレーションに対して、最先端または競合的なパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-03-09T16:43:07Z)
• Establishing baselines for generative discovery of inorganic crystals [0.0]
  生成的人工知能は、材料発見のための有望な道を提供するが、従来の方法に対するその優位性はいまだ不明である。 本研究では、電荷バランスのプロトタイプのランダム列挙と既知の化合物のデータ駆動イオン交換という、2つのベースラインアプローチを導入し、ベンチマークする。 以上の結果から, イオン交換などの確立された手法は, 安定な新規物質を生成できるが, それらの多くはよく知られている化合物とよく似ている。
  論文  参考訳（メタデータ） (2025-01-04T00:14:59Z)
• Targeting the partition function of chemically disordered materials with a generative approach based on inverse variational autoencoders [0.0]
  そこで本研究では,生成機械学習を用いて特性評価を行う手法を提案する。 本手法では,エンコーダとデコーダの逆の役割を持つ特定の種類の変分オートエンコーダを用いる。 本稿では, (U, Pu)O2混合酸化物燃料における点欠陥生成エネルギーと濃度の計算によるアプローチについて述べる。
  論文  参考訳（メタデータ） (2024-08-27T10:05:37Z)
• Simplifying Model-based RL: Learning Representations, Latent-space Models, and Policies with One Objective [142.36200080384145]
  自己整合性を維持しつつ高いリターンを達成するために,潜在空間モデルとポリシーを協調的に最適化する単一目的を提案する。 得られたアルゴリズムは, モデルベースおよびモデルフリーRL手法のサンプル効率に適合するか, 改善することを示した。
  論文  参考訳（メタデータ） (2022-09-18T03:51:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。