論文の概要: Be Your Own Teacher: Steering Protein Language Models via Unsupervised Reward Optimization

• arxiv url: http://arxiv.org/abs/2606.18961v1
• Date: Wed, 17 Jun 2026 11:42:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:51.141963
• Title: Be Your Own Teacher: Steering Protein Language Models via Unsupervised Reward Optimization
• Title（参考訳）: 教師になる: 教師なしリワード最適化によるタンパク質言語モデルの構築
• Authors: Lanqing Li, Shentong Mo, Yang Yu, Pheng-Ann Heng,
• Abstract要約: タンパク質言語モデル(PLM)の教師なし報酬最適化を導入する。 我々の重要な洞察は、本質的なモデルの不確実性とタンパク質表現モデルによって誘導される意味的整合性を組み合わせたタスク非依存報酬は、ベースモデルと温度レギュレーションの制御可能性指標と強い相関を示すことである。 我々のフレームワークは、ラベル付けされた好みや実験的なフィードバックが不足したり、利用できないような環境で、制御可能な生体分子設計へのスケーラブルな経路を提供する。
• 参考スコア（独自算出の注目度）: 85.4863852505905
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Protein language models (PLMs) have emerged as powerful tools for controllable biomolecular design, yet their post-training adaptation typically relies on costly wet-lab validation or curated preference datasets. To overcome this supervision bottleneck, we introduce unsupervised reward optimization of PLMs, a comprehensive framework for steerable protein generation without ground-truth labels. Our key insight is that task-agnostic rewards, which combine intrinsic model uncertainty with extrinsic semantic consistency informed by protein representation models, exhibit strong correlation with controllability measures across base models and temperature regimes. Building upon this discovery, we propose two offline algorithms: Soft Reward Optimization (SRO) and Binarized Reward Optimization (BRO), which effectively maximize the classical RLHF objective induced by these proxy rewards. Extensive experiments on compositional out-of-distribution prompts demonstrate that both methods significantly outperform competitive baselines (DPO, KTO), while approaching oracle performance across multiple sampling temperatures, model scales and protein families. Moreover, PLMs fine-tuned with unsupervised rewards can achieve consistently higher coverage compared to their base model in pass@k evaluations. By enabling self-improvement of PLMs through their own generated experience, our framework provides a scalable pathway toward controllable biomolecular design in settings where labeled preferences or experimental feedback are scarce or unavailable.
• Abstract（参考訳）: タンパク質言語モデル(PLM)は、制御可能な生体分子設計のための強力なツールとして登場したが、訓練後の適応は通常、コストのかかるウェットラブ検証やキュレートされた嗜好データセットに依存している。 この監視ボトルネックを克服するために,基本構造ラベルを使わずに,ステアブルなタンパク質生成のための包括的なフレームワークであるPLMの非教師なし報酬最適化を導入する。 我々の重要な洞察は、本質的なモデルの不確実性とタンパク質表現モデルによって誘導される外生的な意味的一貫性を結合したタスク非依存報酬は、ベースモデルと温度レジームの制御可能性指標と強い相関を示すことである。 この発見に基づいて、これらのプロキシ報酬によって誘導される古典的RLHF目標を効果的に最大化する、ソフトリワード最適化(SRO)とバイナリリワード最適化(BRO)の2つのオフラインアルゴリズムを提案する。 コンポジションアウト・オブ・ディストリビューション・プロンプトの広範囲な実験により、両手法は複数のサンプリング温度、モデルスケール、タンパク質ファミリーにまたがるオラクル性能にアプローチしながら、競争ベースライン(DPO, KTO)を著しく上回っていることが示された。 さらに、教師なし報酬で微調整されたPLMは、pass@k評価においてベースモデルと比較して一貫して高いカバレッジを達成することができる。 本フレームワークは, PLMの自己改善を実現することにより, ラベル付けされた好みや実験フィードバックが不足したり, 利用できないような環境で, 制御可能な生体分子設計へのスケーラブルな経路を提供する。

関連論文リスト

• Poly-EPO: Training Exploratory Reasoning Models [62.82992914206963]
  本稿では,学習後言語モデル(LM)の枠組みについて,楽観的な探索を明示的に奨励し,探索と搾取の相乗効果を促進する。 本稿では,この枠組みを探索と利用を明確に相乗化するための目的として,ポリクロミック探索政策最適化(Poly-EPO)を提案する。
  論文  参考訳（メタデータ） (2026-04-19T22:54:19Z)
• Scaffold-Conditioned Preference Triplets for Controllable Molecular Optimization with Large Language Models [32.68069719676566]
  textbfScaffold-Conditioned Preference Triplets (SCPT)は、類似性に制約のある三重項を$langletextscaffold, textbetter, textworserangle$で構築するパイプラインで、足場アライメントと、妥当性、合成性、有意義なプロパティゲインのための化学駆動フィルタである。 一般の非LLM分子最適化法と比較して,SCPT学習LLMは足場制約や多目的最適化に適している。
  論文  参考訳（メタデータ） (2026-04-14T06:38:07Z)
• P^2O: Joint Policy and Prompt Optimization [74.45293488495592]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデル(LLM)の推論能力を高めるための強力なパラダイムとして登場した。 プロンプト最適化とポリシー最適化を相乗化する新しいフレームワークであるP2Oを提案する。
  論文  参考訳（メタデータ） (2026-03-23T12:08:47Z)
• Benchmarking Generative AI Against Bayesian Optimization for Constrained Multi-Objective Inverse Design [0.15293427903448018]
  本稿では,制約付き多目的回帰タスクを解くための生成可能な言語モデル(LLM)の性能について検討する。 最高の性能のLDM(Math-7B)は1.21の世代距離(GD)を達成した。 この知見は, 樹脂, レオロジー, 化学特性の定式化設計の最適化に, 直接工業的応用が期待できる。
  論文  参考訳（メタデータ） (2025-10-29T10:37:09Z)
• APLOT: Robust Reward Modeling via Adaptive Preference Learning with Optimal Transport [37.21695864040979]
  報酬モデル(RM)は、強化学習(Reinforcement Learning)を通じて、大規模言語モデル(LLM)と人間の嗜好の整合において重要な役割を果たす。 本稿では,適応的マージン機構によりBT系RMを効果的に強化する手法を提案する。
  論文  参考訳（メタデータ） (2025-10-13T03:13:28Z)
• Self-supervised Preference Optimization: Enhance Your Language Model with Preference Degree Awareness [27.43137305486112]
  本稿では,自己監督的選好度損失とアライメント損失を組み合わせた自己監督的選好度損失を構成する,新しい自己監督的選好最適化(SPO)フレームワークを提案する。 その結果,SPOを既存の好み最適化手法とシームレスに統合し,最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2024-09-26T12:37:26Z)
• Self-Evolutionary Large Language Models through Uncertainty-Enhanced Preference Optimization [9.618391485742968]
  反復的選好最適化は、最近、大規模言語モデル(LLM)のデファクトトレーニングパラダイムの1つになっている。 我々は、信頼性の高いフィードバックでLLMを自己進化させる不確実性のあるtextbfPreference textbfOptimizationフレームワークを提案する。 筆者らのフレームワークは,ノイズ問題を大幅に軽減し,反復的選好最適化の性能を向上させる。
  論文  参考訳（メタデータ） (2024-09-17T14:05:58Z)
• Direct Preference Optimization: Your Language Model is Secretly a Reward Model [119.65409513119963]
  本稿では,RLHFにおける報酬モデルの新たなパラメータ化について紹介する。 DPO(Direct Preference Optimization)と呼ばれる結果のアルゴリズムは、安定的で、性能が高く、計算的にも軽量である。 我々の実験は、DPOが人間の好みに合わせて微調整できるだけでなく、既存の方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-29T17:57:46Z)
• When Demonstrations Meet Generative World Models: A Maximum Likelihood Framework for Offline Inverse Reinforcement Learning [62.00672284480755]
  本稿では, 専門家エージェントから, 一定の有限個の実演において観測された動作を過小評価する報酬と環境力学の構造を復元することを目的とする。 タスクを実行するための正確な専門知識モデルは、臨床的意思決定や自律運転のような安全に敏感な応用に応用できる。
  論文  参考訳（メタデータ） (2023-02-15T04:14:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。