論文の概要: Behavioral Foundation Models for Quality Diversity

• arxiv url: http://arxiv.org/abs/2609.35615v1
• Date: Mon, 28 Sep 2026 16:56:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 20:20:23.352725
• Title: Behavioral Foundation Models for Quality Diversity
• Title（参考訳）: 品質多様性のための行動基礎モデル
• Abstract要約: 行動基礎モデル(BFM)は強化学習における新たなパラダイムであり、自然言語処理における大きな言語モデルに類似した役割を担っている。 本稿では,BFMのコンパクト潜在空間において品質多様性(QD)探索を行うフレームワークであるBFM-QDを提案する。
• 参考スコア（独自算出の注目度）: 5.045010561958866
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Behavioral Foundation Models (BFMs) are an emerging paradigm in reinforcement learning, playing a role analogous to large language models in natural language processing: they have shown remarkable versatility, enabling zero-shot performance, fast imitation, and online adaptation, all by exploiting the structure of a latent space. In this work, we investigate whether the latent behavioral space induced by BFMs can serve as an effective search space to discover large repertoires of behaviorally diverse and high-performing policies through Quality-Diversity (QD) methods. While QD methods generally search directly in high-dimensional policy parameter space, in this paper, we present BFM-QD, a framework that performs QD search in the compact latent space of a BFM. We further show that the BFM-QD framework provides a closed-form, gradient-free policy improvement operator that approximates a policy gradient update, but requires no critic training and no backpropagation. Across continuous-control benchmarks spanning dense locomotion, sparse navigation, and contact-rich manipulation, BFM-QD consistently outperforms parameter-space baselines, with particularly stark gains in sparse and deceptive settings, where all tested parameter-space QD methods collapse to near-zero performance. These results show the effectiveness of the BFM-QD framework, benefiting from the synergy between dimensionality reduction of the search space and offline pretraining from diverse behavioral data. This positions BFMs as a general-purpose backbone for QD optimization, extending their utility beyond zero-shot task solving to the discovery of diverse behavioral repertoires.
• Abstract（参考訳）: ビヘイビア・ファンデーション・モデル(BFM)は強化学習における新たなパラダイムであり、自然言語処理において大きな言語モデルに類似した役割を担っている。 本研究では,BFMによって誘導される潜伏行動空間が,QD(Quality-Diversity)手法による行動多様かつ高パフォーマンスな政策の大規模なレパートリーを探索する有効な探索空間として機能するかどうかを検討する。 本稿では,高次元政策パラメータ空間においてQD法が直接探索されるのに対して,BFMのコンパクト潜在空間においてQD探索を行うフレームワークであるBFM-QDを提案する。 さらに、BFM-QDフレームワークは、ポリシー勾配更新を近似するクローズドな、勾配のないポリシー改善演算子を提供するが、批判訓練は必要とせず、バックプロパゲーションも不要であることを示す。 濃密な移動、スパースナビゲーション、コンタクトリッチな操作にまたがる連続制御ベンチマーク全体において、BFM-QDはパラメータ空間のベースラインを一貫して上回り、特にスパースおよび偽装環境では、テスト済みのパラメータ空間QDメソッドがほぼゼロに近いパフォーマンスに崩壊する。 これらの結果は,BFM-QDフレームワークの有効性を示し,探索空間の次元的縮小と多様な行動データからのオフライン事前学習の相乗効果を生かした。 これにより、BFMはQD最適化のための汎用のバックボーンとして位置づけられ、その実用性はゼロショットタスク解決を超えて、多様な行動レパートリーの発見にまで拡張された。

関連論文リスト

• The Art of Interrogation: Consistency Amplifies Factuality in Spatial Reasoning [65.67266333751569]
  現在のLRM(Large Reasoning Models)は、空間推論タスクにおいて顕著な汎用性を示すが、性能は著しく劣る。 本研究では,内的推論プロセスを対象とした自己指導型強化学習フレームワークを提案する。 このラベルのない整合性トレーニングは,地道的な監督によって訓練されたモデルの精度にアプローチし,多様なタスクやデータ領域にまたがる同様の一般化を実現することを示す。
  論文  参考訳（メタデータ） (2026-06-10T10:50:06Z)
• DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models [55.01951088768769]
  DiffusionOPDはオンライン政策蒸留(OPD)に基づく拡散モデルのための新しいマルチタスクトレーニングパラダイムである 本研究では,DiffusionOPDがトレーニング効率と最終性能において,マルチリワードRLとカスケードRLのベースラインを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2026-05-14T16:49:09Z)
• Regularized Latent Dynamics Prediction is a Strong Baseline For Behavioral Foundation Models [35.088440282359024]
  行動基礎モデル(BFM)は、未知の報酬やタスクに適応する能力を持つエージェントを生成する。 これらの手法は、既存の状態特徴の範囲内にある報酬関数に対して、ほぼ最適にポリシーを作成できるのみである。 本稿では,ゼロショットRLに対して,最先端の複雑な表現学習手法に適合または超越可能なRLDP(Regularized Latent Dynamics Prediction)を提案する。
  論文  参考訳（メタデータ） (2026-03-16T19:39:27Z)
• One CT Unified Model Training Framework to Rule All Scanning Protocols [32.68329101435685]
  NICT(Non-ideal Measurement Computed Tomography)はCTの臨床的使用を拡大している。 ほとんどの方法はペアデータを必要とするが、これは避けられない臓器の動きによる非現実的な要求である。 サブマニフォールド間のギャップを埋めるために,不確実誘導マニフォールド平滑化(UMS)フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-16T09:26:32Z)
• Exploring Definitions of Quality and Diversity in Sonic Measurement Spaces [1.7411855207380258]
  デジタル音声合成は、数百万の構成を含む広大なパラメータ空間を探索する機会を提供する。品質多様性(QD)進化的アルゴリズムは、この可能性を活用するための有望なアプローチを提供するが、その成功は適切な音韻的特徴表現に基づく。 本研究では,QD探索中の音素行動空間を自動的に定義・動的に再構成するための教師なし次元性低減手法について検討する。 その結果、手動による介入や教師あり訓練の制約なしに広いパラメータ空間を探索できる自動音韻探索システムに寄与する。
  論文  参考訳（メタデータ） (2025-12-02T13:57:08Z)
• Zero-Shot Adaptation of Behavioral Foundation Models to Unseen Dynamics [42.446740732573296]
  行動基礎モデル(BFM)は、任意のタスクに対してゼロショットでポリシーを作成することに成功した。 ここでは,BFMファミリーの手法の1つであるフォワード・バックワード(FB)表現が,異なるダイナミクスを区別できないことを示す。 本稿では,ゼロショット適応を大幅に促進するトランスフォーマーに基づく信念推定器を備えたFBモデルを提案する。
  論文  参考訳（メタデータ） (2025-05-19T14:12:19Z)
• Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
  本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。 私たちのフレームワークは、3つの新しい目標のファミリーにつながります。 Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
  論文  参考訳（メタデータ） (2024-10-10T17:18:30Z)
• Revisiting BPR: A Replicability Study of a Common Recommender System Baseline [78.00363373925758]
  我々は,BPRモデルの特徴を考察し,その性能への影響を示し,オープンソースのBPR実装について検討する。 分析の結果,これらの実装とオリジナルのBPR論文の矛盾が明らかとなり,特定の実装に対して最大50%の性能低下がみられた。 BPRモデルは、トップnのレコメンデーションタスクにおける最先端メソッドに近いパフォーマンスレベルを達成でき、特定のデータセット上でもパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2024-09-21T18:39:53Z)
• R-AIF: Solving Sparse-Reward Robotic Tasks from Pixels with Active Inference and World Models [50.19174067263255]
  我々は、エージェントがスパース・リワード、継続的なアクション、ゴールベースのロボット制御POMDP環境においてエクササイズするのを助けるために、事前の選好学習手法と自己修正スケジュールを導入する。 我々のエージェントは、累積報酬、相対安定性、成功率の観点から、最先端モデルよりも優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-09-21T18:32:44Z)
• Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
  我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。 EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。 得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
  論文  参考訳（メタデータ） (2023-12-10T15:22:30Z)
• Multi-Agent Reinforcement Learning via Adaptive Kalman Temporal Difference and Successor Representation [32.80370188601152]
  本稿では,マルチエージェント適応カルマン時間差分(MAK-TD)フレームワークとその継承表現に基づく変種(MAK-SR)を提案する。 提案するMAK-TD/SRフレームワークは,高次元マルチエージェント環境に関連付けられたアクション空間の連続的な性質を考察する。
  論文  参考訳（メタデータ） (2021-12-30T18:21:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。