論文の概要: Unlocking Multimodal Protein Language Models at Inference Time
- arxiv url: http://arxiv.org/abs/2608.25855v1
- Date: Wed, 26 Aug 2026 14:29:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.863964
- Title: Unlocking Multimodal Protein Language Models at Inference Time
- Title(参考訳): 推論時間におけるマルチモーダルタンパク質言語モデルのアンロック
- Authors: Yi Zhou, Qipeng Wang, Yunqing Liu, Jun Xia, Qing Li, Wenqi Fan,
- Abstract要約: 3つの代表的pLMと4つの基本課題にまたがるマルチモーダルpLMの推論設計空間について検討する。
マルチモーダルpLMにおけるバニラサンプリング,タスク固有分類器フリーガイダンス,報酬誘導ビームサーチの評価を行った。
- 参考スコア(独自算出の注目度): 22.675249522190274
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal protein language models (pLMs) learn joint protein sequence-structure distributions, and their generation performance should also depend critically on inference-time sampling strategies. Yet prior work has focused more on model training than on how inference-time strategies behave. In this paper, we establish a three-stage investigation framework to empirically study the inference design space of multimodal pLMs across three representative pLMs and four fundamental tasks. We evaluate vanilla sampling, task-specific classifier-free guidance, and reward-guided beam search on multimodal pLMs, corresponding to controls over sampling distributions, per-step logits, and parallel trajectories. Throughout the complementary advancements centered on exploration-exploitation trade-off, we (1) reveal the suboptimality of default inference protocols and identify task-oriented sampling preferences; (2) observe substantial quantitative gains across tasks, consistently boosting the upper bound performance of multimodal pLMs without updating model parameters; (3) derive conclusions about base models that differ from prior consensus.
- Abstract(参考訳): マルチモーダルタンパク質言語モデル(pLM)は結合タンパク質配列構造分布を学習し、その生成性能は推論時サンプリング戦略にも大きく依存する。
しかし、事前の作業は、推論時の戦略の振る舞いよりも、モデルトレーニングに重点を置いてきた。
本稿では,3つの代表的PLMと4つの基本課題にまたがるマルチモーダルPLMの推論設計空間を実証的に研究する3段階の調査枠組みを確立する。
我々は, サンプリング分布, ステップごとのロジット, 並列軌道の制御に対応して, バニラサンプリング, タスク固有分類器フリーガイダンス, およびマルチモーダルpLM上での報酬誘導ビーム探索を評価した。
探索・探索トレードオフを中心とした補完的な進展を通じて、(1)デフォルトの推論プロトコルの最適性を明らかにし、タスク指向のサンプリング選好を識別し、(2)モデルパラメータを更新することなく、マルチモーダルPLMの上限性能を継続的に向上させ、(3)事前のコンセンサスと異なるベースモデルに関する結論を導出する。
関連論文リスト
- Embed-RL: Reinforcement Learning for Reasoning-Driven Multimodal Embeddings [44.77164359074224]
マルチモーダル大規模言語モデル(MLLM)は、ユニバーサル・マルチモーダル・エンベディング(UME)の進展に欠かせないものとなっている。
近年の研究では、生成的連鎖(CoT)推論を取り入れることで、タスク固有の表現が大幅に向上することが示されている。
本稿では,Embedder-Guided Reinforcement Learning (EG-RL)を統合した推論駆動型UMEフレームワークを提案する。
論文 参考訳(メタデータ) (2026-02-14T15:35:03Z) - Quantifying & Modeling Multimodal Interactions: An Information
Decomposition Framework [89.8609061423685]
本稿では,入力モーダル性と出力タスクを関連付けた冗長性,特異性,シナジーの度合いを定量化する情報理論手法を提案する。
PID推定を検証するために、PIDが知られている合成データセットと大規模マルチモーダルベンチマークの両方で広範な実験を行う。
本研究では,(1)マルチモーダルデータセット内の相互作用の定量化,(2)マルチモーダルモデルで捉えた相互作用の定量化,(3)モデル選択の原理的アプローチ,(4)実世界のケーススタディの3つにその有用性を示す。
論文 参考訳(メタデータ) (2023-02-23T18:59:05Z) - Pre-trained Language Models for Keyphrase Generation: A Thorough
Empirical Study [76.52997424694767]
事前学習言語モデルを用いて,キーフレーズ抽出とキーフレーズ生成の詳細な実験を行った。
PLMは、競争力のある高リソース性能と最先端の低リソース性能を持つことを示す。
さらに,領域内のBERTライクなPLMを用いて,強大かつデータ効率のよいキーフレーズ生成モデルを構築できることが示唆された。
論文 参考訳(メタデータ) (2022-12-20T13:20:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。