論文の概要: Unlocking Multimodal Protein Language Models at Inference Time

• arxiv url: http://arxiv.org/abs/2608.25855v1
• Date: Wed, 26 Aug 2026 14:29:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.863964
• Title: Unlocking Multimodal Protein Language Models at Inference Time
• Title（参考訳）: 推論時間におけるマルチモーダルタンパク質言語モデルのアンロック
• Abstract要約: 3つの代表的pLMと4つの基本課題にまたがるマルチモーダルpLMの推論設計空間について検討する。 マルチモーダルpLMにおけるバニラサンプリング,タスク固有分類器フリーガイダンス,報酬誘導ビームサーチの評価を行った。
• 参考スコア（独自算出の注目度）: 22.675249522190274
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal protein language models (pLMs) learn joint protein sequence-structure distributions, and their generation performance should also depend critically on inference-time sampling strategies. Yet prior work has focused more on model training than on how inference-time strategies behave. In this paper, we establish a three-stage investigation framework to empirically study the inference design space of multimodal pLMs across three representative pLMs and four fundamental tasks. We evaluate vanilla sampling, task-specific classifier-free guidance, and reward-guided beam search on multimodal pLMs, corresponding to controls over sampling distributions, per-step logits, and parallel trajectories. Throughout the complementary advancements centered on exploration-exploitation trade-off, we (1) reveal the suboptimality of default inference protocols and identify task-oriented sampling preferences; (2) observe substantial quantitative gains across tasks, consistently boosting the upper bound performance of multimodal pLMs without updating model parameters; (3) derive conclusions about base models that differ from prior consensus.
• Abstract（参考訳）: マルチモーダルタンパク質言語モデル(pLM)は結合タンパク質配列構造分布を学習し、その生成性能は推論時サンプリング戦略にも大きく依存する。 しかし、事前の作業は、推論時の戦略の振る舞いよりも、モデルトレーニングに重点を置いてきた。 本稿では,3つの代表的PLMと4つの基本課題にまたがるマルチモーダルPLMの推論設計空間を実証的に研究する3段階の調査枠組みを確立する。 我々は, サンプリング分布, ステップごとのロジット, 並列軌道の制御に対応して, バニラサンプリング, タスク固有分類器フリーガイダンス, およびマルチモーダルpLM上での報酬誘導ビーム探索を評価した。 探索・探索トレードオフを中心とした補完的な進展を通じて、(1)デフォルトの推論プロトコルの最適性を明らかにし、タスク指向のサンプリング選好を識別し、(2)モデルパラメータを更新することなく、マルチモーダルPLMの上限性能を継続的に向上させ、(3)事前のコンセンサスと異なるベースモデルに関する結論を導出する。

関連論文リスト

• Multimodal LLMs under Pairwise Modalities [16.75545711899814]
  ペアワイズデータのみを用いて、モダリティ間で潜在表現を整列する表現学習フレームワークを提案する。 特に第1段階では、自己モダル再構成とペアワイドコントラスト学習の両方により、モダリティ間の共有潜在空間を学習する。 ステージ2では、新たに導入されたモダリティのエンコーダと事前訓練されたモダリティのデコーダを統合し、クロスモーダル転送と生成を容易にする。
  論文  参考訳（メタデータ） (2026-05-20T11:44:01Z)
• Embed-RL: Reinforcement Learning for Reasoning-Driven Multimodal Embeddings [44.77164359074224]
  マルチモーダル大規模言語モデル(MLLM)は、ユニバーサル・マルチモーダル・エンベディング(UME)の進展に欠かせないものとなっている。 近年の研究では、生成的連鎖(CoT)推論を取り入れることで、タスク固有の表現が大幅に向上することが示されている。 本稿では,Embedder-Guided Reinforcement Learning (EG-RL)を統合した推論駆動型UMEフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-14T15:35:03Z)
• UniT: Unified Multimodal Chain-of-Thought Test-time Scaling [85.590774707406]
  統一モデルは単一のアーキテクチャ内でマルチモーダル理解と生成の両方を扱うことができるが、通常は出力を反復的に書き換えることなく単一のパスで操作する。 マルチモーダルなテストタイムスケーリングのためのフレームワークであるUniTを導入し、単一の統一モデルで複数のラウンドをまたいだ推論、検証、精査を可能にします。
  論文  参考訳（メタデータ） (2026-02-12T18:59:49Z)
• AMUSE: Audio-Visual Benchmark and Alignment Framework for Agentic Multi-Speaker Understanding [73.05946667683259]
  最近の大規模言語モデル(MLLM)は、強い認識を示すが、多話者、対話中心の設定に苦戦している。 本質的にエージェント的なタスクを中心に設計されたベンチマークであるAMUSEを紹介します。 我々は、報酬最適化と本質的なマルチモーダル自己評価を統合するデータ効率の高いエージェントアライメントフレームワークRAFTを提案する。
  論文  参考訳（メタデータ） (2025-12-18T07:01:47Z)
• SAM-R1: Leveraging SAM for Reward Feedback in Multimodal Segmentation via Reinforcement Learning [26.167394979565454]
  画像理解タスクにおいて,マルチモーダルな大規模モデルによるきめ細かい推論を可能にする新しいフレームワークSAM-R1を提案する。 提案手法は,マルチモーダル推論モデルのトレーニングにおいて,よりきめ細かいセグメンテーション設定を取り入れた最初の手法である。 3kのトレーニングサンプルだけで、SAM-R1は複数のベンチマークで高いパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-05-28T17:08:28Z)
• Retrieval-augmented Multi-modal Chain-of-Thoughts Reasoning for Large Language Models [56.256069117502385]
  Chain of Thought (CoT)アプローチは、複雑な推論タスクにおいて、LLM(Large Language Models)の能力を高めるために使用できる。 しかし、マルチモーダル推論における最適なCoT実例の選択は、まだ検討されていない。 本稿では,この課題に対処する新しい手法として,検索機構を用いて実演例を自動的に選択する手法を提案する。
  論文  参考訳（メタデータ） (2023-12-04T08:07:21Z)
• Quantifying & Modeling Multimodal Interactions: An Information Decomposition Framework [89.8609061423685]
  本稿では,入力モーダル性と出力タスクを関連付けた冗長性,特異性,シナジーの度合いを定量化する情報理論手法を提案する。 PID推定を検証するために、PIDが知られている合成データセットと大規模マルチモーダルベンチマークの両方で広範な実験を行う。 本研究では,(1)マルチモーダルデータセット内の相互作用の定量化,(2)マルチモーダルモデルで捉えた相互作用の定量化,(3)モデル選択の原理的アプローチ,(4)実世界のケーススタディの3つにその有用性を示す。
  論文  参考訳（メタデータ） (2023-02-23T18:59:05Z)
• Pre-trained Language Models for Keyphrase Generation: A Thorough Empirical Study [76.52997424694767]
  事前学習言語モデルを用いて,キーフレーズ抽出とキーフレーズ生成の詳細な実験を行った。 PLMは、競争力のある高リソース性能と最先端の低リソース性能を持つことを示す。 さらに,領域内のBERTライクなPLMを用いて,強大かつデータ効率のよいキーフレーズ生成モデルを構築できることが示唆された。
  論文  参考訳（メタデータ） (2022-12-20T13:20:21Z)
• Learning Robust State Abstractions for Hidden-Parameter Block MDPs [55.31018404591743]
  我々は、ブロックMDPにインスパイアされた堅牢な状態抽象化を実現するために、HiP-MDP設定からの共通構造の概念を活用する。 マルチタスク強化学習 (MTRL) とメタ強化学習 (Meta-RL) の両方のための新しいフレームワークのインスタンス化を導出する。
  論文  参考訳（メタデータ） (2020-07-14T17:25:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。