論文の概要: Bayesian Adaptation Gym: A Benchmark for the Bayesian Low-Rank Adaptation of Multi-Modal Language Models

• arxiv url: http://arxiv.org/abs/2606.22188v1
• Date: Sat, 20 Jun 2026 18:41:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 22:13:08.735343
• Title: Bayesian Adaptation Gym: A Benchmark for the Bayesian Low-Rank Adaptation of Multi-Modal Language Models
• Title（参考訳）: Bayesian Adaptation Gym:マルチモーダル言語モデルのBayesian Low-Rank Adaptationのベンチマーク
• Authors: Colin Samplawski, Ramneet Kaur, Manoj Acharya, Anirban Roy, Adam D. Cobb,
• Abstract要約: 大規模なマルチモーダル言語モデルは、ハイテイクドメインにますますデプロイされている。 伝統的なベイズ法はすべてのモデル重みの後方を近似し、現代の大型モデルでは難解となる。 近年の研究では、ベイズ級の低ランク適応を考慮し、トラクタブルな後部近似を可能にしている。 Bayes Adaptation Gym (BAG) は、マルチモーダル言語モデルのベイズ適応のためのベンチマークである。
• 参考スコア（独自算出の注目度）: 6.649365031528266
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large multi-modal language models are increasingly deployed in high-stakes domains, making well-calibrated uncertainty essential. Traditional Bayesian methods approximate posteriors over all model weights, which becomes intractable for modern large models. For this reason, recent work instead considers Bayesian low-rank adaptation to enable tractable posterior approximation. Due to a lack of a standardized benchmark to evaluate these approaches, it remains unclear where these methods provide meaningful benefits. To fill this gap, we introduce Bayesian Adaptation Gym (BAG), a benchmark for the Bayesian adaptation of multi-modal language models. BAG provides reference implementations of classic Bayesian baselines and state-of-the-art adaptation methods, along with a multi-modal dataset and task suite designed to probe calibration, robustness under distribution shift, and decision-making under uncertainty via active learning. Using BAG, we conduct and report extensive experiments across model sizes, datasets, and tasks to highlight the successes and failures of current Bayesian adaptation approaches. To enable further research, BAG is fully open source: https://github.com/SRI-CSL/BayesAdapt.
• Abstract（参考訳）: 大規模なマルチモーダル言語モデルは、ハイテイクなドメインにますますデプロイされ、明確に校正された不確かさが不可欠である。 伝統的なベイズ法はすべてのモデル重みの後方を近似し、現代の大型モデルでは難解となる。 このため、最近の研究はベイズ級の低ランク適応を考慮し、牽引可能な後部近似を可能にしている。 これらの手法を評価するための標準ベンチマークが欠如しているため、これらの手法が有意義な利益をもたらすのかは不明だ。 このギャップを埋めるために,ベイズ適応ガイム(Bayesian Adaptation Gym,BAG)を導入する。 BAGは古典的ベイジアンベースラインと最先端適応手法のリファレンス実装と、キャリブレーション、分散シフト下での堅牢性、アクティブラーニングによる不確実性に基づく意思決定を調査するために設計されたマルチモーダルデータセットとタスクスイートを提供する。 BAGを用いて、モデルサイズ、データセット、タスクにわたる広範な実験を行い、現在のベイズ適応アプローチの成功と失敗を強調する。 さらなる研究を可能にするため、BAGは、https://github.com/SRI-CSL/BayesAdapt.comと完全にオープンソースである。

関連論文リスト

• Dual-Teacher Distillation with Subnetwork Rectification for Black-Box Domain Adaptation [69.7036779439312]
  ブラックボックスドメイン適応は、非常に実用的で非常に困難な設定である。 ブラックボックスソースモデルに埋め込まれた特定の知識を活用するサブネットワーク整合モデル(DDSR)を用いた二重蒸留法を提案する。 我々の手法は、ソースデータやモデルの使用を含む、最先端の手法に対する一貫した改善を実証する。
  論文  参考訳（メタデータ） (2026-03-24T07:54:19Z)
• Multimodal Large Language Models with Adaptive Preference Optimization for Sequential Recommendation [60.33386541343322]
  本稿では,Hardness-Aware とNoNoRec (HaNoRec) を併用したマルチモーダル大規模言語モデルフレームワークを提案する。 具体的には、HaNoRecは、各トレーニングサンプルの予測硬度とポリシーモデルのリアルタイム応答性の両方に基づいて、最適化重量を動的に調整する。
  論文  参考訳（メタデータ） (2025-11-24T04:10:46Z)
• Bayesian Low-Rank Factorization for Robust Model Adaptation [60.296574524609575]
  本研究では,音声基礎モデルに対する因子化アダプタについて検討し,前処理をゼロに近い位置で行うことで,スペーサー適応行列を実現する。 その結果, 適応損失は最小限に抑えられたが, 基礎モデルの破滅的忘れを著しく減らした。
  論文  参考訳（メタデータ） (2025-10-21T15:23:30Z)
• Training-Free Bayesianization for Low-Rank Adapters of Large Language Models [22.80864697991734]
  TFB(Training-Free Bayesianization)は、トレーニングなしでトレーニングされた低ランクアダプタをベイズアダプタに変換するフレームワークである。 TFBは既存の手法よりも優れた不確実性推定と一般化を実現する。
  論文  参考訳（メタデータ） (2024-12-07T18:49:27Z)
• Test-Time Model Adaptation with Only Forward Passes [68.11784295706995]
  テストタイム適応は、トレーニング済みのモデルを、潜在的に分布シフトのある未確認テストサンプルに適応させるのに有効であることが証明されている。 テスト時間フォワード最適化適応法(FOA)を提案する。 FOAは量子化された8ビットのViTで動作し、32ビットのViTで勾配ベースのTENTより優れ、ImageNet-Cで最大24倍のメモリ削減を実現する。
  論文  参考訳（メタデータ） (2024-04-02T05:34:33Z)
• Beyond Deep Ensembles: A Large-Scale Evaluation of Bayesian Deep Learning under Distribution Shift [19.945634052291542]
  我々は、WILDSコレクションから現実のデータセットに対する最新のBDLアルゴリズムを評価し、難解な分類と回帰タスクを含む。 我々は、大規模な、畳み込み、トランスフォーマーベースのニューラルネットワークアーキテクチャにおいて、アルゴリズムを比較した。 そこで本研究では,BDLを用いた大規模事前学習モデルのシステム評価を行った。
  論文  参考訳（メタデータ） (2023-06-21T14:36:03Z)
• On Pitfalls of Test-Time Adaptation [82.8392232222119]
  TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。 TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
  論文  参考訳（メタデータ） (2023-06-06T09:35:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。