論文の概要: Prior-Fitted and Frozen Scorers for Multimodal Contrastive Learning
- arxiv url: http://arxiv.org/abs/2610.14770v1
- Date: Sat, 10 Oct 2026 09:49:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.101428
- Title: Prior-Fitted and Frozen Scorers for Multimodal Contrastive Learning
- Title（参考訳）: マルチモーダルコントラスト学習のための事前設定型・凍結型スコーラ
- Abstract要約: 原則として、マッチしたサンプルに高い互換性を割り当て、ミスマッチしたサンプルに低い互換性を割り当てる関数は、スコアラとして機能する。
スコアラをTransformerでインスタンス化し、フリーズしたままのランダムモデルでも、強い手作りのマルチモーダルコントラストベースラインを上回ります。
4つの実世界のデータセットの中で、凍結したTransformerスコアラーは対照的なベースラインと競合する。
- 参考スコア（独自算出の注目度）: 1.2472265402088736
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal contrastive learning typically relies on manually specified scoring functions, such as cosine similarity, to quantify the similarity between representations from different modalities. Several such functions have been recently proposed to extend contrastive learning beyond two modalities. In principle, however, any function that assigns high compatibility to matched samples and low compatibility to mismatched ones could serve as a scorer. Motivated by this broader view, we instantiate the scorer with a Transformer and find that even a randomly initialized model, when kept frozen, can outperform strong handcrafted multimodal contrastive baselines, whereas optimizing the scorer jointly with the encoders is less effective. Building on this observation, we introduce the Prior-Fitted Scorer (PFS): a Transformer scorer pre-trained on synthetic multimodal data generated from structural causal model (SCM) priors before transferring it to real-world data. The SCM exposes the scorer to diverse dependency structures, including shared, pairwise, and private information, providing a structured prior over higher-order cross-modal similarity. Across four real-world datasets, frozen Transformer scorers are competitive to contrastive baselines, and prior-fitting further improves the random initialization. More broadly, our results suggest that multimodal contrastive learning need not rely on manual similarity functions: Transformers can provide strong inductive biases, while causal pretraining can further shape these biases.
- Abstract（参考訳）: マルチモーダルコントラスト学習は通常、異なるモダリティの表現間の類似性を定量化するために、コサイン類似性のような手動で指定されたスコアリング関数に依存する。
そのような関数のいくつかは、2つのモダリティを超えてコントラスト学習を拡張するために最近提案されている。
しかし、原則として、マッチしたサンプルに高い互換性を割り当て、ミスマッチしたサンプルに低い互換性を割り当てる関数はスコアリングとして機能する。
この広い視点から、スコアラをTransformerでインスタンス化し、凍結したままのランダム初期化モデルであっても、強い手作りのマルチモーダルコントラストベースラインを上回り、エンコーダと共同でスコアラを最適化する方が効果が低いことを確かめる。
本研究は, 構造因果モデル (SCM) から生成された合成マルチモーダルデータに基づいて事前学習したトランスフォーマースコアラーを実世界のデータに転送する前, プリエント・フィット・スコーラー (PFS) を提案する。
SCMはスコアラを、共有、ペアワイズ、プライベート情報を含む様々な依存構造に公開し、高次のクロスモーダルな類似性よりも前に構造化された構造を提供する。
4つの実世界のデータセットにまたがって、凍結されたトランスフォーマースコアラーは対照的なベースラインと競合し、事前適合はランダム初期化をさらに改善する。
より広範に、我々の結果は、マルチモーダルコントラスト学習は手動の類似性関数に頼る必要はないことを示唆している: トランスフォーマーは強い帰納バイアスを与え、因果事前学習はこれらのバイアスをさらに形作ることができる。
関連論文リスト
- Training-Free Transformer Merging via Sequential Local Operator Alignment [62.80152875963259]
トレーニングフリーのモデルマージは、ラベル付きデータにさらなる最適化を加えることなく、複数の微調整されたモデルを単一のモデルに組み合わせることを目的としている。
トランスでは、クエリキーと値出力演算子が合成行列に依存するため、個々のレイヤを独立にマージすることは、共有の注意に影響を与える可能性がある。
本稿では,部分的にマージされたモデルの実行経路に沿ってトランスフォーマーをマージするトレーニングフリーな手法であるSequential Local Operator Alignmentを紹介する。
論文 参考訳（メタデータ） (2026-10-05T14:30:28Z) - Feature-level Interaction Explanations in Multimodal Transformers [1.7101146971136896]
マルチモーダルトランスフォーマーは、異なるモーダルが共同で意思決定をどのように支援するかを明確にすることなく、予測を生成する。
本稿では,凍結した事前学習エンコーダからトークン/パッチシーケンスを直接操作する構造化Mixture-of-Experts層であるFeature-level I2MoEを提案する。
我々は,帰属とトップK%マスキングを組み合わせ,忠実度を評価する専門的な説明パイプラインを開発する。
論文 参考訳（メタデータ） (2026-03-04T18:24:31Z) - UniT: Unified Multimodal Chain-of-Thought Test-time Scaling [85.590774707406]
統一モデルは単一のアーキテクチャ内でマルチモーダル理解と生成の両方を扱うことができるが、通常は出力を反復的に書き換えることなく単一のパスで操作する。
マルチモーダルなテストタイムスケーリングのためのフレームワークであるUniTを導入し、単一の統一モデルで複数のラウンドをまたいだ推論、検証、精査を可能にします。
論文 参考訳（メタデータ） (2026-02-12T18:59:49Z) - PRISM: Diversifying Dataset Distillation by Decoupling Architectural Priors [8.66115045973379]
PRISM (PRIors from various Source Models) は、合成中にアーキテクチャの先行を混乱させるフレームワークである。
ImageNet-1Kでは、PRISMは一貫して、再現的にシングルテラーメソッドより優れています。
論文 参考訳（メタデータ） (2025-11-13T03:06:14Z) - Improve Contrastive Clustering Performance by Multiple Fusing-Augmenting ViT Blocks [9.66175383697435]
我々は、視覚変換器(ViT)の優れた特徴学習能力に基づいて、新しいFusing-augmenting ViT Block (MFAVBs) を設計する。
コントラストクラスタリングのバックボーンとして機能するMFAVBは、クラスタリング性能の点で最先端技術よりも優れている。
論文 参考訳（メタデータ） (2025-11-12T01:37:48Z) - Multi-Level Aware Preference Learning: Enhancing RLHF for Complex Multi-Instruction Tasks [81.44256822500257]
RLHFは、人工知能システムと人間の好みを結びつける主要なアプローチとして登場した。
RLHFは、複雑なマルチインストラクションタスクに直面すると、不十分なコンプライアンス機能を示す。
本稿では,マルチインストラクション能力を向上させる新しいMAPL(Multi-level Aware Preference Learning)フレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-19T08:33:11Z) - Comateformer: Combined Attention Transformer for Semantic Sentence Matching [11.746010399185437]
本稿では,トランスフォーマーモデルに基づくコンバインド・アテンション・ネットワークという新しい意味文マッチングモデルを提案する。
Comateformer モデルでは,構成特性を持つ新しい変圧器を用いた準アテンション機構を設計する。
提案手法は,双対親和性スコアを計算する際の類似性と相似性(負親和性)の直感に基づく。
論文 参考訳（メタデータ） (2024-12-10T06:18:07Z) - Tracing Representation Progression: Analyzing and Enhancing Layer-Wise Similarity [20.17288970927518]
本研究では,各変圧器の隠蔽層間の表現の類似性について検討する。
層間の表現が正の相関を示し、層が近づくと類似度が増加する。
浅い層の有効性を向上させるためのアライメント・トレーニング手法を提案する。
論文 参考訳（メタデータ） (2024-06-20T16:41:09Z) - Improving Out-of-Distribution Robustness of Classifiers via Generative
Interpolation [56.620403243640396]
ディープニューラルネットワークは、独立かつ同一に分散されたデータ(すなわち、d)から学習する上で、優れたパフォーマンスを達成する。
しかし、アウト・オブ・ディストリビューション(OoD)データを扱う場合、その性能は著しく低下する。
多様なOoDサンプルを合成するために,複数のドメインから学習した生成モデルを融合するための生成補間法(Generative Interpolation)を開発した。
論文 参考訳（メタデータ） (2023-07-23T03:53:53Z) - Mutual Exclusivity Training and Primitive Augmentation to Induce
Compositionality [84.94877848357896]
最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。
本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。
広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
論文 参考訳（メタデータ） (2022-11-28T17:36:41Z) - Exploring Complementary Strengths of Invariant and Equivariant
Representations for Few-Shot Learning [96.75889543560497]
多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。
少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。
幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
論文 参考訳（メタデータ） (2021-03-01T21:14:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。