論文の概要: Robust multimodal models have outlier features and encode more concepts
- arxiv url: http://arxiv.org/abs/2310.13040v1
- Date: Thu, 19 Oct 2023 17:59:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 01:56:06.256850
- Title: Robust multimodal models have outlier features and encode more concepts
- Title(参考訳): ロバストなマルチモーダルモデルは、外れた特徴を持ち、より多くの概念をエンコードする
- Authors: Jonathan Crabb\'e, Pau Rodr\'iguez, Vaishaal Shankar, Luca Zappella,
Arno Blaas
- Abstract要約: 種々のバックボーンと事前学習セットを持つ12個の頑健なマルチモーダルモデルの表現空間を探索する。
これらのモデルの表現空間では、ロバスト性の2つのシグネチャが見つかる。
これらの洞察は、モデルプルーニングや機械論的解釈可能性など、様々な分野における将来の研究の道を開く。
- 参考スコア(独自算出の注目度): 14.555055710021715
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: What distinguishes robust models from non-robust ones? This question has
gained traction with the appearance of large-scale multimodal models, such as
CLIP. These models have demonstrated unprecedented robustness with respect to
natural distribution shifts. While it has been shown that such differences in
robustness can be traced back to differences in training data, so far it is not
known what that translates to in terms of what the model has learned. In this
work, we bridge this gap by probing the representation spaces of 12 robust
multimodal models with various backbones (ResNets and ViTs) and pretraining
sets (OpenAI, LAION-400M, LAION-2B, YFCC15M, CC12M and DataComp). We find two
signatures of robustness in the representation spaces of these models: (1)
Robust models exhibit outlier features characterized by their activations, with
some being several orders of magnitude above average. These outlier features
induce privileged directions in the model's representation space. We
demonstrate that these privileged directions explain most of the predictive
power of the model by pruning up to $80 \%$ of the least important
representation space directions without negative impacts on model accuracy and
robustness; (2) Robust models encode substantially more concepts in their
representation space. While this superposition of concepts allows robust models
to store much information, it also results in highly polysemantic features,
which makes their interpretation challenging. We discuss how these insights
pave the way for future research in various fields, such as model pruning and
mechanistic interpretability.
- Abstract(参考訳): 堅牢モデルと非ロバストモデルとの違いは何か?
この問題は、CLIPのような大規模マルチモーダルモデルの出現によって、注目を集めている。
これらのモデルは、自然分布シフトに関して前例のない堅牢性を示している。
このようなロバスト性の違いは、トレーニングデータの違いに遡ることができることが示されているが、モデルが何を学んだかは今のところ分かっていない。
本研究では,12個の頑健なマルチモーダルモデルの表現空間を様々なバックボーン (ResNets と ViTs) と事前学習セット (OpenAI, LAION-400M, LAION-2B, YFCC15M, CC12M, DataComp) で探索することにより,このギャップを埋める。
1)ロバストモデルは、それらのアクティベーションによって特徴づけられる不規則な特徴を示し、いくつかは平均より数桁のオーダーである。
これらの外れた特徴は、モデルの表現空間における特権的方向を誘導する。
2) ロバストモデルは,モデルの精度やロバスト性に悪影響を及ぼすことなく,最重要でない表現空間の方向を最大80 \%$ でプルーピングすることで,モデルの予測力のほとんどを説明できることを実証した。
この概念の重ね合わせは、ロバストなモデルに多くの情報を格納させるが、非常に多意味な特徴をもたらすため、解釈は困難である。
これらの知見が、モデルプルーニングや機械的解釈可能性など、様々な分野における将来の研究の道を開く方法について論じる。
関連論文リスト
- Rethinking Robustness of Model Attributions [24.317595434521504]
多くの属性手法は脆弱であり,これらの手法やモデルトレーニングの改良が提案されている。
まず、ロバスト性に関する既存の指標は、アトリビューションにおける合理的な局所的なシフトを過度に負担する。
本稿では,ロバストネス指標における画素の局所性と属性における画素位置の多様性を組み込んだ既存メトリクスと属性手法の簡易な強化手法を提案する。
論文 参考訳(メタデータ) (2023-12-16T20:20:38Z) - OtterHD: A High-Resolution Multi-modality Model [57.16481886807386]
OtterHD-8Bは、高解像度の視覚入力を粒度精度で解釈するために設計された革新的なマルチモーダルモデルである。
本研究は,大規模マルチモーダルモデルにおける柔軟性と高分解能入力能力の重要な役割を明らかにする。
論文 参考訳(メタデータ) (2023-11-07T18:59:58Z) - Discriminative Feature Attributions: Bridging Post Hoc Explainability
and Inherent Interpretability [29.459228981179674]
ポストホックの説明は、基礎となるタスクにとって重要でない、あるいは差別的でない機能に、誤って高い重要性がある。
一方、モデルアーキテクチャに説明を明示的にエンコードすることでこれらの問題を回避することができる。
本研究では,ディストラクタ消去に頑健なブラックボックスモデルを適応させる手法であるディストラクタ消去調整法(DiET)を提案する。
論文 参考訳(メタデータ) (2023-07-27T17:06:02Z) - Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。
我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
論文 参考訳(メタデータ) (2023-03-13T16:00:31Z) - Training Trajectories of Language Models Across Scales [99.38721327771208]
言語モデルのスケールアップは、前例のないパフォーマンス向上につながった。
異なるサイズの言語モデルは事前学習中にどのように学習するか?
より大きな言語モデルはなぜ望ましい振る舞いを示すのか?
論文 参考訳(メタデータ) (2022-12-19T19:16:29Z) - Investigating Ensemble Methods for Model Robustness Improvement of Text
Classifiers [66.36045164286854]
既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。
適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
論文 参考訳(メタデータ) (2022-10-28T17:52:10Z) - Mind the Gap: Understanding the Modality Gap in Multi-modal Contrastive
Representation Learning [35.25854322376364]
CLIPのようなマルチモーダルモデルにおいて、データモダリティは、その共有表現に腕の長さに埋め込まれていることが示される。
対照的に、学習は、損失関数の温度パラメータの影響を受け、特定の距離で異なるモードを分離する。
実験により, モダリティギャップ距離の変化は, 下流のゼロショット分類性能と公平性を改善する上で大きな影響を与えることが示された。
論文 参考訳(メタデータ) (2022-03-03T22:53:54Z) - Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。
言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
論文 参考訳(メタデータ) (2022-01-08T00:47:50Z) - Beyond Trivial Counterfactual Explanations with Diverse Valuable
Explanations [64.85696493596821]
コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。
本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。
このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
論文 参考訳(メタデータ) (2021-03-18T12:57:34Z) - What shapes feature representations? Exploring datasets, architectures,
and training [14.794135558227682]
自然主義的な学習問題では、モデルの入力には幅広い特徴が含まれており、いくつかは手元にあるタスクに有用である。
これらの疑問はモデル決定の基盤を理解する上で重要である。
入力特徴のタスク関連性を直接制御できる合成データセットを用いて,これらの質問について検討する。
論文 参考訳(メタデータ) (2020-06-22T17:02:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。