Fugu-MT 論文翻訳(概要): Overcoming the Pitfalls of Vision-Language Model Finetuning for OOD Generalization

論文の概要: Overcoming the Pitfalls of Vision-Language Model Finetuning for OOD Generalization

arxiv url: http://arxiv.org/abs/2401.15914v2
Date: Tue, 16 Apr 2024 03:25:25 GMT
ステータス: 処理完了
システム内更新日: 2024-04-17 23:15:44.763753
Title: Overcoming the Pitfalls of Vision-Language Model Finetuning for OOD Generalization
Title（参考訳）: OOD一般化のための視覚言語モデルファインタニングの落とし穴を克服する
Authors: Yuhang Zang, Hanlin Goh, Josh Susskind, Chen Huang,
Abstract要約: 既存の視覚言語モデルは、様々な視覚領域やタスクに対して強力な一般化を示す。本稿では,OOD ゲネラリゼーションを改良するための新しいアプローチである OGEN を提案する。具体的には、未知のクラスのクラス名のみを使用して、OOD機能を合成するために、クラス条件フィーチャジェネレータが導入された。
参考スコア（独自算出の注目度）: 11.140366256534474
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Existing vision-language models exhibit strong generalization on a variety of visual domains and tasks. However, such models mainly perform zero-shot recognition in a closed-set manner, and thus struggle to handle open-domain visual concepts by design. There are recent finetuning methods, such as prompt learning, that not only study the discrimination between in-distribution (ID) and out-of-distribution (OOD) samples, but also show some improvements in both ID and OOD accuracies. In this paper, we first demonstrate that vision-language models, after long enough finetuning but without proper regularization, tend to overfit the known classes in the given dataset, with degraded performance on unknown classes. Then we propose a novel approach OGEN to address this pitfall, with the main focus on improving the OOD GENeralization of finetuned models. Specifically, a class-conditional feature generator is introduced to synthesize OOD features using just the class name of any unknown class. Such synthesized features will provide useful knowledge about unknowns and help regularize the decision boundary between ID and OOD data when optimized jointly. Equally important is our adaptive self-distillation mechanism to regularize our feature generation model during joint optimization, i.e., adaptively transferring knowledge between model states to further prevent overfitting. Experiments validate that our method yields convincing gains in OOD generalization performance in different settings. Code: https://github.com/apple/ml-ogen.
Abstract（参考訳）: 既存の視覚言語モデルは、様々な視覚領域やタスクに対して強力な一般化を示す。しかし、そのようなモデルは主にゼロショット認識をクローズドセットで行うため、設計によってオープンドメインの視覚概念を扱うのに苦労する。近年のファインタニング手法として,ID(in-distriion)とOOD(out-of-distriion)の区別だけでなく,IDとOODの精度にもいくつかの改良が加えられている。本稿では、視覚言語モデルにおいて、十分な微調整をした後、適切な正規化を行わず、未知のクラスの性能を低下させることなく、与えられたデータセットの既知のクラスに過度に適合することを示した。そこで我々は,この落とし穴に対処するための新しいアプローチであるOGENを提案し,その主な焦点は,微調整モデルのOODジェネラリゼーションの改善である。具体的には、未知のクラスのクラス名のみを使用して、OOD機能を合成するために、クラス条件フィーチャジェネレータが導入された。このような合成された機能は未知に関する有用な知識を提供し、共同で最適化された ID と OOD データ間の決定境界を規則化するのに役立ちます。同様に重要なことは、共同最適化中に特徴量生成モデルを正規化するための適応的な自己蒸留機構、すなわち、モデル状態間で知識を適応的に伝達して過度な適合を防止することである。実験により,OODの一般化性能は異なる条件で向上することを確認した。コード:https://github.com/apple/ml-ogen.com

関連論文リスト

FlowCon: Out-of-Distribution Detection using Flow-Based Contrastive Learning [0.0]
我々は新しい密度に基づくOOD検出技術であるtextitFlowConを紹介する。我々の主な革新は、正規化フローの特性と教師付きコントラスト学習を効率的に組み合わせることである。経験的評価は、一般的な視覚データセットにまたがる手法の性能向上を示す。
論文参考訳（メタデータ） (2024-07-03T20:33:56Z)
CRoFT: Robust Fine-Tuning with Concurrent Optimization for OOD Generalization and Open-Set OOD Detection [42.33618249731874]
トレーニングデータにおけるエネルギースコアの最大化は、ドメイン一貫性のあるヘッセンの分類損失につながることを示す。我々は,両タスクの同時最適化を可能にする統合された微調整フレームワークを開発した。
論文参考訳（メタデータ） (2024-05-26T03:28:59Z)
Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
論文参考訳（メタデータ） (2024-01-11T17:56:59Z)
Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。 OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
論文参考訳（メタデータ） (2023-11-03T05:41:25Z)
Retrieval-Enhanced Contrastive Vision-Text Models [61.783728119255365]
そこで本研究では,メモリから取得したクロスモーダルな情報を推論時に表現することで,その埋め込みを洗練できる視覚テキストモデルを提案する。注目すべきことに、これは凍ったCLIPの上に軽量の単層核融合トランスを用いて行うことができる。検索強化コントラスト訓練(RECO)がCLIPの性能を大幅に向上することを示す。
論文参考訳（メタデータ） (2023-06-12T15:52:02Z)
How Does Fine-Tuning Impact Out-of-Distribution Detection for Vision-Language Models? [29.75562085178755]
数ショットダウンストリームタスクに対するOOD検出の微調整の影響について検討する。以上の結果から,OODスコアの適切な選択はCLIPに基づく微調整に不可欠であることが示唆された。また, 即時学習は, ゼロショットに比較して最先端のOOD検出性能を示すことを示す。
論文参考訳（メタデータ） (2023-06-09T17:16:50Z)
Unleashing Mask: Explore the Intrinsic Out-of-Distribution Detection Capability [70.72426887518517]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイする際に、セキュアAIの必須の側面である。本稿では,IDデータを用いた学習モデルのOOD識別能力を復元する新しい手法であるUnleashing Maskを提案する。本手法では, マスクを用いて記憶した非定型サンプルを抽出し, モデルを微調整するか, 導入したマスクでプルーする。
論文参考訳（メタデータ） (2023-06-06T14:23:34Z)
General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文参考訳（メタデータ） (2021-12-20T14:47:32Z)
Who Explains the Explanation? Quantitatively Assessing Feature Attribution Methods [0.0]
本稿では,説明の忠実度を定量化するための新しい評価指標であるフォーカス(Focus)を提案する。ランダム化実験によって測定値のロバスト性を示し、次にFocusを用いて3つの一般的な説明可能性手法を評価し比較する。実験の結果,LRPとGradCAMは一貫性があり信頼性が高いことがわかった。
論文参考訳（メタデータ） (2021-09-28T07:10:24Z)
OODformer: Out-Of-Distribution Detection Transformer [15.17006322500865]
現実世界の安全クリティカルなアプリケーションでは、新しいデータポイントがOODであるかどうかを認識することが重要です。本稿では,OODformer というファースト・オブ・ザ・キンドな OOD 検出アーキテクチャを提案する。
論文参考訳（メタデータ） (2021-07-19T15:46:38Z)
Enhancing the Generalization for Intent Classification and Out-of-Domain Detection in SLU [70.44344060176952]
インテント分類は、音声言語理解(SLU)における主要な課題である近年の研究では、余分なデータやラベルを使用することで、OOD検出性能が向上することが示されている。本稿では、IND意図分類とOOD検出の両方をサポートしながら、INDデータのみを用いてモデルを訓練することを提案する。
論文参考訳（メタデータ） (2021-06-28T08:27:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。