Fugu-MT 論文翻訳(概要): Domain-Aware Fine-Tuning of Foundation Models

論文の概要: Domain-Aware Fine-Tuning of Foundation Models

arxiv url: http://arxiv.org/abs/2407.03482v1
Date: Wed, 3 Jul 2024 20:10:55 GMT
ステータス: 処理完了
システム内更新日: 2024-07-08 19:51:01.672638
Title: Domain-Aware Fine-Tuning of Foundation Models
Title（参考訳）: 基礎モデルのドメイン対応微調整
Authors: Ugur Ali Kaplan, Margret Keuper, Anna Khoreva, Dan Zhang, Yumeng Li,
Abstract要約: ファンデーションモデル(FM)はコンピュータビジョンに革命をもたらし、異なるドメイン間で効果的な学習を可能にした。本稿では、異なるバックボーンアーキテクチャの比較により、FMのゼロショット領域適応ポテンシャルについて検討する。ドメイン関連テキスト埋め込みを利用した新しいドメイン認識コンポーネントを提案する。
参考スコア（独自算出の注目度）: 18.336887359257087
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Foundation models (FMs) have revolutionized computer vision, enabling effective learning across different domains. However, their performance under domain shift is yet underexplored. This paper investigates the zero-shot domain adaptation potential of FMs by comparing different backbone architectures and introducing novel domain-aware components that leverage domain related textual embeddings. We propose domain adaptive normalization, termed as Domino, which explicitly leverages domain embeddings during fine-tuning, thus making the model domain aware. Ultimately, Domino enables more robust computer vision models that can adapt effectively to various unseen domains.
Abstract（参考訳）: ファンデーションモデル(FM)はコンピュータビジョンに革命をもたらし、異なるドメイン間で効果的な学習を可能にした。しかし、ドメインシフト時のパフォーマンスはまだ過小評価されていない。本稿では、異なるバックボーンアーキテクチャを比較し、ドメイン関連テキスト埋め込みを利用した新しいドメイン認識コンポーネントを導入することにより、FMのゼロショットドメイン適応の可能性を検討する。本研究では,ドメイン適応正規化を提案する。Dominoと呼ばれるドメイン適応正規化は,微調整中にドメイン埋め込みを明示的に活用することで,モデルドメインを意識する。最終的にDominoは、さまざまな未確認領域に効果的に適応できる、より堅牢なコンピュータビジョンモデルを実現する。

関連論文リスト

Retrievable Domain-Sensitive Feature Memory for Multi-Domain Recommendation [29.044218200986695]
本稿では、分布とモデル予測への影響の両方において、様々な領域に有意な差異のある特徴に焦点を当てる。特徴集合とドメインの区別を最もよく反映する特徴を特定するために,ドメイン依存的特徴属性法を提案する。我々は、ドメイン依存機能からドメイン固有情報を抽出し、モデルを検索して統合するメモリアーキテクチャを設計する。
論文参考訳（メタデータ） (2024-05-21T16:02:06Z)
DomainVerse: A Benchmark Towards Real-World Distribution Shifts For Tuning-Free Adaptive Domain Generalization [27.099706316752254]
我々はAdaptive Domain Generalization (ADG)のための新しいデータセットDomainVerseを確立する。 DomainVerseは、導入した階層的なドメインシフトの定義に相応しく、390のきめ細かい現実的なドメインから約0.5万の画像で構成されている。チューニング不要適応型ドメイン一般化のためのDomain CLIPとDomain++ CLIPという2つの手法を提案する。
論文参考訳（メタデータ） (2024-03-05T07:10:25Z)
Meta-causal Learning for Single Domain Generalization [102.53303707563612]
単一ドメインの一般化は、単一のトレーニングドメイン(ソースドメイン)からモデルを学び、それを複数の未確認テストドメイン(ターゲットドメイン)に適用することを目的としている。既存の方法は、ターゲットドメインをカバーするためのトレーニングドメインの配布拡大に重点を置いているが、ソースとターゲットドメイン間のドメインシフトを見積もることはできない。そこで本研究では,まず,対象ドメインとして補助ドメインを構築することによってドメインシフトをシミュレートし,ドメインシフトの原因を解析し,最終的にモデル適応のためのドメインシフトを低減する,新たな学習パラダイムを提案する。
論文参考訳（メタデータ） (2023-04-07T15:46:38Z)
Aggregation of Disentanglement: Reconsidering Domain Variations in Domain Generalization [9.577254317971933]
ドメイン変種には、下流のタスクに有用な情報、すなわち分類対応情報も含まれている、と我々は主張する。本稿では,ドメインエキスパートの特徴をソース・ドメイン・イメージから切り離すために,DDN(Domain Disentanglement Network)と呼ばれる新しいパラダイムを提案する。また、ドメインの専門家がよりバランスよく分離可能な機能空間を形成するための、新しい対照的な学習方法を提案します。
論文参考訳（メタデータ） (2023-02-05T09:48:57Z)
M2D2: A Massively Multi-domain Language Modeling Dataset [76.13062203588089]
ドメイン適応(LM)を研究するための細粒度多ドメインコーパスM2D2を提案する。ウィキペディアとArXivから派生したカテゴリを用いて、各データソース内のドメインを22のグループに分類する。我々は、LMをドメイン階層に沿って適用することの利点を示し、より少量のドメイン固有のデータに適応することで、ドメイン内のパフォーマンスが向上することを示した。
論文参考訳（メタデータ） (2022-10-13T21:34:52Z)
Domain Invariant Masked Autoencoders for Self-supervised Learning from Multi-domains [73.54897096088149]
マルチドメインからの自己教師型学習のためのドメイン不変のMasked AutoEncoder (DiMAE)を提案する。中心となる考え方は、入力画像を異なるドメインからのスタイルノイズで拡張し、拡張イメージの埋め込みからイメージを再構築することである。 PACSとDomainNetの実験は、最近の最先端の手法と比較して、DiMAEがかなりの利益を得ていることを示している。
論文参考訳（メタデータ） (2022-05-10T09:49:40Z)
Open Domain Generalization with Domain-Augmented Meta-Learning [83.59952915761141]
オープンドメイン一般化(OpenDG)の新しい実践的問題について研究する。本稿では,オープンドメイン一般化表現を学ぶためのメタ学習フレームワークを提案する。種々のマルチドメインデータセットの実験結果から、提案したドメイン拡張メタラーニング(DAML)が、未確認ドメイン認識の先行手法より優れていることが示された。
論文参考訳（メタデータ） (2021-04-08T09:12:24Z)
Domain2Vec: Domain Embedding for Unsupervised Domain Adaptation [56.94873619509414]
従来の教師なしドメイン適応は、限られた数のドメイン間の知識伝達を研究する。本稿では,特徴不整合とグラム行列の連成学習に基づいて,視覚領域のベクトル表現を提供する新しいDomain2Vecモデルを提案する。我々の埋め込みは、異なるドメイン間の視覚的関係に関する直感と一致するドメイン類似性を予測できることを示した。
論文参考訳（メタデータ） (2020-07-17T22:05:09Z)
Domain Adaptation for Semantic Parsing [68.81787666086554]
本稿では,ドメイン適応のための新しいセマンティクスを提案する。このセマンティクスでは,ソースドメインと比較して,対象ドメインのアノテーション付きデータがはるかに少ない。我々のセマンティックな利点は、2段階の粗大なフレームワークから得ており、2段階の異なる正確な処理を提供できる。ベンチマークデータセットの実験により、我々の手法はいくつかの一般的なドメイン適応戦略より一貫して優れていることが示された。
論文参考訳（メタデータ） (2020-06-23T14:47:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。