論文の概要: Pruning for Better Domain Generalizability

• arxiv url: http://arxiv.org/abs/2306.13237v1
• Date: Thu, 22 Jun 2023 23:08:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-26 14:07:16.046646
• Title: Pruning for Better Domain Generalizability
• Title（参考訳）: ドメインの汎用性向上のためのプルーニング
• Authors: Xinglong Sun
• Abstract要約: L2のような既存のプルーニング手法は、既にターゲットドメインの性能をわずかに改善することができる。 そこで本研究では,ソース精度を典型的プルーニング作業として維持しないよう設計した,DSSと呼ばれる新しいプルーニングスコアリング手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we investigate whether we could use pruning as a reliable method to boost the generalization ability of the model. We found that existing pruning method like L2 can already offer small improvement on the target domain performance. We further propose a novel pruning scoring method, called DSS, designed not to maintain source accuracy as typical pruning work, but to directly enhance the robustness of the model. We conduct empirical experiments to validate our method and demonstrate that it can be even combined with state-of-the-art generalization work like MIRO(Cha et al., 2022) to further boost the performance. On MNIST to MNIST-M, we could improve the baseline performance by over 5 points by introducing 60% channel sparsity into the model. On DomainBed benchmark and state-of-the-art MIRO, we can further boost its performance by 1 point only by introducing 10% sparsity into the model. Code can be found at: https://github.com/AlexSunNik/Pruning-for-Better-Domain-Generalizability
• Abstract（参考訳）: 本稿では,モデルの一般化能力を向上するために,プルーニングを信頼性の高い手法として利用できるかどうかを検討する。 L2のような既存のプルーニング手法は、既にターゲットドメインの性能をわずかに改善できることがわかった。 さらに, DSSと呼ばれる新しいプルーニングスコアリング手法を提案し, ソース精度を典型的なプルーニング作業として維持するのではなく, モデルの堅牢性を直接的に向上させる。 本手法の有効性を検証するための実証実験を行い,MIRO(Cha et al., 2022)のような最先端の一般化作業と組み合わせることで,さらなる性能向上が期待できることを示す。 MNISTからMNIST-Mでは,60%のチャネル間隔をモデルに導入することにより,ベースライン性能を5ポイント以上向上することができた。 DomainBedベンチマークと最先端MIROでは、モデルに10%の間隔を導入するだけで、パフォーマンスをさらに1ポイント向上できます。 コードは、https://github.com/AlexSunNik/Pruning-for-Better-Domain-Generalizabilityで見ることができる。

関連論文リスト

• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  大規模言語モデルを用いた最適化に基づく構造解析手法を提案する。 我々は,プルーニングモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する。 A100 GPUで13Bモデルに対して約35GBのメモリで2.7時間動作させる。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)
• Theoretically Achieving Continuous Representation of Oriented Bounding Boxes [64.15627958879053]
  本論文は,オブジェクト指向境界ボックス表現における不連続性を完全に解決しようとする試みである。 本研究では,既存の検出器に容易に統合可能なCOBB(Continuous OBB)という新しい表現法を提案する。 OOD評価のためのオープンソースのディープラーニングフレームワークJittorの検出ツールボックスJDetをベースとした,モジュール化されたベンチマークを開発した。
  論文  参考訳（メタデータ） (2024-02-29T09:27:40Z)
• Efficient Prompt Caching via Embedding Similarity [26.456212783693545]
  類似度を埋め込んだ単ラウンド質問問合せタスクにおけるプロンプトキャッシングの予測精度に着目した。 そこで本研究では, 蒸留法を用いて既存の埋込物を微調整し, より良い予測を行う方法を提案する。 また、トレーニングされたモデルが従来の埋め込みモデルよりもキャッシング効率が良いことを示すシミュレーションも行います。
  論文  参考訳（メタデータ） (2024-02-02T06:34:11Z)
• Towards Reliable AI Model Deployments: Multiple Input Mixup for Out-of-Distribution Detection [4.985768723667418]
  本稿では,OOD(Out-of-Distribution)検出問題の解法を提案する。 本手法は, 単一エポック微調整によるOOD検出性能の向上に有効である。 我々の方法は、ゼロからモデルを訓練する必要がなく、簡単に分類器にアタッチできる。
  論文  参考訳（メタデータ） (2023-12-24T15:31:51Z)
• LM-Cocktail: Resilient Tuning of Language Models via Model Merging [8.479219617263498]
  本稿では,細調整モデルが汎用的な視点で弾力性を維持することができるLM-Cocktailを提案する。 本手法はモデルマージの形で実施する。 LLamaモデルとBGEモデルを用いて、一般的なベンチマークで包括的な実験を行う。
  論文  参考訳（メタデータ） (2023-11-22T17:14:54Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• Enhancing the Generalization for Intent Classification and Out-of-Domain Detection in SLU [70.44344060176952]
  インテント分類は、音声言語理解(SLU)における主要な課題である 近年の研究では、余分なデータやラベルを使用することで、OOD検出性能が向上することが示されている。 本稿では、IND意図分類とOOD検出の両方をサポートしながら、INDデータのみを用いてモデルを訓練することを提案する。
  論文  参考訳（メタデータ） (2021-06-28T08:27:38Z)
• Learning Meta Face Recognition in Unseen Domains [74.69681594452125]
  メタ顔認識(MFR)というメタラーニングを用いた新しい顔認識手法を提案する。 MFRは、メタ最適化目標を用いてソース/ターゲットドメインシフトを合成する。 一般化顔認識評価のためのベンチマークを2つ提案する。
  論文  参考訳（メタデータ） (2020-03-17T14:10:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。