論文の概要: EasyInv: Toward Fast and Better DDIM Inversion

• arxiv url: http://arxiv.org/abs/2408.05159v1
• Date: Fri, 9 Aug 2024 16:31:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-12 15:16:47.000374
• Title: EasyInv: Toward Fast and Better DDIM Inversion
• Title（参考訳）: EasyInv: DDIMの高速かつ優れたインバージョンを目指して
• Authors: Ziyue Zhang, Mingbao Lin, Shuicheng Yan, Rongrong Ji,
• Abstract要約: 本稿では DDIM インバージョンへの容易かつ斬新なアプローチである EasyInv を紹介する。 EasyInvの中核となるのは、逆ノイズを近似するための洗練された戦略です。 我々は、EasyInvが従来のDDIMインバージョン手法と同等かそれ以上の結果を提供することができることを説明している。
• 参考スコア（独自算出の注目度）: 107.52083973660899
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces EasyInv, an easy yet novel approach that significantly advances the field of DDIM Inversion by addressing the inherent inefficiencies and performance limitations of traditional iterative optimization methods. At the core of our EasyInv is a refined strategy for approximating inversion noise, which is pivotal for enhancing the accuracy and reliability of the inversion process. By prioritizing the initial latent state, which encapsulates rich information about the original images, EasyInv steers clear of the iterative refinement of noise items. Instead, we introduce a methodical aggregation of the latent state from the preceding time step with the current state, effectively increasing the influence of the initial latent state and mitigating the impact of noise. We illustrate that EasyInv is capable of delivering results that are either on par with or exceed those of the conventional DDIM Inversion approach, especially under conditions where the model's precision is limited or computational resources are scarce. Concurrently, our EasyInv offers an approximate threefold enhancement regarding inference efficiency over off-the-shelf iterative optimization techniques.
• Abstract（参考訳）: 本稿では,従来の反復最適化手法の非効率性や性能制限に対処することにより,DDIMの逆変換の分野を大幅に発展させる,簡単かつ斬新なアプローチであるEasyInvを紹介する。 EasyInvのコアとなるのは、インバージョン処理の精度と信頼性を高めるために、インバージョンノイズを近似するための洗練された戦略である。 元の画像に関する豊富な情報をカプセル化した初期潜伏状態の優先順位付けにより、EasyInvは、ノイズアイテムの反復的洗練をクリアする。 その代わり,前段階から現在までの潜伏状態の方法論的集約を導入し,初期潜伏状態の影響を効果的に増大させ,騒音の影響を緩和する。 本稿では,従来のDDIMインバージョン手法と同等あるいは同等以上の結果を提供できること,特にモデルの精度が制限されている場合,計算資源が不足している場合について述べる。 同時に、我々のEasyInvは、オフザシェルフ反復最適化技術よりも推論効率を3倍に向上させる。

関連論文リスト

• An Energy-Based Self-Adaptive Learning Rate for Stochastic Gradient Descent: Enhancing Unconstrained Optimization with VAV method [9.298950359150092]
  本稿では,制約のない最適化問題に対して,エネルギーに基づく自己調整可能な学習率最適化手法を提案する。 補助変数$rを組み、無条件のエネルギー散逸法に固執しながら、バックトラックなしで効率的なエネルギー近似を容易にする。特に、VAVは学習速度がより大きく、訓練過程の初期段階においてより高速な収束を実現する。
  論文  参考訳（メタデータ） (2024-11-10T19:39:40Z)
• Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
  本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。 WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
  論文  参考訳（メタデータ） (2024-10-28T04:47:39Z)
• DiP-GO: A Diffusion Pruner via Few-step Gradient Optimization [22.546989373687655]
  本稿では,よりインテリジェントで微分可能なプルーナーを用いて,効率的な拡散モデルを導出する新しいプルーニング法を提案する。 提案手法はSD-1.5の4.4倍の高速化を実現し,従来の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T12:18:24Z)
• Enhancing Zeroth-order Fine-tuning for Language Models with Low-rank Structures [21.18741772731095]
  ゼロ階数(ZO)アルゴリズムは、関数値の有限差を用いて勾配を近似することで、有望な代替手段を提供する。 既存のZO法は、LLM微調整で一般的な低ランク勾配構造を捉えるのに苦労し、準最適性能をもたらす。 本稿では,LLMにおけるこの構造を効果的に捕捉する低ランクZOアルゴリズム(LOZO)を提案する。
  論文  参考訳（メタデータ） (2024-10-10T08:10:53Z)
• FIND: Fine-tuning Initial Noise Distribution with Policy Optimization for Diffusion Models [10.969811500333755]
  本稿では,FIND(Fincent-tuning Initial Noise Distribution)フレームワークのポリシー最適化について紹介する。 提案手法はSOTA法よりも10倍高速である。
  論文  参考訳（メタデータ） (2024-07-28T10:07:55Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• PREM: A Simple Yet Effective Approach for Node-Level Graph Anomaly Detection [65.24854366973794]
  ノードレベルのグラフ異常検出(GAD)は、医学、ソーシャルネットワーク、eコマースなどの分野におけるグラフ構造化データから異常ノードを特定する上で重要な役割を果たす。 本稿では,GADの効率を向上させるために,PREM (preprocessing and Matching) という簡単な手法を提案する。 我々のアプローチは、強力な異常検出機能を維持しながら、GADを合理化し、時間とメモリ消費を削減します。
  論文  参考訳（メタデータ） (2023-10-18T02:59:57Z)
• Optimizing a Transformer-based network for a deep learning seismic processing workflow [0.0]
  StorSeismicは、様々な地震処理タスクに対応するためにTransformerをベースとした最近導入されたモデルである。 微調整作業における事前学習と競争の速さを観察し,バニラモデルと比較してトレーニングすべきパラメータを少なくする。
  論文  参考訳（メタデータ） (2023-08-09T07:11:42Z)
• Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
  視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。 本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-27T05:43:47Z)
• Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
  Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。 計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。 また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-23T06:24:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。