論文の概要: Intrinsic LoRA: A Generalist Approach for Discovering Knowledge in Generative Models

• arxiv url: http://arxiv.org/abs/2311.17137v2
• Date: Mon, 24 Jun 2024 01:42:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 02:42:42.805516
• Title: Intrinsic LoRA: A Generalist Approach for Discovering Knowledge in Generative Models
• Title（参考訳）: Intrinsic LoRA:ジェネレーティブモデルにおける知識発見のための一般的アプローチ
• Authors: Xiaodan Du, Nicholas Kolkin, Greg Shakhnarovich, Anand Bhattad,
• Abstract要約: 生成モデルは、実際のシーンを忠実に模倣するイメージの作成に優れており、本質的にシーン表現をエンコードしていることを示唆している。 Intrinsic LoRAは、LoRA(Lo-Rank Adaptation)を用いて、様々な生成モデルから、正常、深さ、アルベド、シェーディングなどのシーン固有性を発見する一般的なアプローチである。 我々のアプローチは拡散モデル、GAN、自動回帰モデルにも適用でき、原画像と同じ出力ヘッドを用いて内在性を生成する。
• 参考スコア（独自算出の注目度）: 9.150015362687876
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative models excel at creating images that closely mimic real scenes, suggesting they inherently encode scene representations. We introduce Intrinsic LoRA (I-LoRA), a general approach that uses Low-Rank Adaptation (LoRA) to discover scene intrinsics such as normals, depth, albedo, and shading from a wide array of generative models. I-LoRA is lightweight, adding minimally to the model's parameters and requiring very small datasets for this knowledge discovery. Our approach, applicable to Diffusion models, GANs, and Autoregressive models alike, generates intrinsics using the same output head as the original images. Through control experiments, we establish a correlation between the generative model's quality and the extracted intrinsics' accuracy. Finally, scene intrinsics obtained by our method with just hundreds to thousands of labeled images, perform on par with those from supervised methods trained on millions of labeled examples.
• Abstract（参考訳）: 生成モデルは、実際のシーンを忠実に模倣するイメージの作成に優れており、本質的にシーン表現をエンコードしていることを示唆している。 Intrinsic LoRA (I-LoRA) は,Low-Rank Adaptation (LoRA) を用いて,様々な生成モデルから,通常,深さ,アルベド,シェーディングなどのシーン内在性を発見する一般手法である。 I-LoRAは軽量で、モデルのパラメータに最小限を追加し、この知識発見には非常に小さなデータセットを必要とする。 我々のアプローチは拡散モデル、GAN、自動回帰モデルにも適用でき、原画像と同じ出力ヘッドを用いて内在性を生成する。 制御実験により,生成モデルの品質と抽出した内科的精度の相関関係を確立する。 最後に, 数百から数千のラベル付き画像を用いて, 数百万のラベル付きサンプルに基づいて学習した教師あり手法と同等のシーン内在性を示す。

関連論文リスト

• DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
  DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。 本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
  論文  参考訳（メタデータ） (2024-06-17T21:15:13Z)
• Are Images Indistinguishable to Humans Also Indistinguishable to Classifiers? [39.31679737754048]
  ニューラルネットワークベースの分類器の観点からは、高度な拡散モデルでさえもこの目標には程遠いことが示される。 本手法は,生成したデータの特定の特徴を解析することにより,拡散モデルの診断ツールとして自然に機能する。 モデルオートファジー障害に光を当て、生成されたデータの使用に関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-05-28T10:25:06Z)
• How to Trace Latent Generative Model Generated Images without Artificial Watermark? [88.04880564539836]
  潜在生成モデルによって生成された画像に関する潜在的な誤用に関する懸念が持ち上がっている。 検査されたモデルの生成された画像をトレースするために,レイトタントトラッカーと呼ばれる潜時反転に基づく手法を提案する。 提案手法は,検査したモデルと他の画像から生成された画像とを高精度かつ効率的に識別できることを示す。
  論文  参考訳（メタデータ） (2024-05-22T05:33:47Z)
• Ref-Diff: Zero-shot Referring Image Segmentation with Generative Models [68.73086826874733]
  本稿では,画像分割を参照するための新しい参照拡散分割器(Referring Diffusional segmentor, Ref-Diff)を提案する。 提案生成器がなければ、生成モデルだけで既存のSOTAの弱教師付きモデルに匹敵する性能を達成できることを実証する。 このことは、生成モデルがこのタスクに有益であり、より優れたセグメンテーションを参照するために識別モデルを補完できることを示している。
  論文  参考訳（メタデータ） (2023-08-31T14:55:30Z)
• Reveal to Revise: An Explainable AI Life Cycle for Iterative Bias Correction of Deep Models [11.879170124003252]
  最先端の機械学習モデルは、トレーニングデータに埋め込まれた急激な相関を学習することが多い。 これにより、これらのモデルを高い意思決定のためにデプロイする際のリスクが生じる。 そこで我々はReveal to Revise (R2R)を提案する。
  論文  参考訳（メタデータ） (2023-03-22T15:23:09Z)
• Natural scene reconstruction from fMRI signals using generative latent diffusion [1.90365714903665]
  我々はBrain-Diffuserと呼ばれる2段階のシーン再構築フレームワークを提示する。 第1段階では、VDVAE(Very Deep Vari Autoencoder)モデルを用いて、低レベル特性と全体レイアウトをキャプチャする画像を再構成する。 第2段階では、予測されたマルチモーダル(テキストおよび視覚)特徴に基づいて、遅延拡散モデルのイメージ・ツー・イメージ・フレームワークを使用する。
  論文  参考訳（メタデータ） (2023-03-09T15:24:26Z)
• InvGAN: Invertible GANs [88.58338626299837]
  InvGANはInvertible GANの略で、高品質な生成モデルの潜在空間に実際の画像を埋め込むことに成功した。 これにより、画像のインペイント、マージ、オンラインデータ拡張を実行できます。
  論文  参考訳（メタデータ） (2021-12-08T21:39:00Z)
• NP-DRAW: A Non-Parametric Structured Latent Variable Modelfor Image Generation [139.8037697822064]
  NP-DRAWと呼ばれる画像生成のための非パラメトリック構造化潜在変数モデルを提案する。 後続のキャンバスをパーツ単位で順次描画し、それをキャンバスからデコードする。
  論文  参考訳（メタデータ） (2021-06-25T05:17:55Z)
• Understanding invariance via feedforward inversion of discriminatively trained classifiers [30.23199531528357]
  過去の研究では、出力ログに余計な視覚的詳細が残っていることが判明した。 極めて高い忠実度を再現するフィードフォワードインバージョンモデルを開発する。 私たちのアプローチはBigGANをベースにしており、1ホットクラスのラベルの代わりにロジットのコンディショニングを行います。
  論文  参考訳（メタデータ） (2021-03-15T17:56:06Z)
• Counterfactual Generative Networks [59.080843365828756]
  画像生成過程を直接監督せずに訓練する独立した因果機構に分解することを提案する。 適切な誘導バイアスを活用することによって、これらのメカニズムは物体の形状、物体の質感、背景を解き放つ。 その結果, 偽画像は, 元の分類タスクにおける性能の低下を伴い, 分散性が向上することが示された。
  論文  参考訳（メタデータ） (2021-01-15T10:23:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。