論文の概要: Re-Thinking Inverse Graphics With Large Language Models

• arxiv url: http://arxiv.org/abs/2404.15228v2
• Date: Sat, 24 Aug 2024 03:51:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-27 23:46:51.208519
• Title: Re-Thinking Inverse Graphics With Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた逆グラフの再合成
• Authors: Peter Kulits, Haiwen Feng, Weiyang Liu, Victoria Abrevaya, Michael J. Black,
• Abstract要約: 逆グラフィックス -- イメージを物理変数に反転させ、レンダリングすると観察されたシーンの再現を可能にする -- は、コンピュータビジョンとグラフィックスにおいて根本的な課題である。 LLMを中心とした逆グラフフレームワークである逆グラフ大言語モデル(IG-LLM)を提案する。 我々は、凍結した事前学習されたビジュアルエンコーダと連続的な数値ヘッドを組み込んで、エンドツーエンドのトレーニングを可能にする。
• 参考スコア（独自算出の注目度）: 51.333105116400205
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inverse graphics -- the task of inverting an image into physical variables that, when rendered, enable reproduction of the observed scene -- is a fundamental challenge in computer vision and graphics. Successfully disentangling an image into its constituent elements, such as the shape, color, and material properties of the objects of the 3D scene that produced it, requires a comprehensive understanding of the environment. This complexity limits the ability of existing carefully engineered approaches to generalize across domains. Inspired by the zero-shot ability of large language models (LLMs) to generalize to novel contexts, we investigate the possibility of leveraging the broad world knowledge encoded in such models to solve inverse-graphics problems. To this end, we propose the Inverse-Graphics Large Language Model (IG-LLM), an inverse-graphics framework centered around an LLM, that autoregressively decodes a visual embedding into a structured, compositional 3D-scene representation. We incorporate a frozen pre-trained visual encoder and a continuous numeric head to enable end-to-end training. Through our investigation, we demonstrate the potential of LLMs to facilitate inverse graphics through next-token prediction, without the application of image-space supervision. Our analysis enables new possibilities for precise spatial reasoning about images that exploit the visual knowledge of LLMs. We release our code and data at https://ig-llm.is.tue.mpg.de/ to ensure the reproducibility of our investigation and to facilitate future research.
• Abstract（参考訳）: 逆グラフィックス - イメージを物理変数に変換するタスクで、レンダリングされると観察されたシーンの再生を可能にする - は、コンピュータビジョンとグラフィックスの基本的な課題である。 画像が3Dシーンのオブジェクトの形状、色、材料特性などの構成要素に切り離されるのに成功するには、環境を包括的に理解する必要がある。 この複雑さは、ドメインをまたいで一般化する既存の慎重に設計されたアプローチの能力を制限します。 大規模言語モデル(LLM)が新しい文脈に一般化するゼロショット能力に着想を得て,そのようなモデルに符号化された広い世界知識を活用して,逆グラフ問題の解法を提案する。 そこで本研究では,LLMを中心とした逆グラフフレームワークである逆グラフ大言語モデル(IG-LLM)を提案する。 我々は、凍結した事前学習されたビジュアルエンコーダと連続的な数値ヘッドを組み込んで、エンドツーエンドのトレーニングを可能にする。 本研究は,画像空間の監督を使わずに,次から次へと予測することで,逆グラフィックスを促進するLLMの可能性を実証するものである。 本分析により,LLMの視覚的知識を利用した画像の空間的推論が可能となった。 コードとデータはhttps://ig-llm.is.tue.mpg.de/で公開しています。

関連論文リスト

• BlenderAlchemy: Editing 3D Graphics with Vision-Language Models [4.852796482609347]
  ビジョンベースの編集生成器と状態評価器が協力して、目標を達成するための正しいアクションのシーケンスを見つける。 人間のデザインプロセスにおける視覚的想像力の役割に触発されて、視覚言語モデルの視覚的推論能力を「想像された」参照画像で補う。
  論文  参考訳（メタデータ） (2024-04-26T19:37:13Z)
• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• FMGS: Foundation Model Embedded 3D Gaussian Splatting for Holistic 3D Scene Understanding [11.118857208538039]
  基礎モデルの視覚言語埋め込みを3次元ガウススプラッティング(GS)に組み込んだ基礎モデル埋め込みガウススプラッティング(S)を提案する。 結果は、多面的なセマンティック一貫性を示し、様々な下流タスクを容易にし、オープン語彙言語に基づくオブジェクト検出において、最先端のメソッドを10.2%上回った。 本研究では,視覚・言語・3次元シーン表現の交わりについて検討し,制御されていない現実世界環境におけるシーン理解の強化の道を開く。
  論文  参考訳（メタデータ） (2024-01-03T20:39:02Z)
• The Potential of Visual ChatGPT For Remote Sensing [0.0]
  本稿では、リモートセンシング領域に関連する画像処理の側面に取り組むために、Visual ChatGPTの可能性を考察する。 テキスト入力に基づく画像の処理能力は、様々な分野に革命をもたらす可能性がある。 LLMと視覚モデルの組み合わせは、まだ初期の段階ではあるが、リモートセンシング画像処理を変換する大きな可能性を秘めていると信じている。
  論文  参考訳（メタデータ） (2023-04-25T17:29:47Z)
• 3D-IntPhys: Towards More Generalized 3D-grounded Visual Intuitive Physics under Challenging Scenes [68.66237114509264]
  複雑なシーンと流体の映像から3次元的な視覚的直感的な物理モデルを学習できるフレームワークを提案する。 本モデルでは,生画像から学習し,明示的な3次元表現空間を用いないモデルよりもはるかに優れた将来予測が可能であることを示す。
  論文  参考訳（メタデータ） (2023-04-22T19:28:49Z)
• What does CLIP know about a red circle? Visual prompt engineering for VLMs [116.8806079598019]
  テキストの代わりに画像空間を編集することで、分類を超えたコンピュータビジョンタスクを解くための視覚的プロンプトエンジニアリングのアイデアを探求する。 キーポイントのローカライゼーションタスクにおけるゼロショット参照表現の理解と強力な性能を両立させることにより,このシンプルなアプローチのパワーを示す。
  論文  参考訳（メタデータ） (2023-04-13T17:58:08Z)
• Image GANs meet Differentiable Rendering for Inverse Graphics and Interpretable 3D Neural Rendering [101.56891506498755]
  異なるレンダリングによって、ニューラルネットワークをトレーニングして"逆グラフィックス"タスクを実行する方法が舗装された。 提案手法は,既存のデータセットでトレーニングした最先端の逆グラフネットワークを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2020-10-18T22:29:07Z)
• Weakly Supervised Learning of Multi-Object 3D Scene Decompositions Using Deep Shape Priors [69.02332607843569]
  PriSMONetは、単一画像から多目的3Dシーンの分解と表現を学習するための新しいアプローチである。 リカレントエンコーダは、入力されたRGB画像から、各オブジェクトの3D形状、ポーズ、テクスチャの潜時表現を回帰する。 我々は,3次元シーンレイアウトの推測におけるモデルの精度を評価し,その生成能力を実証し,実画像への一般化を評価し,学習した表現の利点を指摘する。
  論文  参考訳（メタデータ） (2020-10-08T14:49:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。