論文の概要: Beyond Pixels: A Differentiable Pipeline for Probing Neuronal Selectivity in 3D
- arxiv url: http://arxiv.org/abs/2510.13433v1
- Date: Wed, 15 Oct 2025 11:29:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-16 20:13:28.645483
- Title: Beyond Pixels: A Differentiable Pipeline for Probing Neuronal Selectivity in 3D
- Title(参考訳): レンズを超える:3Dで神経選択性を見極めるパイプライン
- Authors: Pavithra Elumalai, Mohammad Bashiri, Goirik Chakrabarty, Suhas Shrinivasan, Fabian H. Sinz,
- Abstract要約: 現在のアプローチは主に2Dピクセルで運用されており、物理的シーン特性の選択性を分離することは困難である。
変形可能なメッシュを最適化して,MEIを直接3Dで取得する,微分可能なレンダリングパイプラインを導入する。
このアプローチは、逆グラフィックをシステム神経科学にブリッジし、物理的に接地された3D刺激で神経選択性を探索する方法を提供する。
- 参考スコア(独自算出の注目度): 8.691413545159554
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Visual perception relies on inference of 3D scene properties such as shape, pose, and lighting. To understand how visual sensory neurons enable robust perception, it is crucial to characterize their selectivity to such physically interpretable factors. However, current approaches mainly operate on 2D pixels, making it difficult to isolate selectivity for physical scene properties. To address this limitation, we introduce a differentiable rendering pipeline that optimizes deformable meshes to obtain MEIs directly in 3D. The method parameterizes mesh deformations with radial basis functions and learns offsets and scales that maximize neuronal responses while enforcing geometric regularity. Applied to models of monkey area V4, our approach enables probing neuronal selectivity to interpretable 3D factors such as pose and lighting. This approach bridges inverse graphics with systems neuroscience, offering a way to probe neural selectivity with physically grounded, 3D stimuli beyond conventional pixel-based methods.
- Abstract(参考訳): 視覚知覚は、形状、ポーズ、照明などの3Dシーン特性の推測に依存する。
視覚感覚ニューロンがいかに堅牢な知覚を可能にするかを理解するためには、その選択性をこのような物理的に解釈可能な要因に特徴付けることが不可欠である。
しかし、現在のアプローチは主に2Dピクセルで動作するため、物理的シーン特性の選択性を分離することは困難である。
この制限に対処するために,変形可能なメッシュを最適化してMEIを直接3Dで取得する,微分可能なレンダリングパイプラインを導入する。
この方法は、放射基底関数でメッシュ変形をパラメタライズし、幾何学的規則性を強制しながら、ニューロンの応答を最大化するオフセットとスケールを学ぶ。
サル領域V4のモデルに適用することにより,ポーズやライティングなどの3D因子を解釈する神経選択性の探索が可能となった。
このアプローチは、逆グラフィックをシステム神経科学にブリッジし、従来のピクセルベースの方法を超えて、物理的に接地された3D刺激で神経選択性を探索する方法を提供する。
関連論文リスト
- WIR3D: Visually-Informed and Geometry-Aware 3D Shape Abstraction [13.645442589551354]
WIR3Dは、3Dで視覚的に意味のある曲線のスパースセットを通して3D形状を抽象化する技術である。
ベジエ曲線のパラメータを最適化し、それらが幾何学的特徴と健全な視覚的特徴の両方を忠実に表現する。
形状の広いデータセットに対して, 形状の抽象化を行う手法をうまく適用した。
論文 参考訳(メタデータ) (2025-05-07T21:28:05Z) - N-BVH: Neural ray queries with bounding volume hierarchies [51.430495562430565]
3Dコンピュータグラフィックスでは、シーンのメモリ使用量の大部分がポリゴンとテクスチャによるものである。
N-BVHは3次元の任意の光線クエリに応答するように設計されたニューラル圧縮アーキテクチャである。
本手法は, 視認性, 深度, 外観特性を忠実に近似する。
論文 参考訳(メタデータ) (2024-05-25T13:54:34Z) - Parameterization-driven Neural Surface Reconstruction for Object-oriented Editing in Neural Rendering [35.69582529609475]
本稿では,ニューラル暗黙表面を球面やポリキューブのような単純なパラメトリック領域にパラメータ化するための新しいニューラルアルゴリズムを提案する。
オブジェクトのゼロレベルセットからの前方マッピングと後方マッピングのための逆変形を用いて、オブジェクトとドメイン間の双方向の変形を計算する。
本手法の有効性を人間の頭部と人工物の画像に示す。
論文 参考訳(メタデータ) (2023-10-09T08:42:40Z) - Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。
動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。
本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
論文 参考訳(メタデータ) (2023-09-28T17:59:51Z) - 3D shape reconstruction of semi-transparent worms [0.950214811819847]
3D形状の再構成は通常、被写体の複数の画像に物体の特徴やテクスチャを特定する必要がある。
ここでは、画像と比較するために、適応的ぼかしと透明度で候補形状を描画することで、これらの課題を克服する。
本研究は,線虫類の細いカエノルハブディティ・エレガンスを,生物学的にインフォームドされた制約や規則化を自然に許容する内在的パラメトリションを用いて3次元曲線としてモデル化する。
論文 参考訳(メタデータ) (2023-04-28T13:29:36Z) - MoDA: Modeling Deformable 3D Objects from Casual Videos [84.29654142118018]
神経二元四元系ブレンドスキンニング(NeuDBS)を提案し,スキンを折り畳むことなく3次元点変形を実現する。
異なるフレーム間で2Dピクセルを登録する試みにおいて、標準空間内の3D点を符号化する標準特徴埋め込みの対応性を確立する。
本手法は,ヒトと動物の3Dモデルを,最先端の手法よりも質的,定量的な性能で再構築することができる。
論文 参考訳(メタデータ) (2023-04-17T13:49:04Z) - Learning Personalized High Quality Volumetric Head Avatars from
Monocular RGB Videos [47.94545609011594]
本研究では,野生で撮影されたモノクロRGBビデオから高品質な3次元頭部アバターを学習する方法を提案する。
我々のハイブリッドパイプラインは、3DMMの幾何学的先行と動的追跡とニューラルラディアンス場を組み合わせることで、きめ細かい制御とフォトリアリズムを実現する。
論文 参考訳(メタデータ) (2023-04-04T01:10:04Z) - Uncertainty Guided Policy for Active Robotic 3D Reconstruction using
Neural Radiance Fields [82.21033337949757]
本稿では,物体の暗黙のニューラル表現の各光線に沿ったカラーサンプルの重量分布のエントロピーを計算した線量不確実性推定器を提案する。
提案した推定器を用いた新しい視点から, 基礎となる3次元形状の不確かさを推測することが可能であることを示す。
ニューラルラディアンス場に基づく表現における線量不確実性によって導かれる次ベクター選択ポリシーを提案する。
論文 参考訳(メタデータ) (2022-09-17T21:28:57Z) - LatentHuman: Shape-and-Pose Disentangled Latent Representation for Human
Bodies [78.17425779503047]
本稿では,人体に対する新しい暗黙の表現法を提案する。
完全に微分可能で、非交叉形状で最適化可能であり、潜在空間を映し出す。
我々のモデルは、よく設計された損失を伴う、水密でない生データを直接訓練し、微調整することができる。
論文 参考訳(メタデータ) (2021-11-30T04:10:57Z) - Scene Synthesis via Uncertainty-Driven Attribute Synchronization [52.31834816911887]
本稿では,3次元シーンの多様な特徴パターンを捉えるニューラルシーン合成手法を提案する。
提案手法は,ニューラルネットワークと従来のシーン合成手法の双方の長所を結合する。
論文 参考訳(メタデータ) (2021-08-30T19:45:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。