論文の概要: PixelGen: Rethinking Embedded Camera Systems

• arxiv url: http://arxiv.org/abs/2402.03390v1
• Date: Sun, 4 Feb 2024 14:41:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 18:37:18.435726
• Title: PixelGen: Rethinking Embedded Camera Systems
• Title（参考訳）: PixelGen:組み込みカメラシステムを再考
• Authors: Kunjun Li, Manoj Gulati, Steven Waskito, Dhairya Shah, Shantanu Chakrabarty, Ambuj Varshney
• Abstract要約: 組込みカメラシステムを再想像するPixelGenについて紹介する。 具体的には、PixelGenはセンサー、トランシーバー、低解像度の画像と赤外線の視覚センサーを組み合わせて、より広い世界表現を捉えている。 PixelGenの機能は従来の写真を超えて、音波のような従来のカメラには見えない現象の可視化を可能にする。
• 参考スコア（独自算出の注目度）: 0.7922558880545526
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Embedded camera systems are ubiquitous, representing the most widely deployed example of a wireless embedded system. They capture a representation of the world - the surroundings illuminated by visible or infrared light. Despite their widespread usage, the architecture of embedded camera systems has remained unchanged, which leads to limitations. They visualize only a tiny portion of the world. Additionally, they are energy-intensive, leading to limited battery lifespan. We present PixelGen, which re-imagines embedded camera systems. Specifically, PixelGen combines sensors, transceivers, and low-resolution image and infrared vision sensors to capture a broader world representation. They are deliberately chosen for their simplicity, low bitrate, and power consumption, culminating in an energy-efficient platform. We show that despite the simplicity, the captured data can be processed using transformer-based image and language models to generate novel representations of the environment. For example, we demonstrate that it can allow the generation of high-definition images, while the camera utilises low-power, low-resolution monochrome cameras. Furthermore, the capabilities of PixelGen extend beyond traditional photography, enabling visualization of phenomena invisible to conventional cameras, such as sound waves. PixelGen can enable numerous novel applications, and we demonstrate that it enables unique visualization of the surroundings that are then projected on extended reality headsets. We believe, PixelGen goes beyond conventional cameras and opens new avenues for research and photography.
• Abstract（参考訳）: 組み込みカメラシステムはユビキタスであり、無線組み込みシステムの最も広く使われている例である。 彼らは世界の表現を捉え、周囲は可視光や赤外線で照らされている。 広く使われているにもかかわらず、組み込みカメラシステムのアーキテクチャは変わらず、限界をもたらしている。 彼らは世界のごく一部だけを視覚化します。 さらに、エネルギー集約性があり、バッテリー寿命は限られている。 組み込みカメラシステムを再想像するPixelGenを紹介する。 具体的には、PixelGenはセンサー、トランシーバー、低解像度の画像と赤外線の視覚センサーを組み合わせて、より広い世界表現を捉えている。 それらは、シンプルさ、ビットレートの低さ、消費電力のために意図的に選ばれ、エネルギー効率の高いプラットフォームに到達します。 単純さにもかかわらず、キャプチャされたデータはトランスフォーマーベースのイメージと言語モデルを使って処理でき、環境の新しい表現を生成することができる。 例えば、低消費電力で低解像度のモノクロームカメラを利用することで、高精細画像の生成を可能にすることを示す。 さらに、PixelGenの機能は従来の写真を超えて、音波のような従来のカメラでは見えない現象の可視化を可能にする。 PixelGenは多くの新しいアプリケーションを可能にし、拡張現実ヘッドセットに投影された周囲のユニークな視覚化を可能にすることを実証する。 PixelGenは従来のカメラを超え、研究と写真のための新たな道を開くだろう。

関連論文リスト

• An Image is Worth More Than 16x16 Patches: Exploring Transformers on Individual Pixels [65.64402188506644]
  バニラ変換器は個々のピクセルをトークンとして扱い、高性能な結果を得られる。 主にコンピュータビジョンにおける3つのよく研究されたタスクにおける画素・アズ・トークンの有効性を示す。
  論文  参考訳（メタデータ） (2024-06-13T17:59:58Z)
• Simple Image Signal Processing using Global Context Guidance [56.41827271721955]
  ディープラーニングベースのISPは、深層ニューラルネットワークを使用してRAW画像をDSLRライクなRGBイメージに変換することを目指している。 我々は,全RAW画像からグローバルなコンテキスト情報をキャプチャするために,任意のニューラルISPに統合可能な新しいモジュールを提案する。 本モデルでは,多種多様な実スマートフォン画像を用いて,様々なベンチマークで最新の結果が得られる。
  論文  参考訳（メタデータ） (2024-04-17T17:11:47Z)
• Inverting the Imaging Process by Learning an Implicit Camera Model [73.81635386829846]
  本稿では,ディープニューラルネットワークとしてのカメラの物理画像処理を表現した,新しい暗黙カメラモデルを提案する。 本稿では,この暗黙カメラモデルが2つの逆撮像タスクに与える影響を実演する。
  論文  参考訳（メタデータ） (2023-04-25T11:55:03Z)
• A Flexible Framework for Virtual Omnidirectional Vision to Improve Operator Situation Awareness [2.817412580574242]
  本稿では,ロボットのどこに設置した複数のカメラを融合させる新しい手法に基づいて,仮想プロジェクションのためのフレキシブルなフレームワークを提案する。 カメラ画像と幾何学的3Dライダーデータを融合させることでシーン理解を改善するための補完的なアプローチを提案し,色付き点雲を得る。
  論文  参考訳（メタデータ） (2023-02-01T10:40:05Z)
• NeuriCam: Key-Frame Video Super-Resolution and Colorization for IoT Cameras [6.6445857362127665]
  我々は,低消費電力デュアルモードIoTカメラシステムによるビデオキャプチャを実現するための,新しいディープラーニングベースのシステムであるNeuriCamを提案する。 提案手法は,既存システムに比べてエネルギー消費量を7倍に削減できることを示す。
  論文  参考訳（メタデータ） (2022-07-25T19:54:57Z)
• Emergent Visual Sensors for Autonomous Vehicles [3.3227094421785344]
  我々は、赤外線カメラ、レンジゲートカメラ、偏光カメラ、イベントカメラの4つの新しいイメージセンサーの原理を概観する。 それらの比較優位性、既存または潜在的アプリケーション、および対応するデータ処理アルゴリズムが提示される。
  論文  参考訳（メタデータ） (2022-05-19T08:29:30Z)
• 1000x Faster Camera and Machine Vision with Ordinary Devices [76.46540270145698]
  我々は、光子の蓄積がしきい値に達したかどうかを各ビットが示すビットシーケンスアレイであるvidarを提示する。 我々は従来のカメラより1000倍高速なヴィダーカメラを開発した。 我々はまた、マシンの速度と生物学的視覚のメカニズムを組み合わせたスパイクニューラルネットワークベースのマシンビジョンシステムを開発した。
  論文  参考訳（メタデータ） (2022-01-23T16:10:11Z)
• TUM-VIE: The TUM Stereo Visual-Inertial Event Dataset [50.8779574716494]
  イベントカメラはバイオインスパイアされた視覚センサーで、ピクセルごとの明るさの変化を測定する。 これらは、低レイテンシ、高ダイナミックレンジ、高時間分解能、低消費電力など、従来のフレームベースのカメラよりも多くの利点を提供する。 イベントカメラを用いた3次元認識・ナビゲーションアルゴリズムの開発を促進するため,TUM-VIEデータセットを提案する。
  論文  参考訳（メタデータ） (2021-08-16T19:53:56Z)
• Removing Diffraction Image Artifacts in Under-Display Camera via Dynamic Skip Connection Network [80.67717076541956]
  アンダーディスプレイカメラ(UDC)システムは、スマートフォン上で真のベゼルレスおよびノッチフリーの視聴体験を提供します。 典型的なUDCシステムでは、ピクセルアレイはカメラ上の入射光を減衰および回折し、画像品質の大幅な低下をもたらす。 本研究では,前述の劣化問題の解析と対処を目的とする。
  論文  参考訳（メタデータ） (2021-04-19T18:41:45Z)
• Image Restoration for Under-Display Camera [14.209602483950322]
  フルスクリーンデバイスの新たなトレンドは、私たちはスクリーンの後ろにカメラを置くことを奨励します。 ベゼルを外し、画面下にカメラを集中させると、ディスプレイとボディの比率が大きくなり、ビデオチャットではアイコンタクトが強化されるが、画像の劣化も引き起こす。 本稿では,新たに定義されたUnder-Display Camera (UDC) に焦点をあてる。
  論文  参考訳（メタデータ） (2020-03-10T17:09:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。