論文の概要: Opto-ViT-v2: Noise-Resilient On-Chip Fine-Tuning for Photonic Near-Sensor Vision Transformer Accelerators

• arxiv url: http://arxiv.org/abs/2607.19421v1
• Date: Mon, 20 Jul 2026 01:07:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-23 18:51:37.884376
• Title: Opto-ViT-v2: Noise-Resilient On-Chip Fine-Tuning for Photonic Near-Sensor Vision Transformer Accelerators
• Title（参考訳）: Opto-ViT-v2:フォトニックニアセンサ・ビジョン・トランス加速器用ノイズ耐性オンチップ微細チューニング
• Abstract要約: 近接センサSiPh ViT加速器におけるパラメータ効率向上のための第1のフレームワークであるOpto-ViT-v2を提案する。 我々のテンソル化低ランク分解は、トレーニング可能な電子要素の小さなセットから事前訓練された光学重みを分離する。 また、フォトニックオンチップトレーニングのための最初のシステムレベルのノイズモデルも開発する。
• 参考スコア（独自算出の注目度）: 11.18455138929931
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Silicon-photonic (SiPh) accelerators have emerged as a promising platform for Vision Transformer (ViT) inference by performing matrix multiplications on microring-resonator (MRR) banks with high throughput and energy efficiency. Extending these platforms to support on-chip fine-tuning remains challenging because backpropagation requires large activation storage, frequent weight write-back to MRRs, and tolerance to device-level noise. We present Opto-ViT-v2, the first framework for parameter-efficient fine-tuning (PEFT) on a near-sensor SiPh ViT accelerator. Our tensorized low-rank decomposition separates pretrained optical weights from a small set of trainable electronic factors (as few as 8K parameters for ViT-Base), greatly reducing activation storage and weight updates while enabling practical on-chip training. We further introduce a gradient-accumulated sparse classifier that freezes low-importance weights through one-shot top-k gradient masking, reducing classifier training cost by about 40 percent. We also develop the first system-level noise model for photonic on-chip training, capturing the effects of MRR crosstalk, thermal drift, and laser amplitude noise during both forward and backward propagation. Calibrated using measurements from more than 200 fabricated MRR devices, the model shows that low-rank factor updates are more robust than full fine-tuning and conventional layer-wise low-rank adaptation under identical noise conditions. Experiments on VTAB-1K (19 tasks) and FGVC few-shot benchmarks demonstrate that Opto-ViT-v2 recovers within 0.3 to 0.8 percent of clean software accuracy under measured photonic noise while achieving more than 100 KFPS/W, enabling practical on-chip domain adaptation for photonic edge vision systems.
• Abstract（参考訳）: シリコンフォトニック(SiPh)加速器は、高いスループットとエネルギー効率でマイクロリング共振器(MRR)バンク上で行列乗算を行うことにより、ビジョントランスフォーマー(ViT)推論のための有望なプラットフォームとして登場した。 バックプロパゲーションには、大きなアクティベーションストレージ、MRRへの頻繁なライトバック、デバイスレベルのノイズに対する耐性が必要であるため、これらのプラットフォームをオンチップの微調整をサポートするように拡張することは依然として難しい。 近接センサSiPh ViTアクセラレータ上で,パラメータ効率向上のための最初のフレームワークであるOpto-ViT-v2を提案する。 我々のテンソル化低ランク分解は、トレーニング可能な電子要素の小さなセット(ViT-Baseの8Kパラメータ)から事前トレーニングされた光学重量を分離し、実用的なオンチップトレーニングを可能にしながら、アクティベーションストレージと重み更新を大幅に削減する。 さらに,1ショットのトップk勾配マスキングにより低比重を凍結し,分類器のトレーニングコストを約40%削減する,勾配蓄積スパース分類器を導入する。 また,MRRクロストーク,サーマルドリフト,レーザー振幅ノイズの影響を前向きおよび後向きの伝搬で捉えた,フォトニックオンチップトレーニングのための最初のシステムレベルノイズモデルを開発した。 このモデルでは,200以上のMRRデバイスから得られた測定値を用いて,低ランク率の更新は完全微調整や従来の低ランク適応よりも頑健であることを示す。 VTAB-1K (19のタスク) とFGVCによる数ショットベンチマークの実験では、オプト-ViT-v2は100 KFPS/W以上を達成しつつ、測定されたフォトニックノイズの下でクリーンなソフトウェア精度の0.3から0.8%以内に回復し、フォトニックエッジビジョンシステムに実用的なオンチップ領域適応を可能にする。

関連論文リスト

• Bio-SFT: Asymmetric Cortical Guidance and Retinal Adaptation for Robust HDR Reconstruction [61.07381300333128]
  暗黒領域における極端輝度変化と厳密な量子化は、正確な再構築を困難にしている。 Bio-SFTは単一像HDR再構成のためのバイオインスパイアされたスパイク周波数変換器である。 HDRTV1Kの実験では、Bio-SFTは対称誘導パイプラインのアーティファクト伝搬を低減しつつ、HDR-VDP-3と$E_ITP$を一貫して改善している。
  論文  参考訳（メタデータ） (2026-07-20T01:07:54Z)
• Pre-training Enables Extraordinary All-optical Image Denoising [14.509895751629578]
  本稿では,事前学習型アプローチにより,画質が大幅に向上し,スナップショット画像のノイズ化につながることを報告する。 2段階のプロセスで最適化された回折ネットワークによる有効自由空間光デノナイズを実演した。 我々はさらに、顔検出、プレート認識、雑音下でのUAVの局在化など、視力に基づく応用における光学的デノイザの重要性を実証した。
  論文  参考訳（メタデータ） (2026-05-08T14:43:54Z)
• Quantum metrology via mitigation of single-photon loss using an engineered nonlinear oscillator [0.09999629695552194]
  損失下での量子メロジカルな利点の脆弱さは、実用的な量子センシングの主要な障壁である。 工学的二光子損失(ETPL)の付加はこれらの振動を著しく緩和し、崩壊を滑らかな単調落下に変換することを示す。 工学的損失と適切な駆動が組み合わさって、SPLの存在下においても、メトロジー的に有用な非ガウス量子資源を積極的に保存することができる。
  論文  参考訳（メタデータ） (2026-04-22T13:45:23Z)
• TrainDeeploy: Hardware-Accelerated Parameter-Efficient Fine-Tuning of Small Transformer Models at the Extreme Edge [16.466947690033127]
  TrainDeeployは、異種超低消費電力システムオンチップ(SoC)上での効率的な推論とオンデバイストレーニングを統合するフレームワークである。 我々は、CCT(Compact Convolutional Transformer)の最初のエンドツーエンドの微調整を実演し、1秒間に最大11個のトレーニング済み画像を達成した。 LoRAは動的メモリ使用量を23%削減し、トレーニング可能なパラメータや勾配を15倍削減し、フルバックプロパゲーションと比較してメモリ転送量を1.6倍削減する。
  論文  参考訳（メタデータ） (2026-03-10T11:10:50Z)
• KV-Latent: Dimensional-level KV Cache Reduction with Frequency-aware Rotary Positional Embedding [72.12756830560217]
  Transformer Decodersをベースとした大規模言語モデル(LLM)が、会話生成AIの選択肢として好まれている。 デコーダアーキテクチャの全体的な優位性にもかかわらず、推論中にキーバリューキャッシュが徐々に増加し、主要な効率ボトルネックとなっている。 キーバリューベクトル次元を潜在空間にダウンサンプリングすることで、KVキャッシュのフットプリントを大幅に削減し、推論速度を向上させることができる。
  論文  参考訳（メタデータ） (2025-07-15T12:52:12Z)
• Spark Transformer: Reactivating Sparsity in FFN and Attention [53.221448818147024]
  本稿では, FFNとアテンション機構の両方において, 高レベルのアクティベーション間隔を実現する新しいアーキテクチャであるSpark Transformerを紹介する。 これによりFLOPの2.5倍の削減が可能となり、CPUでは1.79倍、GPUでは1.40倍となる。
  論文  参考訳（メタデータ） (2025-06-07T03:51:13Z)
• FM2S: Towards Spatially-Correlated Noise Modeling in Zero-Shot Fluorescence Microscopy Image Denoising [33.383511185170214]
  蛍光マイクログラフ・トゥ・セルフ (FM2S) は、3つの重要な革新を通じて効率的な蛍光マイクログラフ・トゥ・セルフ (FM2S) を実現するゼロショットデノイザーである。 FM2Sは平均1.4dBPSNRでCVF-SIDを上回り、AP-BSNの0.1%のパラメータを必要とする。
  論文  参考訳（メタデータ） (2024-12-13T10:45:25Z)
• DS2TA: Denoising Spiking Transformer with Attenuated Spatiotemporal Attention [3.440313042843115]
  本稿では,視覚応用のための時間的注意を減らしたデノイングスパイキング変換器DS2 DSTAを紹介する。 いくつかの広く採用されている静的画像と動的ニューロモルフィックデータセットの最先端性能を示す。 DS2TAはCIFAR10で94.92%、CIFAR100で77.47%、CIFAR10-DVSとDVS-Gestureで79.1%、94.44%を達成している。
  論文  参考訳（メタデータ） (2024-09-20T02:26:04Z)
• Sub-token ViT Embedding via Stochastic Resonance Transformers [51.12001699637727]
  Vision Transformer (ViT) アーキテクチャは、画像を高次元のベクトル化トークンの集合として表現し、それぞれが長方形の非重複パッチに対応する。 我々は「確率共鳴」にインスパイアされた無訓練法を提案する。 結果として得られるSRT(Stochastic Resonance Transformer)は、元の表現のリッチな意味情報を保持するが、空間的トークン化の粗い効果を軽減し、より微細な空間領域に基盤を置いている。
  論文  参考訳（メタデータ） (2023-10-06T01:53:27Z)
• Q-ViT: Accurate and Fully Quantized Low-bit Vision Transformer [56.87383229709899]
  我々は、完全量子化視覚変換器(Q-ViT)のための情報修正モジュール(IRM)と分配誘導蒸留法を開発した。 我々の手法は、先行技術よりもはるかに優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-13T04:00:29Z)
• Efficient Decoder-free Object Detection with Transformers [75.00499377197475]
  視覚変換器(ViT)は、物体検出アプローチのランドスケープを変化させている。 本稿では,デコーダフリー完全トランス(DFFT)オブジェクト検出器を提案する。 DFFT_SMALLは、トレーニングおよび推論段階で高い効率を達成する。
  論文  参考訳（メタデータ） (2022-06-14T13:22:19Z)
• Improving Vision Transformers by Revisiting High-frequency Components [106.7140968644414]
  視覚変換器(ViT)モデルは,CNNモデルよりも画像の高周波成分の捕捉に効果が低いことを示す。 本稿では,画像の高周波成分を直接補うHATを提案する。 HAT は様々な ViT モデルの性能を継続的に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-04-03T05:16:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。