論文の概要: Stage Light is Sequence$^2$: Multi-Light Control via Imitation Learning
- arxiv url: http://arxiv.org/abs/2605.03660v1
- Date: Tue, 05 May 2026 11:41:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-06 19:35:43.918215
- Title: Stage Light is Sequence$^2$: Multi-Light Control via Imitation Learning
- Title(参考訳): ステージライトはシーケンス$^2$:模倣学習によるマルチライト制御
- Authors: Zijian Zhao, Dian Jin, Zijing Zhou, Xiaoyu Zhang,
- Abstract要約: SeqLightは階層的なディープラーニングフレームワークで、音楽をHue-Saturation-Value (HSV)空間にマッピングする。
提案手法は,まずエンド・ツー・エンドのプライマリ・ライト・モデルであるSkipBARTをカスタマイズし,フレームごとのフル光色分布を予測する。
光分解モジュールは、混合光データのみを使用して、様々な場所固有の照明構成で訓練することができる。
- 参考スコア(独自算出の注目度): 6.314493336863715
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Music-inspired Automatic Stage Lighting Control (ASLC) has gained increasing attention in recent years due to the substantial time and financial costs associated with hiring and training professional lighting engineers. However, existing methods suffer from several notable limitations: the low interpretability of rule-based approaches, the restriction to single-primary-light control in music-to-color-space methods, and the limited transferability of music-to-controlling-parameter frameworks. To address these gaps, we propose SeqLight, a hierarchical deep learning framework that maps music to multi-light Hue-Saturation-Value (HSV) space. Our approach first customizes SkipBART, an end-to-end single primary light generation model, to predict the full light color distribution for each frame, followed by hybrid Imitation Learning (IL) techniques to derive an effective decomposition strategy that distributes the global color distribution among individual lights. Notably, the light decomposition module can be trained under varying venue-specific lighting configurations using only mixed light data and no professional demonstrations, thereby flexibly adapting across diverse venues. In this stage, we formulate the light decomposition task as a Goal-Conditioned Markov Decision Process (GCMDP), construct an expert demonstration set inspired by Hindsight Experience Replay (HER), and introduce a three-phase IL training pipeline, achieving strong generalization capability. To validate our IL solution for the proposed GCMDP, we conduct a series of quantitative analysis and human study. The code and trained models are provided at https://github.com/RS2002/SeqLight .
- Abstract(参考訳): 音楽にインスパイアされた自動ステージ照明制御(ASLC)は、プロの照明技術者を雇用し、訓練することに伴うかなりの時間と費用のために近年注目を集めている。
しかし、既存の手法には、ルールベースのアプローチの低い解釈可能性、音楽空間と色空間の手法における単一主光制御の制限、音楽空間と制御パラメータのフレームワークの移動可能性の制限など、いくつかの顕著な制限がある。
これらのギャップに対処するために,マルチライトHue-Saturation-Value(HSV)空間に音楽をマッピングする階層的なディープラーニングフレームワークであるSeqLightを提案する。
提案手法はまず,各フレームのフルライトカラー分布を予測するために,エンドツーエンドの単一光生成モデルであるSkipBARTをカスタマイズし,続いて,各光間でグローバルカラー分布を分散する効率的な分解戦略を導出するハイブリッドImitation Learning(IL)技術を用いる。
特に、光分解モジュールは、混合光データのみを使用して様々な場所固有の照明構成で訓練でき、プロのデモンストレーションは行わないため、様々な場所にわたって柔軟に適応することができる。
本稿では,GCMDP(Gal-Conditioned Markov Decision Process)として光分解タスクを定式化し,HER(Hindsight Experience Replay)にインスパイアされたエキスパートデモセットを構築し,三相ILトレーニングパイプラインを導入し,強力な一般化を実現する。
提案した GCMDP に対する IL ソリューションの有効性を検証するために, 定量分析と人間の研究を連続して実施する。
コードとトレーニングされたモデルはhttps://github.com/RS2002/SeqLightで提供されている。
関連論文リスト
- Towards Controllable Low-Light Image Enhancement: A Continuous Multi-illumination Dataset and Efficient State Space Framework [2.977173671229414]
Light100 がサポートする総合的なフレームワークである Controllable Low-light Enhancement (CLE) を導入する。
輝度制御と色度との矛盾を解決するため、ノイズ分離型監視戦略を採用する。
提案手法は,実世界のマルチイルミネーション代替品として,競争性能とロバストな制御性を実現する。
論文 参考訳(メタデータ) (2026-03-26T10:40:08Z) - LGTM: Training-Free Light-Guided Text-to-Image Diffusion Model via Initial Noise Manipulation [7.432606687404551]
Initial Noise Manipulation を用いた学習自由光誘導型テキスト・画像拡散モデルを提案する。
拡散過程の初期潜音を操り、テキストプロンプトとユーザが特定した光方向で画像生成を誘導する。
画像の品質とテキストアライメントを保ちながら、ライトの一貫性において、プロンプトベースのベースラインを超える。
論文 参考訳(メタデータ) (2026-03-25T08:46:31Z) - Anchor then Polish for Low-light Enhancement [10.471765109354724]
低照度画像強調は、絡み合った劣化のために困難である。
この研究は、局所的な細部の改良から地球規模のエネルギーアライメントを根本的に分離する新しいアンカー・テン・ポリッシュ(ATP)フレームワークを提案する。
提案手法は最先端の性能を実現し,視覚的に自然で量的に優れた低照度向上を実現する。
論文 参考訳(メタデータ) (2026-03-16T16:06:30Z) - PractiLight: Practical Light Control Using Foundational Diffusion Models [78.75949075070595]
PractiLightは、生成された画像における光制御の実践的なアプローチである。
私たちの重要な洞察は、画像内のライティング関係は、自己注意層におけるトークンの相互作用と本質的に類似しているということです。
我々は,パラメータとデータ効率が証明された品質と制御の観点から,最先端の性能を実証する。
論文 参考訳(メタデータ) (2025-09-01T23:38:40Z) - SAIGFormer: A Spatially-Adaptive Illumination-Guided Network for Low-Light Image Enhancement [58.79901582809091]
近年, トランスフォーマーを用いた低照度化手法は, 世界照明の回復に有望な進展をもたらした。
近年, トランスフォーマーを用いた低照度化手法は, 世界照明の回復に有望な進展をもたらした。
正確な照明復元を可能にする空間適応照明誘導変圧器フレームワークを提案する。
論文 参考訳(メタデータ) (2025-07-21T11:38:56Z) - Light of Normals: Unified Feature Representation for Universal Photometric Stereo [69.95514862547174]
現在のエンコーダは、照明と通常の情報が切り離されていることを保証できない。
i) 点、方向、環境光を集約する光アライメント監督機能を備えた光レジスタトークン。
また,PS-Verseも導入した。PS-Verseは,幾何学的複雑性と照明の多様性を指標とした大規模合成データセットである。
論文 参考訳(メタデータ) (2025-06-23T17:53:11Z) - Automatic Stage Lighting Control: Is it a Rule-Driven Process or Generative Task? [13.694225020834745]
本稿では、経験豊富な照明技術者であるSkip-BARTから学ぶエンドツーエンドのソリューションを提案する。
提案手法では,BARTモデルを用いて音声を入力とし,光色と値(強度)を出力として生成し,新しいスキップ接続機構を組み込む。
定量的解析と人的評価の両面から,Skip-BARTが従来のルールベース手法より優れていることを示す。
論文 参考訳(メタデータ) (2025-06-02T09:42:36Z) - Diving into Darkness: A Dual-Modulated Framework for High-Fidelity
Super-Resolution in Ultra-Dark Environments [51.58771256128329]
本稿では,低照度超解像課題の性質を深く理解しようとする,特殊二変調学習フレームワークを提案する。
Illuminance-Semantic Dual Modulation (ISDM) コンポーネントを開発した。
包括的実験は、我々のアプローチが多様で挑戦的な超低照度条件に適用可能であることを示す。
論文 参考訳(メタデータ) (2023-09-11T06:55:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。