論文の概要: Naturalness-guided Manifold Flow Matching for Sign Language Production
- arxiv url: http://arxiv.org/abs/2609.33339v1
- Date: Sun, 27 Sep 2026 08:12:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:57:42.851067
- Title: Naturalness-guided Manifold Flow Matching for Sign Language Production
- Title(参考訳): 手話生成のための自然誘導マニフォールドフローマッチング
- Abstract要約: テキストから手話の動きを生成するための自然言語誘導マニフォールドフローマッチングフレームワークを提案する。
多様体の固有幾何を利用して、運動分布を特徴付ける運動自然度尺度を導入する。
- 参考スコア(独自算出の注目度): 78.40981340130402
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sign Language Production (SLP) aims to generate sign motions from text. Conditional Flow Matching methods have achieved strong performance in SLP by constructing conditional paths that transform a source distribution into a target distribution. However, existing methods construct these paths via linear interpolation, whereas the rotational geometry of human joints confines valid joint rotations to a manifold embedded in Euclidean space. Consequently, linear interpolation between two sign motions leaves this manifold and ignores the motion distribution on it. In this paper, we revisit SLP from the perspective of manifold transport and propose a Naturalness-guided Manifold Flow Matching framework, termed \textbf{SignNMFlow}, which constructs conditional paths directly on the motion manifold by jointly considering geometric efficiency and the motion distribution. Specifically, we exploit the intrinsic geometry of the manifold and introduce a motion naturalness measure to characterize the motion distribution. By minimizing the kinetic energy under this measure, we learn a naturalness-guided interpolation that couples a closed-form geodesic, which provides geometrically efficient transport, with a learnable deviation that incorporates the motion distribution, thereby significantly improving the fidelity of generated sign motions. Extensive qualitative and quantitative evaluations demonstrate the effectiveness of this work.
- Abstract(参考訳): Sign Language Production (SLP) は、テキストから手話を生成することを目的としている。
条件付きフローマッチング法は、ソース分布をターゲット分布に変換する条件付きパスを構築することで、SLPの強力な性能を実現している。
しかし、既存の手法ではこれらの経路を線形補間によって構成するのに対し、人間の関節の回転幾何学はユークリッド空間に埋め込まれた多様体への有効な関節回転を限定する。
したがって、2つの手の動きの間の線形補間はこの多様体を残し、その上の運動分布を無視する。
本稿では, SLP を多様体輸送の観点から再検討し, 幾何効率と運動分布を共同で考慮し, 運動多様体上の条件経路を構成する自然性誘導マニフォールドフローマッチングフレームワークである \textbf{SignNMFlow} を提案する。
具体的には、多様体の固有幾何を利用して、運動分布を特徴付ける運動自然度尺度を導入する。
この測度の下での運動エネルギーを最小化することにより、幾何学的に効率的な輸送を提供する閉形測地線と、運動分布を組み込んだ学習可能な偏差とを結合する自然性誘導補間を学習し、それによって生成された手の動きの忠実度を著しく改善する。
広範囲な質的、定量的な評価は、この研究の有効性を示している。
関連論文リスト
- Coupled Optimal Transport with Landmark Constraints [64.98367856457412]
最適輸送(OT)モデルは、所定の輸送コストや歪みを最小限に抑えて、分布間の地図や計画を求める。
本稿では,少数のアノテートされたランドマークを利用して,下層の変形の回復を誘導する新しい結合OTフレームワークを提案する。
提案するフレームワークは,ランドマークベース登録とトランスポートベース分布マッチングの原則的接続を提供する。
論文 参考訳(メタデータ) (2026-08-20T08:28:13Z) - Topological Flow Matching [56.16372813551555]
フローマッチングは強力な生成モデリングフレームワークであり、そのシンプルさと強力な経験的パフォーマンスに価値がある。
トポロジカルフローマッチング(トポロジカルフローマッチング)は,トポロジカルフローマッチングの一般化である。
脳のfMRI、海流、地震イベント、交通流など、さまざまな構造化されたデータセットに対して、その効果を実証する。
論文 参考訳(メタデータ) (2026-06-14T16:29:33Z) - Lagrangian Flow Matching: A Least-Action Framework for Principled Path Design [14.77320535984857]
フローマッチングは、所定の確率パスに関連する目標速度に対して回帰して神経速度場を訓練する。
ラグランジアンフローマッチング(Lagrangian flow matching)は、一般ラグランジアンの動きを最小化して確率パスと速度場を決定する物理ベースのフレームワークである。
論文 参考訳(メタデータ) (2026-05-14T21:05:03Z) - Riemannian Flow Matching for Disentangled Graph Domain Adaptation [51.98961391065951]
グラフドメイン適応(GDA)は典型的には、ユークリッド空間におけるグラフ埋め込みの整列に逆学習を使用する。
DisRFMは、埋め込みとフローベースのトランスポートを統一する幾何学的なGDAフレームワークである。
論文 参考訳(メタデータ) (2026-01-31T11:05:35Z) - An Eulerian Perspective on Straight-Line Sampling [0.0]
本研究では, 生成モデリングのための動的測度輸送, 特に, 特定のソースとターゲット分布をブリッジするプロセスによって誘導される流れについて検討する。
我々は、どのプロセスが直線流を生成するか、すなわち、点加速度が消滅し、従って一階法と完全に統合可能なフローを問う。
本研究では、条件加速度と重み付き共分散(レイノルズ)テンソルのばらつきのバランスとして、直線性の簡潔なPDE特性を提供する。
論文 参考訳(メタデータ) (2025-10-13T17:33:58Z) - Locality Preserving Markovian Transition for Instance Retrieval [59.16243976912006]
局所保存マルコフ遷移(LPMT)フレームワークは,複数状態の長期熱力学的遷移プロセスを用いて正確な多様体距離測定を行う。
提案するLPMTは,BCD(Bidirectional Collaborative Diffusion)を用いて,各グラフ間の拡散過程を統合することにより,強い類似性関係を確立する。
その後、Locality State Embedding (LSE)は各インスタンスを分散にエンコードし、ローカル一貫性を向上する。
これらの分布は熱力学的マルコフ遷移(TMT)プロセスを介して相互接続され、局所的な有効性を維持しながら効率的な大域的探索を可能にする。
論文 参考訳(メタデータ) (2025-06-05T16:07:31Z) - Interaction-Force Transport Gradient Flows [45.05400562268213]
本稿では,非負測度および確率測度に対する新しい勾配流散逸幾何学を提案する。
We propose the interaction-force transport (IFT) gradient flow, we proposed the interaction-force transport (IFT) gradient flow。
論文 参考訳(メタデータ) (2024-05-27T11:46:14Z) - Manifold Interpolating Optimal-Transport Flows for Trajectory Inference [64.94020639760026]
最適輸送流(MIOFlow)を補間するマニフォールド補間法を提案する。
MIOFlowは、散発的なタイムポイントで撮影された静的スナップショットサンプルから、連続的な人口動態を学習する。
本手法は, 胚体分化および急性骨髄性白血病の治療から得られたscRNA-seqデータとともに, 分岐とマージによるシミュレーションデータについて検討した。
論文 参考訳(メタデータ) (2022-06-29T22:19:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。