論文の概要: Constrained latent state modeling: A unifying perspective on representation learning under competing constraints
- arxiv url: http://arxiv.org/abs/2605.15995v1
- Date: Fri, 15 May 2026 14:25:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-18 21:22:26.316486
- Title: Constrained latent state modeling: A unifying perspective on representation learning under competing constraints
- Title(参考訳): 制約付き潜在状態モデリング:競合制約下での表現学習の統一的視点
- Authors: Gwenolé Quellec,
- Abstract要約: 複雑なデータから潜在表現を学習することは、現代の機械学習の中心である。
現在のアプローチは断片化され続けており、これらの状態が何を表現すべきかについて、はっきりとした、そしてしばしば暗黙的な仮定に依存している。
遅延表現は一般に、意味のある潜在状態が満たすべき性質を特定するのに失敗する制約の少ない目的から学習される。
- 参考スコア(独自算出の注目度): 0.6496997624776696
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning latent representations from complex data is central to modern machine learning, spanning temporal, multimodal, and partially observed systems. In such settings, representations are better understood as latent states capturing underlying system dynamics, rather than as mere compressed summaries of observations. Yet current approaches remain fragmented, relying on distinct -- and often implicit -- assumptions about what these states should represent. We argue that this fragmentation reflects a more fundamental limitation: latent representations are typically learned from underconstrained objectives that fail to specify the properties that meaningful latent states should satisfy. As a result, multiple representations can satisfy the same objective, leading to ambiguity in their structure and interpretation. While many of the underlying principles have been explored in isolation, their interactions have not been explicitly formalized. In this work, we propose constrained latent state modeling (CLSM) as a unifying perspective. We identify a set of core properties -- predictive sufficiency, minimality, temporal coherence, observation compatibility, invariance to nuisance factors, and structural constraints -- and show that they are intrinsically coupled through fundamental trade-offs. Revisiting major modeling families through this lens, we show that existing approaches can be interpreted as enforcing different subsets of constraints, thereby occupying distinct regions of a common design space. This perspective reframes persistent challenges such as lack of identifiability as consequences of underconstrained formulations, rather than isolated technical limitations. More broadly, CLSM provides a principled framework to make design choices explicit, to analyze trade-offs, and to guide the development of more interpretable, robust, and task-aligned latent state models.
- Abstract(参考訳): 複雑なデータから潜在表現を学習することは、時間的、マルチモーダル、部分的に観察されるシステムにまたがる現代の機械学習の中心である。
このような設定では、表現は単に圧縮された観測の要約としてではなく、基礎となるシステムダイナミクスをキャプチャする潜在状態として理解される。
しかし、現在のアプローチは断片化され続けており、これらの状態が何を表現すべきかについて、はっきりとした、そしてしばしば暗黙的な仮定に依存している。
潜在表現は一般に、意味のある潜在状態が満たすべき性質を特定するのに失敗する未制約の目的から学習される。
その結果、複数の表現は同じ目的を満たすことができ、構造や解釈の曖昧さにつながる。
基礎となる原理の多くは孤立して研究されているが、それらの相互作用は明確に定式化されていない。
本研究では,制約付き潜在状態モデリング(CLSM)を統一的な視点として提案する。
予測十分性、最小性、時間的コヒーレンス、観測整合性、ニュアンス要因への不変性、構造的制約といった一連のコア特性を特定し、基本的なトレードオフを通じて本質的に結合されていることを示す。
このレンズを通して主要なモデリングファミリを再考すると、既存のアプローチは制約の異なる部分集合を強制するものとして解釈でき、それによって共通の設計空間の異なる領域を占有することができる。
この観点は、孤立した技術的な制限ではなく、制約の少ない定式化の結果としての識別可能性の欠如のような永続的な課題を再定義する。
より広範に、CLSMは設計選択を明確にし、トレードオフを分析し、より解釈可能な、堅牢で、タスク対応の潜在状態モデルの開発をガイドするための、原則化されたフレームワークを提供する。
関連論文リスト
- Uncertainty-guided Compositional Alignment with Part-to-Whole Semantic Representativeness in Hyperbolic Vision-Language Models [30.214536576233957]
双曲型視覚ランゲージモデル(VLM)の高機能化のための不確実性誘導型構成的双曲アライメント(UNCHA)を提案する。
UNCHAは、より代表的な部分に低い不確実性を割り当て、全体の代表的な部分に低い不確実性を割り当てることによって、双曲的不確実性を伴う部分対全体的な意味的代表性をモデル化する。
UNCHAはゼロショット分類、検索、マルチラベル分類のベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2026-03-23T14:41:20Z) - Emergent Structured Representations Support Flexible In-Context Inference in Large Language Models [77.98801218316505]
大型言語モデル(LLM)は、人間のような推論を示唆する創発的な行動を示す。
テキスト内概念推論におけるLLMの内部処理について検討する。
論文 参考訳(メタデータ) (2026-02-08T03:14:39Z) - Beyond Predictive Uncertainty: Reliable Representation Learning with Structural Constraints [0.3948325938742681]
信頼性は、学習した表現そのものの第一級の性質と見なされるべきである。
本稿では,表現レベルの不確実性を明示的にモデル化する信頼性のある表現学習のための原則的フレームワークを提案する。
提案手法では,不確実性を考慮した正規化が直接表現空間に導入され,予測的だけでなく,安定的で,校正的であり,ノイズや構造的摂動に対して頑健な表現が奨励される。
論文 参考訳(メタデータ) (2026-01-22T18:19:52Z) - Beyond the Black Box: Identifiable Interpretation and Control in Generative Models via Causal Minimality [52.57416398859353]
因果的最小性は、明確な因果的解釈と頑健でコンポーネント単位で識別可能な制御を持つ拡散視覚と自己回帰言語モデルの潜在表現を許容できることを示す。
我々は階層的選択モデルのための新しい理論的枠組みを導入し、より高レベルな概念は低レベルの変数の制約された構成から生まれる。
これらの因果的基礎を持つ概念は、きめ細かいモデルステアリングのレバーとして機能し、透明で信頼性の高いシステムへの道を開く。
論文 参考訳(メタデータ) (2025-12-11T14:59:14Z) - Large Language Models as Quasi-crystals: Coherence Without Repetition in Generative Text [0.0]
エッセイは大規模言語モデル(LLM)と準結晶の類似性を提案し、局所的な制約によって生成される周期的反復を伴わないグローバルコヒーレンスを示すシステムである。
準結晶の歴史に基づいて、生成言語における代替的なコヒーレンスモード、すなわち反復や象徴的意図を伴わない制約に基づく組織を強調している。
このエッセイは、既存のメソッドを拒絶するのではなく、意味論よりも構造に根ざした解釈の新たな軸を提案することによって、大きな言語モデルに関する現在の議論を再考することを目的としている。
論文 参考訳(メタデータ) (2025-04-16T11:27:47Z) - Sequential Representation Learning via Static-Dynamic Conditional Disentanglement [58.19137637859017]
本稿では,ビデオ中の時間非依存要因と時間変化要因を分離することに着目し,逐次的データ内での自己教師付き不整合表現学習について検討する。
本稿では,静的/動的変数間の因果関係を明示的に考慮し,それらの因子間の通常の独立性仮定を破る新しいモデルを提案する。
実験により、提案手法は、シーンのダイナミックスが内容に影響されるシナリオにおいて、従来の複雑な最先端技術よりも優れていることが示された。
論文 参考訳(メタデータ) (2024-08-10T17:04:39Z) - Causal Triplet: An Open Challenge for Intervention-centric Causal
Representation Learning [98.78136504619539]
Causal Tripletは、視覚的に複雑なシーンを特徴とする因果表現学習ベンチマークである。
この結果から,不整合表現やオブジェクト中心表現の知識によって構築されたモデルが,分散表現よりもはるかに優れていることを示す。
論文 参考訳(メタデータ) (2023-01-12T17:43:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。