論文の概要: Alignment and stability of embeddings: measurement and inference improvement

• arxiv url: http://arxiv.org/abs/2101.07251v1
• Date: Mon, 18 Jan 2021 18:58:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-27 05:49:43.193100
• Title: Alignment and stability of embeddings: measurement and inference improvement
• Title（参考訳）: 埋め込みのアライメントと安定性:測定と推論の改善
• Authors: Furkan G\"ursoy, Mounir Haddad, C\'ecile Bothorel
• Abstract要約: 表現学習(RL)メソッドは、情報が距離によって保存されるオブジェクトの潜伏埋め込みを学習する。 動的システムでは、埋め込みにおける時間差はシステムの安定性や任意の変換による埋め込みの不整合によって説明される。 ここでは埋め込みアライメントとその部分を調査し,最初の形式的定義を提供し,アライメントと安定性を測定するための新しい指標を提案し,合成実験を通じてそれらの適合性を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Representation learning (RL) methods learn objects' latent embeddings where information is preserved by distances. Since distances are invariant to certain linear transformations, one may obtain different embeddings while preserving the same information. In dynamic systems, a temporal difference in embeddings may be explained by the stability of the system or by the misalignment of embeddings due to arbitrary transformations. In the literature, embedding alignment has not been defined formally, explored theoretically, or analyzed empirically. Here, we explore the embedding alignment and its parts, provide the first formal definitions, propose novel metrics to measure alignment and stability, and show their suitability through synthetic experiments. Real-world experiments show that both static and dynamic RL methods are prone to produce misaligned embeddings and such misalignment worsens the performance of dynamic network inference tasks. By ensuring alignment, the prediction accuracy raises by up to 90% in static and by 40% in dynamic RL methods.
• Abstract（参考訳）: 表現学習(rl)法は、情報が距離によって保存されるオブジェクトの潜在埋め込みを学習する。 距離はある種の線型変換に不変であるため、同じ情報を保持しながら異なる埋め込みが得られる。 力学系では、埋め込みの時間的差はシステムの安定性や任意の変換による埋め込みの誤用によって説明できる。 文献では、埋め込みアライメントは公式に定義されておらず、理論的に、あるいは経験的に分析されていない。 ここでは埋め込みアライメントとその部分を調査し,最初の形式的定義を提供し,アライメントと安定性を測定するための新しい指標を提案し,合成実験を通じてそれらの適合性を示す。 実世界の実験では、静的RL法と動的RL法の両方が不整合な埋め込みを生成する傾向があり、そのような不整合は動的ネットワーク推論タスクの性能を悪化させる。 アライメントを確保することで、予測精度は静的で最大90%上昇し、動的RL法では40%上昇する。

関連論文リスト

• Learning Controlled Stochastic Differential Equations [61.82896036131116]
  本研究では,非一様拡散を伴う連続多次元非線形微分方程式のドリフト係数と拡散係数の両方を推定する新しい手法を提案する。 我々は、(L2)、(Linfty)の有限サンプル境界や、係数の正則性に適応する学習率を持つリスクメトリクスを含む、強力な理論的保証を提供する。 当社のメソッドはオープンソースPythonライブラリとして利用可能です。
  論文  参考訳（メタデータ） (2024-11-04T11:09:58Z)
• Identifiable Representation and Model Learning for Latent Dynamic Systems [0.0]
  本稿では,潜在力学系における表現とモデル学習の問題について検討する。 線形あるいはアフィン非線形潜在力学系に対して、スケーリングまでの表現を同定し、いくつかの単純な変換までモデルを決定できることを証明した。
  論文  参考訳（メタデータ） (2024-10-23T13:55:42Z)
• Adaptive debiased SGD in high-dimensional GLMs with streaming data [4.704144189806667]
  我々は、高次元一般化線形モデルにおいて、オンライン推論に新しいアプローチを導入する。 本手法はシングルパスモードで動作し,時間と空間の複雑さを著しく低減する。 提案手法は,ADL (Approximated Debiased Lasso) と呼ばれ,有界な個人確率条件の必要性を緩和するだけでなく,数値性能も著しく向上することを示した。
  論文  参考訳（メタデータ） (2024-05-28T15:36:48Z)
• Towards stable real-world equation discovery with assessing differentiating quality influence [52.2980614912553]
  一般的に用いられる有限差分法に代わる方法を提案する。 我々は,これらの手法を実問題と類似した問題に適用可能であること,および方程式発見アルゴリズムの収束性を確保する能力の観点から評価する。
  論文  参考訳（メタデータ） (2023-11-09T23:32:06Z)
• Physics-Informed Neural Networks for Material Model Calibration from Full-Field Displacement Data [0.0]
  本研究では,実環境下でのフルフィールド変位と大域力データからモデルのキャリブレーションを行うためのPINNを提案する。 拡張PINNは、実験的な1次元データと合成フルフィールド変位データの両方から材料パラメータを識別できることを実証した。
  論文  参考訳（メタデータ） (2022-12-15T11:01:32Z)
• Learned Lifted Linearization Applied to Unstable Dynamic Systems Enabled by Koopman Direct Encoding [11.650381752104296]
  DMDや他のデータ駆動手法は不安定なシステムに適用した場合、クープマンモデルを構築する上で根本的な困難に直面していることが知られている。 ここでは, 非線形状態方程式に関する知識を, 有効観測値の集合を見つけるための学習手法に組み込むことで, 問題を解く。 提案手法は既存のDMDおよびデータ駆動方式よりも劇的に改善されている。
  論文  参考訳（メタデータ） (2022-10-24T20:55:46Z)
• A Priori Denoising Strategies for Sparse Identification of Nonlinear Dynamical Systems: A Comparative Study [68.8204255655161]
  本研究では, 局所的およびグローバルな平滑化手法の性能と, 状態測定値の偏差について検討・比較する。 一般に,測度データセット全体を用いたグローバルな手法は,局所点の周辺に隣接するデータサブセットを用いる局所的手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-01-29T23:31:25Z)
• Learning Conditional Invariance through Cycle Consistency [60.85059977904014]
  本稿では,データセットの変動の有意義な要因と独立な要因を識別する新しい手法を提案する。 提案手法は,対象プロパティと残りの入力情報に対する2つの別個の潜在部分空間を含む。 我々は,より意味のある因子を同定し,よりスペーサーや解釈可能なモデルに導く合成および分子データについて実証する。
  論文  参考訳（メタデータ） (2021-11-25T17:33:12Z)
• Distributionally Robust Learning with Stable Adversarial Training [34.74504615726101]
  経験的リスク最小化を伴う機械学習アルゴリズムは、分散シフトの下で脆弱である。 そこで本稿では,異種データソースを活用して,より実用的な不確実性セットを構築する,SAL(Stable Adversarial Learning)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-30T03:05:45Z)
• GELATO: Geometrically Enriched Latent Model for Offline Reinforcement Learning [54.291331971813364]
  オフライン強化学習アプローチは、近近法と不確実性認識法に分けられる。 本研究では,この2つを潜在変動モデルに組み合わせることのメリットを実証する。 提案したメトリクスは、分布サンプルのアウトの品質と、データ内のサンプルの不一致の両方を測定します。
  論文  参考訳（メタデータ） (2021-02-22T19:42:40Z)
• Reintroducing Straight-Through Estimators as Principled Methods for Stochastic Binary Networks [85.94999581306827]
  2重みとアクティベーションを持つニューラルネットワークのトレーニングは、勾配の欠如と離散重みよりも最適化が難しいため、難しい問題である。 多くの実験結果が経験的ストレートスルー(ST)アプローチで達成されている。 同時に、ST法はベルヌーイ重みを持つバイナリネットワーク(SBN)モデルにおける推定子として真に導出することができる。
  論文  参考訳（メタデータ） (2020-06-11T23:58:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。