論文の概要: Full-Span Log-Linear Model and Fast Learning Algorithm

• arxiv url: http://arxiv.org/abs/2202.08472v1
• Date: Thu, 17 Feb 2022 06:51:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-19 00:40:36.580780
• Title: Full-Span Log-Linear Model and Fast Learning Algorithm
• Title（参考訳）: フルスパンログ線形モデルと高速学習アルゴリズム
• Authors: Kazuya Takabatake, Shotaro Akaho
• Abstract要約: フルスパンログリニア(FSLL)モデルは、$n$-次ボルツマンマシンと見なされる。 FSLLモデルは$|X|-1$パラメータを持ち、任意の正の分布を$X$で表すことができる。 実験の結果、FSLLはラップトップPCで1分以内に|X|=220$という6つのトレーニングデータセットを学習した。
• 参考スコア（独自算出の注目度）: 1.9798034349981162
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The full-span log-linear(FSLL) model introduced in this paper is considered an $n$-th order Boltzmann machine, where $n$ is the number of all variables in the target system. Let $X=(X_0,...,X_{n-1})$ be finite discrete random variables that can take $|X|=|X_0|...|X_{n-1}|$ different values. The FSLL model has $|X|-1$ parameters and can represent arbitrary positive distributions of $X$. The FSLL model is a "highest-order" Boltzmann machine; nevertheless, we can compute the dual parameters of the model distribution, which plays important roles in exponential families, in $O(|X|\log|X|)$ time. Furthermore, using properties of the dual parameters of the FSLL model, we can construct an efficient learning algorithm. The FSLL model is limited to small probabilistic models up to $|X|\approx2^{25}$; however, in this problem domain, the FSLL model flexibly fits various true distributions underlying the training data without any hyperparameter tuning. The experiments presented that the FSLL successfully learned six training datasets such that $|X|=2^{20}$ within one minute with a laptop PC.
• Abstract（参考訳）: 本論文で導入されたフルスパン対数線形(fsll)モデルは、ターゲットシステム内の全ての変数の数が$n$であるボルツマンマシンと見なされる。 X = (X_0, ..., X_{n-1})$ を$|X|=|X_0|...|X_{n-1}|$異なる値を取る有限離散確率変数とする。 FSLLモデルは$|X|-1$パラメータを持ち、任意の正の分布を$X$で表すことができる。 FSLLモデルは「高階」ボルツマンマシンであるが、指数族において重要な役割を果たすモデル分布の双対パラメータを$O(|X|\log|X|)$ timeで計算することができる。 さらに、FSLLモデルの双対パラメータの特性を用いて、効率的な学習アルゴリズムを構築することができる。 FSLLモデルは、最大$|X|\approx2^{25}$までの小さな確率モデルに制限されているが、この問題領域では、FSLLモデルはハイパーパラメータチューニングなしで、トレーニングデータの基礎となる様々な真の分布に柔軟に適合する。 実験の結果、FSLLはラップトップPCで1分以内に$|X|=2^{20}$のような6つのトレーニングデータセットを学習した。

関連論文リスト

• IT$^3$: Idempotent Test-Time Training [95.78053599609044]
  本稿では,分散シフトの課題に対処する新しいアプローチであるIdempotent Test-Time Training (IT$3$)を紹介する。 IT$3$は、イデオロジェンスの普遍性に基づいている。 画像分類の劣化など,様々なタスクにまたがるアプローチの汎用性を実証する。
  論文  参考訳（メタデータ） (2024-10-05T15:39:51Z)
• Transformer In-Context Learning for Categorical Data [51.23121284812406]
  我々は、分類結果、非線形基礎モデル、非線形注意を考慮し、文脈内学習のレンズを通してトランスフォーマーを理解する研究を機能データで拡張する。 我々は、ImageNetデータセットを用いて、この数発の学習方法論の最初の実世界の実演であると考えられるものを提示する。
  論文  参考訳（メタデータ） (2024-05-27T15:03:21Z)
• Agnostic Active Learning of Single Index Models with Linear Sample Complexity [27.065175036001246]
  F(mathbf x) = f(langle mathbf w, mathbf xrangle)$。
  論文  参考訳（メタデータ） (2024-05-15T13:11:28Z)
• Agnostically Learning Multi-index Models with Queries [54.290489524576756]
  本稿では,ガウス分布下での非依存学習の課題に対するクエリアクセスのパワーについて検討する。 クエリアクセスは、MIMを不可知的に学習するためのランダムな例よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2023-12-27T15:50:47Z)
• Efficient Sampling of Stochastic Differential Equations with Positive Semi-Definite Models [91.22420505636006]
  本稿では, ドリフト関数と拡散行列を考慮し, 微分方程式からの効率的なサンプリング問題を扱う。 1/varepsilonは$m2d log (1/varepsilon)$である。 以上の結果から,真の解がより滑らかになるにつれて,どのような凸性も必要とせず,次元の呪いを回避できることが示唆された。
  論文  参考訳（メタデータ） (2023-03-30T02:50:49Z)
• PFGM++: Unlocking the Potential of Physics-Inspired Generative Models [14.708385906024546]
  PFGM++と呼ばれる物理に着想を得た新しい生成モデルを導入する。 これらのモデルは、$N+D$次元空間に経路を埋め込むことにより、$N$次元データの生成軌道を実現する。 有限$D$のモデルは、従来の最先端拡散モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-08T18:58:02Z)
• Tight Bounds on the Hardness of Learning Simple Nonparametric Mixtures [9.053430799456587]
  有限混合系における非パラメトリック分布の学習問題について検討する。 このようなモデルにおける成分分布を学習するために、サンプルの複雑さに厳密な境界を定めている。
  論文  参考訳（メタデータ） (2022-03-28T23:53:48Z)
• TURF: A Two-factor, Universal, Robust, Fast Distribution Learning Algorithm [64.13217062232874]
  最も強力で成功したモダリティの1つは、全ての分布を$ell$距離に近似し、基本的に最も近い$t$-piece次数-$d_$の少なくとも1倍大きい。 本稿では,この数値をほぼ最適に推定する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-15T03:49:28Z)
• Random matrices in service of ML footprint: ternary random features with no performance loss [55.30329197651178]
  我々は、$bf K$ の固有スペクトルが$bf w$ の i.d. 成分の分布とは独立であることを示す。 3次ランダム特徴(TRF)と呼ばれる新しいランダム手法を提案する。 提案したランダムな特徴の計算には乗算が不要であり、古典的なランダムな特徴に比べてストレージに$b$のコストがかかる。
  論文  参考訳（メタデータ） (2021-10-05T09:33:49Z)
• Sample-Efficient Reinforcement Learning for Linearly-Parameterized MDPs with a Generative Model [3.749193647980305]
  本稿では,一連の状態対応機能を有するマルコフ決定プロセス(MDP)について考察する。 モデルに基づくアプローチ(resp.$Q-learning)が、高い確率で$varepsilon$-Optimalポリシーを確実に学習することを示す。
  論文  参考訳（メタデータ） (2021-05-28T17:49:39Z)
• An Algorithm for Learning Smaller Representations of Models With Scarce Data [0.0]
  データセットが小さすぎるか、完全に代表的でない状況下で、二項分類問題を解くための欲求的アルゴリズムを提案する。 それは、ゆるやかな精度の制約、反復的なハイパーパラメータプルーニング手順、新しいデータを生成するために使われる関数といった訓練されたモデルに依存している。
  論文  参考訳（メタデータ） (2020-10-15T19:17:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。