論文の概要: Differentiable Weighted Finite-State Transducers

• arxiv url: http://arxiv.org/abs/2010.01003v1
• Date: Fri, 2 Oct 2020 13:52:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 00:39:03.360964
• Title: Differentiable Weighted Finite-State Transducers
• Title（参考訳）: 可変重み付き有限状態トランスデューサ
• Authors: Awni Hannun, Vineel Pratap, Jacob Kahn, Wei-Ning Hsu
• Abstract要約: 重み付き有限状態トランスデューサ(WFST)を用いた自動微分フレームワークを提案する。 このフレームワークは、学習アルゴリズムへの事前知識の符号化を容易にする新しい構造化された損失関数の探索を可能にする。 このフレームワークは、遷移モデルにおけるプルーニングとバックオフを、様々なシーケンスレベルの損失関数と組み合わせることができるかを示す。
• 参考スコア（独自算出の注目度）: 28.173684466796697
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a framework for automatic differentiation with weighted finite-state transducers (WFSTs) allowing them to be used dynamically at training time. Through the separation of graphs from operations on graphs, this framework enables the exploration of new structured loss functions which in turn eases the encoding of prior knowledge into learning algorithms. We show how the framework can combine pruning and back-off in transition models with various sequence-level loss functions. We also show how to learn over the latent decomposition of phrases into word pieces. Finally, to demonstrate that WFSTs can be used in the interior of a deep neural network, we propose a convolutional WFST layer which maps lower-level representations to higher-level representations and can be used as a drop-in replacement for a traditional convolution. We validate these algorithms with experiments in handwriting recognition and speech recognition.
• Abstract（参考訳）: 本稿では、有限状態トランスデューサ(WFST)を用いた自動微分フレームワークを導入し、トレーニング時に動的に使用できるようにする。 このフレームワークはグラフ上の操作からグラフを分離することで、新しい構造化損失関数の探索を可能にし、学習アルゴリズムへの事前知識のエンコーディングを容易にする。 このフレームワークは、遷移モデルのプルーニングとバックオフを様々なシーケンスレベルの損失関数と組み合わせることができることを示す。 また,句の潜在的な分解を単語に分解して学ぶ方法を示す。 最後に、深層ニューラルネットワークの内部でWFSTが利用できることを示すために、より低レベルな表現を高レベルな表現にマッピングし、従来の畳み込みの代替として使用できる畳み込みWFST層を提案する。 我々はこれらのアルゴリズムを手書き認識と音声認識の実験で検証する。

関連論文リスト

• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• QGait: Toward Accurate Quantization for Gait Recognition with Binarized Input [17.017127559393398]
  バックプロパゲーション時の円関数の勾配をよりよくシミュレートする,微分可能なソフト量子化器を提案する。 これにより、ネットワークは微妙な入力摂動から学習することができる。 量子化エラーをシミュレートしながら収束を確保するためのトレーニング戦略をさらに洗練する。
  論文  参考訳（メタデータ） (2024-05-22T17:34:18Z)
• Fully Differentiable Correlation-driven 2D/3D Registration for X-ray to CT Image Fusion [3.868072865207522]
  画像ベース剛性2D/3Dレジストレーションは, 蛍光ガイド下外科手術において重要な技術である。 デュアルブランチCNN変換器エンコーダを用いた完全微分型相関型ネットワークを提案する。 組込み情報に基づく低周波特徴と高周波特徴の分解に対して相関型損失を提案する。
  論文  参考訳（メタデータ） (2024-02-04T14:12:51Z)
• Latent Space Translation via Semantic Alignment [29.2401314068038]
  我々は、異なるニューラルモジュールから学んだ表現が、異なる事前学習されたネットワーク間でどのように変換されるかを示す。 提案手法は, 与えられた2つの潜在空間間の変換を直接推定することにより, 付加的な訓練を伴わずに, エンコーダとデコーダを効果的に縫合できる。 特に、ゼロショットテクストテキストエンコーダやビジョンデコーダ、あるいはリバーサがいかに可能かを示し、このマルチモーダル環境で驚くほど優れた分類性能が得られることを示す。
  論文  参考訳（メタデータ） (2023-11-01T17:12:00Z)
• Unsupervised Learning of Invariance Transformations [105.54048699217668]
  近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。 重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
  論文  参考訳（メタデータ） (2023-07-24T17:03:28Z)
• Reparameterization through Spatial Gradient Scaling [69.27487006953852]
  リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。 本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2023-03-05T17:57:33Z)
• The Predictive Forward-Forward Algorithm [79.07468367923619]
  本稿では,ニューラルネットワークにおける信頼割当を行うための予測フォワード(PFF)アルゴリズムを提案する。 我々は,有向生成回路と表現回路を同時に同時に学習する,新しい動的リカレントニューラルネットワークを設計する。 PFFは効率よく学習し、学習信号を伝達し、フォワードパスのみでシナプスを更新する。
  論文  参考訳（メタデータ） (2023-01-04T05:34:48Z)
• Random Weight Factorization Improves the Training of Continuous Neural Representations [1.911678487931003]
  連続神経表現は、信号の古典的な離散化表現に代わる強力で柔軟な代替物として登場した。 従来の線形層をパラメータ化・初期化するための単純なドロップイン置換法としてランダムウェイト係数化を提案する。 ネットワーク内の各ニューロンが、自身の自己適応学習率を用いて学習できるように、この因子化が基盤となる損失状況をどのように変化させるかを示す。
  論文  参考訳（メタデータ） (2022-10-03T23:48:48Z)
• Looking Beyond Corners: Contrastive Learning of Visual Representations for Keypoint Detection and Description Extraction [1.5749416770494706]
  学習可能なキーポイント検出器とディスクリプタは、古典的な手作りの特徴抽出方法よりも優れています。 視覚表現の自己教師型学習に関する最近の研究は、深層ネットワークに基づく学習可能なモデルの性能向上を促している。 本稿では,繰り返し可能なキーポイントを検知し,識別的記述を抽出する対応ネットワーク(CorrNet)を提案する。
  論文  参考訳（メタデータ） (2021-12-22T16:27:11Z)
• Compressing Deep ODE-Nets using Basis Function Expansions [105.05435207079759]
  重みの定式化を基底関数の線形結合を用いた連続深度関数とみなす。 この観点では、ほぼ最先端の性能を維持しながら、再トレーニングすることなく、ベースの変化によって重みを圧縮することができる。 これにより、推論時間とメモリフットプリントの両方が削減され、計算環境間の高速で厳密な適応が可能となる。
  論文  参考訳（メタデータ） (2021-06-21T03:04:51Z)
• MetaSDF: Meta-learning Signed Distance Functions [85.81290552559817]
  ニューラルな暗示表現で形状を一般化することは、各関数空間上の学習先行値に比例する。 形状空間の学習をメタラーニング問題として定式化し、勾配に基づくメタラーニングアルゴリズムを利用してこの課題を解決する。
  論文  参考訳（メタデータ） (2020-06-17T05:14:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。