論文の概要: Neural String Edit Distance
- arxiv url: http://arxiv.org/abs/2104.08388v1
- Date: Fri, 16 Apr 2021 22:16:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-20 14:38:07.695004
- Title: Neural String Edit Distance
- Title(参考訳): 神経文字列編集距離
- Authors: Jind\v{r}ich Libovick\'y, Alexander Fraser
- Abstract要約: 文字列対分類とシーケンス生成のためのニューラルストリング編集距離モデルを提案する。
オリジナルの期待最大化学習編集距離アルゴリズムを微分可能な損失関数に変更します。
ひとつのフレームワークでパフォーマンスと解釈性をトレードオフできることを示します。
- 参考スコア(独自算出の注目度): 77.72325513792981
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose the neural string edit distance model for string-pair
classification and sequence generation based on learned string edit distance.
We modify the original expectation-maximization learned edit distance algorithm
into a differentiable loss function, allowing us to integrate it into a neural
network providing a contextual representation of the input. We test the method
on cognate detection, transliteration, and grapheme-to-phoneme conversion. We
show that we can trade off between performance and interpretability in a single
framework. Using contextual representations, which are difficult to interpret,
we can match the performance of state-of-the-art string-pair classification
models. Using static embeddings and a minor modification of the loss function,
we can force interpretability, at the expense of an accuracy drop.
- Abstract(参考訳): 学習した文字列編集距離に基づく文字列ペア分類とシーケンス生成のためのニューラルネットワーク編集距離モデルを提案する。
我々は,学習済み編集距離アルゴリズムを拡張可能な損失関数に変更し,入力の文脈表現を提供するニューラルネットワークに統合した。
本稿では,コグネート検出,音素変換,音素変換について検討する。
ひとつのフレームワークでパフォーマンスと解釈性をトレードオフできることを示します。
解釈が難しい文脈表現を用いることで、最先端の文字列ペア分類モデルの性能を一致させることができる。
静的な埋め込みと損失関数の微修正を用いることで、精度低下を犠牲にして解釈性を強制することができる。
関連論文リスト
- Evaluating Semantic Variation in Text-to-Image Synthesis: A Causal Perspective [50.261681681643076]
本稿では,SemVarEffectとSemVarBenchというベンチマークを用いて,テキスト・画像合成における入力のセマンティックな変化と出力の因果性を評価する。
本研究は,T2I合成コミュニティによるヒューマンインストラクション理解の探索を促進する効果的な評価枠組みを確立する。
論文 参考訳(メタデータ) (2024-10-14T08:45:35Z) - QGait: Toward Accurate Quantization for Gait Recognition with Binarized Input [17.017127559393398]
バックプロパゲーション時の円関数の勾配をよりよくシミュレートする,微分可能なソフト量子化器を提案する。
これにより、ネットワークは微妙な入力摂動から学習することができる。
量子化エラーをシミュレートしながら収束を確保するためのトレーニング戦略をさらに洗練する。
論文 参考訳(メタデータ) (2024-05-22T17:34:18Z) - Pixel Sentence Representation Learning [67.4775296225521]
本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。
タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。
我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
論文 参考訳(メタデータ) (2024-02-13T02:46:45Z) - Transparency at the Source: Evaluating and Interpreting Language Models
With Access to the True Distribution [4.01799362940916]
人工的な言語のようなデータを用いて、ニューラルネットワークモデルのトレーニング、評価、解釈を行う。
データは、巨大な自然言語コーパスから派生した巨大な確率文法を用いて生成される。
基礎となる真の情報源にアクセスすることで、異なる単語のクラス間の動的学習における顕著な違いと結果が示される。
論文 参考訳(メタデータ) (2023-10-23T12:03:01Z) - Equivariance with Learned Canonicalization Functions [77.32483958400282]
正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。
実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
論文 参考訳(メタデータ) (2022-11-11T21:58:15Z) - A Comparison of Transformer, Convolutional, and Recurrent Neural
Networks on Phoneme Recognition [16.206467862132012]
我々は,音素認識を用いてCNN,RNN,Transformer,Conformerの各モデルを比較し,解析する。
解析の結果,TransformerモデルとConformerモデルは,入力フレームによる自己認識の長距離アクセス性から恩恵を受けることがわかった。
論文 参考訳(メタデータ) (2022-10-01T20:47:25Z) - Predicting What You Already Know Helps: Provable Self-Supervised
Learning [60.27658820909876]
自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。
本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。
複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
論文 参考訳(メタデータ) (2020-08-03T17:56:13Z) - Logic Constrained Pointer Networks for Interpretable Textual Similarity [11.142649867439406]
本稿では, セシネルゲーティング機能を備えた新しいポインターネットワークモデルを導入し, 構成チャンクを整列させる。
両文の相違を等しく補償し、アライメントが双方向であることを保証するために、損失関数によるこのベースモデルを改善する。
このモデルは、チャンクアライメントタスクのためのベンチマークSemEvalデータセットにおいて、97.73と96.32のF1スコアを達成する。
論文 参考訳(メタデータ) (2020-07-15T13:01:44Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳(メタデータ) (2020-04-20T02:47:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。