論文の概要: Unified Likelihood Ratio Estimation for High- to Zero-frequency N-grams
- arxiv url: http://arxiv.org/abs/2110.00946v1
- Date: Sun, 3 Oct 2021 07:44:16 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-05 15:39:46.481179
- Title: Unified Likelihood Ratio Estimation for High- to Zero-frequency N-grams
- Title（参考訳）: 高周波・ゼロ周波n-gramの統一度比推定
- Authors: Masato Kikuchi and Kento Kawakami and Kazuho Watanabe and Mitsuo
Yoshida and Kyoji Umemura
- Abstract要約: 自然言語処理では、要素は$N$-gramと呼ばれる$N$アイテムの連続列である。
N$-gram周波数のみを使用する単純推定手法は、低周波(希)$N$-gramに敏感である。
N$-gramをアイテム単位に分解し、元の$N$-gramの周波数とともにそれらの周波数を適用する方法を提案する。
- 参考スコア（独自算出の注目度）: 1.3124513975412255
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Likelihood ratios (LRs), which are commonly used for probabilistic data
processing, are often estimated based on the frequency counts of individual
elements obtained from samples. In natural language processing, an element can
be a continuous sequence of $N$ items, called an $N$-gram, in which each item
is a word, letter, etc. In this paper, we attempt to estimate LRs based on
$N$-gram frequency information. A naive estimation approach that uses only
$N$-gram frequencies is sensitive to low-frequency (rare) $N$-grams and not
applicable to zero-frequency (unobserved) $N$-grams; these are known as the
low- and zero-frequency problems, respectively. To address these problems, we
propose a method for decomposing $N$-grams into item units and then applying
their frequencies along with the original $N$-gram frequencies. Our method can
obtain the estimates of unobserved $N$-grams by using the unit frequencies.
Although using only unit frequencies ignores dependencies between items, our
method takes advantage of the fact that certain items often co-occur in
practice and therefore maintains their dependencies by using the relevant
$N$-gram frequencies. We also introduce a regularization to achieve robust
estimation for rare $N$-grams. Our experimental results demonstrate that our
method is effective at solving both problems and can effectively control
dependencies.
- Abstract（参考訳）: 確率的データ処理に一般的に使用される同値比(LR)は、サンプルから得られる個々の要素の周波数数に基づいて推定されることが多い。
自然言語処理では、要素は$N$-gramと呼ばれる$N$アイテムの連続配列であり、各項目は単語や文字などである。
本稿では,N$-gramの周波数情報に基づいてLRを推定する。
n$-gram周波数のみを使用するナイーブな推定手法は、低周波数 (rare) $n$-gramsに敏感であり、ゼロ周波数 (observed) $n$-gramsには適用できない。
これらの問題に対処するために、N$-gramをアイテム単位に分解し、元の$N$-gram周波数とともにそれらの周波数を適用する方法を提案する。
本手法は単位周波数を用いて非観測値のN$-gramを推定できる。
単位周波数のみがアイテム間の依存関係を無視するが、本手法は特定の項目が実際に共起することが多いという事実を生かして、関連する$N$-gramの周波数を用いて依存関係を維持する。
また,希少なn$-gramに対するロバストな推定を実現するための正規化も導入する。
実験の結果,本手法は両問題の解決に有効であり,依存関係を効果的に制御できることがわかった。
関連論文リスト
- Most Likely Sequence Generation for $n$-Grams, Transformers, HMMs, and Markov Chains, by Using Rollout Algorithms [3.014160809522789]
本稿では,ChatGPTの基盤となるような$n$-gram構造を持つ変換器について考察する。
変換器は、単語列を生成するために使用できる次の単語確率を提供する。
これらの確率に基づいて,確率の高い単語列の計算方法を検討する。
論文 参考訳（メタデータ） (2024-03-19T19:58:46Z) - Linear-time Minimum Bayes Risk Decoding with Reference Aggregation [52.1701152610258]
最小ベイズリスク(MBR、Minimum Bayes Risk)は、機械翻訳の品質向上を図ったテキスト生成技術である。
これは2次複雑性を持つ実用計量のペアワイズ計算を必要とする。
本稿では,集約された参照表現に対して計算したスコアを用いて,ペアワイズメトリックスコアを近似する。
論文 参考訳（メタデータ） (2024-02-06T18:59:30Z) - Offline Reinforcement Learning at Multiple Frequencies [62.08749079914275]
本研究では、オフライン強化学習アルゴリズムが、トレーニング中に複数の周波数を混合したデータに対応できるかどうかについて検討する。
学習を安定させるために$Q$-valueの更新率で一貫性を強制する、単純だが効果的なソリューションを提案する。
論文 参考訳（メタデータ） (2022-07-26T17:54:49Z) - Quantum Resources Required to Block-Encode a Matrix of Classical Data [56.508135743727934]
回路レベルの実装とリソース推定を行い、古典データの高密度な$Ntimes N$行列をブロックエンコードして$epsilon$を精度良くすることができる。
異なるアプローチ間のリソーストレードオフを調査し、量子ランダムアクセスメモリ(QRAM)の2つの異なるモデルの実装を検討する。
我々の結果は、単純なクエリの複雑さを超えて、大量の古典的データが量子アルゴリズムにアクセスできると仮定された場合のリソースコストの明確な図を提供する。
論文 参考訳（メタデータ） (2022-06-07T18:00:01Z) - Approximate Function Evaluation via Multi-Armed Bandits [51.146684847667125]
既知の滑らかな関数 $f$ の値を未知の点 $boldsymbolmu in mathbbRn$ で推定する問題について検討する。
我々は、各座標の重要性に応じてサンプルを学習するインスタンス適応アルゴリズムを設計し、少なくとも1-delta$の確率で$epsilon$の正確な推定値である$f(boldsymbolmu)$を返す。
論文 参考訳（メタデータ） (2022-03-18T18:50:52Z) - Improving \textit{Tug-of-War} sketch using Control-Variates method [0.12891210250935145]
我々はモンテカルロ・シミュレーションの分散還元で主に知られている古典的な制御-分散性ラベンベルクの手法を用いる。
本稿では,提案手法の理論的解析を行い,実世界のデータセットと合成実験を補完する。
論文 参考訳（メタデータ） (2022-03-04T17:01:42Z) - Feature Selective Likelihood Ratio Estimator for Low- and Zero-frequency
N-grams [0.4588028371034407]
自然言語処理(NLP)では、N-gramの確率比(LR)が周波数情報からしばしば推定される。
コーパスは可能なN-グラムのごく一部しか含んでおらず、ほとんどはまれに発生する。
低周波および0周波N-gramに対するLR推定器を提案する。
論文 参考訳（メタデータ） (2021-11-05T09:38:43Z) - Linear-Sample Learning of Low-Rank Distributions [56.59844655107251]
ktimes k$, rank-r$, matrices to normalized $L_1$ distance requires $Omega(frackrepsilon2)$ sample。
我々は、$cal O(frackrepsilon2log2fracepsilon)$ sample, a number linear in the high dimension, and almost linear in the matrices, usually low, rank proofs.というアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-09-30T19:10:32Z) - Modeling Personalized Item Frequency Information for Next-basket
Recommendation [63.94555438898309]
次世代レコメンデーション(NBR)は、電子商取引や小売業界で一般的である。
既存のRNNでは,レコメンデーションシナリオにおいて,アイテムの周波数情報を直接キャプチャすることはできない。
我々はこれらの臨界信号を直接利用する簡単なアイテム周波数に基づくk-nearest neighbors (kNN)法を提案する。
論文 参考訳（メタデータ） (2020-05-31T16:42:39Z) - Robust quantum minimum finding with an application to hypothesis
selection [0.0]
雑音コンパレータを用いて長さ$N$の最小要素を求める問題を考える。
雑音のないケースの二次的なスピードアップを保った雑音量子最小化のための量子アルゴリズムを実証する。
我々は、コンパレータが分解能に制限されたり、不確実性がある場合に、ロバストな量子最小化がアルゴリズムの有用な構築ブロックになることを期待する。
論文 参考訳（メタデータ） (2020-03-26T07:42:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。