論文の概要: Sparse Regression for Machine Translation
- arxiv url: http://arxiv.org/abs/2406.19478v1
- Date: Thu, 27 Jun 2024 18:43:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-01 18:41:35.467568
- Title: Sparse Regression for Machine Translation
- Title（参考訳）: 機械翻訳におけるスパース回帰
- Authors: Ergun Biçici,
- Abstract要約: パラレルコーパスのソース特徴とターゲット特徴のマッピングを学習するためのトランスダクティブ回帰手法の有効性を示す。
我々はドイツ語から英語へ、スペイン語から英語へ翻訳する際の励みとなる結果を提示する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We use transductive regression techniques to learn mappings between source and target features of given parallel corpora and use these mappings to generate machine translation outputs. We show the effectiveness of $L_1$ regularized regression (\textit{lasso}) to learn the mappings between sparsely observed feature sets versus $L_2$ regularized regression. Proper selection of training instances plays an important role to learn correct feature mappings within limited computational resources and at expected accuracy levels. We introduce \textit{dice} instance selection method for proper selection of training instances, which plays an important role to learn correct feature mappings for improving the source and target coverage of the training set. We show that $L_1$ regularized regression performs better than $L_2$ regularized regression both in regression measurements and in the translation experiments using graph decoding. We present encouraging results when translating from German to English and Spanish to English. We also demonstrate results when the phrase table of a phrase-based decoder is replaced with the mappings we find with the regression model.
- Abstract（参考訳）: 我々は、トランスダクティブ回帰手法を用いて、与えられた並列コーパスのソースとターゲットの特徴のマッピングを学習し、これらのマッピングを使用して機械翻訳出力を生成する。
スパースに観測された特徴集合間のマッピングを、$L_2$正規化回帰に対して学習するために、$L_1$正規化回帰(\textit{lasso})の有効性を示す。
トレーニングインスタンスの適切な選択は、限られた計算リソースと期待される精度レベルで、正確な特徴マッピングを学習する上で重要な役割を果たす。
本稿では,トレーニングセットのソースと対象範囲を改善するために,適切な特徴マッピングを学習する上で重要な役割を担う,トレーニングインスタンスの適切な選択のための‘textit{dice} インスタンス選択方法を紹介した。
L_1$正規化回帰は回帰測定とグラフ復号を用いた翻訳実験の両方において$L_2$正規化回帰よりも優れた性能を示すことを示す。
我々はドイツ語から英語へ、スペイン語から英語へ翻訳する際の励みとなる結果を提示する。
また、フレーズベースのデコーダのフレーズテーブルを回帰モデルで見つけたマッピングに置き換えた結果を示す。
関連論文リスト
- LFFR: Logistic Function For (single-output) Regression [0.0]
完全同型暗号方式で暗号化されたデータを用いたプライバシー保護型回帰トレーニングを実装した。
我々は,ロジスティック関数を用いたホモモルフィック回帰のための新しい,効率的なアルゴリズムLFFRを開発した。
論文 参考訳（メタデータ） (2024-07-13T17:33:49Z) - Generalized Regression with Conditional GANs [2.4171019220503402]
本稿では,学習データセットにおける特徴ラベルペアと,対応する入力と組み合わせて出力を区別できない予測関数を学習することを提案する。
回帰に対するこのアプローチは、私たちが適合するデータの分布に対する仮定を減らし、表現能力が向上することを示す。
論文 参考訳（メタデータ） (2024-04-21T01:27:47Z) - Adaptive Optimization for Prediction with Missing Data [6.800113478497425]
適応線形回帰モデルの中には,命令規則と下流線形回帰モデルを同時に学習するのと等価なものもある。
ランダムにデータの欠落が強くない環境では,本手法はサンプル外精度を2～10%向上させる。
論文 参考訳（メタデータ） (2024-02-02T16:35:51Z) - Distributional Reinforcement Learning with Dual Expectile-Quantile Regression [51.87411935256015]
分布RLに対する量子レグレッションアプローチは、任意の戻り分布を柔軟かつ効果的に学習する方法を提供する。
我々は,分布保証が消えることを示し,推定分布が急速に崩壊して平均推定値が崩壊することを実証的に観察する。
提案手法は,$L$の学習効率を生かして,返却分布の予測値と量子化値とを協調的に学習し,返却分布の完全な分布を推定し,効率的な学習を可能にするものである。
論文 参考訳（メタデータ） (2023-05-26T12:30:05Z) - Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of
Language Model [92.55145016562867]
分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。
我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
論文 参考訳（メタデータ） (2023-05-24T15:52:08Z) - What learning algorithm is in-context learning? Investigations with
linear models [87.91612418166464]
本稿では,トランスフォーマーに基づくインコンテキスト学習者が標準学習アルゴリズムを暗黙的に実装する仮説について検討する。
訓練された文脈内学習者は、勾配降下、隆起回帰、および正確な最小二乗回帰によって計算された予測値と密に一致していることを示す。
文脈内学習者がこれらの予測器とアルゴリズム的特徴を共有するという予備的証拠。
論文 参考訳（メタデータ） (2022-11-28T18:59:51Z) - Improving Neural Machine Translation by Bidirectional Training [85.64797317290349]
我々は、ニューラルネットワーク翻訳のためのシンプルで効果的な事前学習戦略である双方向トレーニング(BiT)を提案する。
具体的には、初期モデルのパラメータを双方向に更新し、正常にモデルを調整する。
実験の結果,BiTは8つの言語対上の15の翻訳タスクに対して,SOTAニューラルマシン翻訳性能を著しく向上させることがわかった。
論文 参考訳（メタデータ） (2021-09-16T07:58:33Z) - Variation-Incentive Loss Re-weighting for Regression Analysis on Biased
Data [8.115323786541078]
モデルトレーニング中のデータ歪/バイアスに対処することで回帰分析の精度を向上させることを目的としている。
回帰分析のための勾配降下モデルトレーニングを最適化するために,変分集中損失再重み付け法(VILoss)を提案する。
論文 参考訳（メタデータ） (2021-09-14T10:22:21Z) - Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing
Regressions In NLP Model Updates [68.09049111171862]
この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。
回帰フリーモデル更新を制約付き最適化問題に定式化する。
モデルアンサンブルが回帰を減らす方法を実証的に分析します。
論文 参考訳（メタデータ） (2021-05-07T03:33:00Z) - RepPoints V2: Verification Meets Regression for Object Detection [65.120827759348]
本稿ではRepPointsのローカライズ予測に検証タスクを導入する。
RepPoints v2は、オリジナルのRepPointsよりも約2.0mAPの一貫性のある改善を提供する。
提案手法は、インスタンスセグメンテーションのようなアプリケーションと同様に、他のオブジェクト検出フレームワークをより高めることができることを示す。
論文 参考訳（メタデータ） (2020-07-16T17:57:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。