論文の概要: Enabling arbitrary translation objectives with Adaptive Tree Search
- arxiv url: http://arxiv.org/abs/2202.11444v1
- Date: Wed, 23 Feb 2022 11:48:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-24 21:51:00.770161
- Title: Enabling arbitrary translation objectives with Adaptive Tree Search
- Title（参考訳）: アダプティブツリー探索による任意の翻訳目標の導出
- Authors: Wang Ling, Wojciech Stokowiec, Domenic Donato, Laurent Sartran, Lei
Yu, Austin Matthews and Chris Dyer
- Abstract要約: 本研究では,適応木探索アルゴリズムを導入し,探索対象の形状や構造を仮定しない翻訳モデルの下で高いスコア付け出力を求める。
我々のアルゴリズムはビームサーチとは異なるバイアスを有しており、自己回帰モデルにおけるデコードバイアスの役割を新たに解析することができる。
- 参考スコア（独自算出の注目度）: 23.40984370716434
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce an adaptive tree search algorithm, that can find high-scoring
outputs under translation models that make no assumptions about the form or
structure of the search objective. This algorithm -- a deterministic variant of
Monte Carlo tree search -- enables the exploration of new kinds of models that
are unencumbered by constraints imposed to make decoding tractable, such as
autoregressivity or conditional independence assumptions. When applied to
autoregressive models, our algorithm has different biases than beam search has,
which enables a new analysis of the role of decoding bias in autoregressive
models. Empirically, we show that our adaptive tree search algorithm finds
outputs with substantially better model scores compared to beam search in
autoregressive models, and compared to reranking techniques in models whose
scores do not decompose additively with respect to the words in the output. We
also characterise the correlation of several translation model objectives with
respect to BLEU. We find that while some standard models are poorly calibrated
and benefit from the beam search bias, other often more robust models
(autoregressive models tuned to maximize expected automatic metric scores, the
noisy channel model and a newly proposed objective) benefit from increasing
amounts of search using our proposed decoder, whereas the beam search bias
limits the improvements obtained from such objectives. Thus, we argue that as
models improve, the improvements may be masked by over-reliance on beam search
or reranking based methods.
- Abstract（参考訳）: 本稿では,探索対象の形状や構造を仮定しない翻訳モデルに基づく高輝度出力を探索する適応木探索アルゴリズムを提案する。
このアルゴリズム - モンテカルロ木探索の決定論的変種 -- は、自己回帰性や条件付き独立性仮定のようなデコーディングを扱いやすくするために課される制約によって蓄積されない、新しい種類のモデルの探索を可能にする。
自己回帰モデルに適用すると、アルゴリズムはビーム探索と異なるバイアスを持つため、自己回帰モデルにおけるバイアスの復号化の役割の新たな分析が可能になる。
経験的に,適応木探索アルゴリズムは,自己回帰モデルにおけるビーム探索に比べて,かなり優れたモデルスコアの出力を探索し,出力中の単語に対してスコアが付加的に分解されないモデルにおける再ランキング手法と比較した。
また、bleuに関して複数の翻訳モデル目標の相関関係を特徴付ける。
いくつかの標準モデルは、ビーム探索バイアスの利点があるが、他のより頑健なモデル(期待された自動メトリックスコアを最大化するために調整された自動回帰モデル、ノイズチャンネルモデル、新しく提案された目的)は、提案するデコーダを用いた探索量の増加の恩恵を受けるが、ビーム探索バイアスは、そのような目的から得られる改善を制限する。
したがって,モデルが改善するにつれて,ビーム探索や再ランキングに基づく手法への過度な依存によって改善が隠される可能性がある。
関連論文リスト
- Supervised Score-Based Modeling by Gradient Boosting [49.556736252628745]
本稿では,スコアマッチングを組み合わせた勾配向上アルゴリズムとして,SSM(Supervised Score-based Model)を提案する。
推測時間と予測精度のバランスをとるため,SSMの学習とサンプリングに関する理論的解析を行った。
我々のモデルは、精度と推測時間の両方で既存のモデルより優れています。
論文 参考訳（メタデータ） (2024-11-02T07:06:53Z) - Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。
実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
論文 参考訳（メタデータ） (2024-05-29T17:59:07Z) - SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking [60.109453252858806]
MLE(Maxum-likelihood)の目的は、高品質なシーケンスを自動回帰的に生成する下流のユースケースと一致しない。
我々は、模倣学習(IL)問題としてシーケンス生成を定式化する。
これにより、自己回帰モデルによって生成されるシーケンスの分布とデータセットからのシーケンスとの差異を最小化できる。
得られた手法であるSequenceMatchは、敵の訓練やアーキテクチャの変更なしに実装できる。
論文 参考訳（メタデータ） (2023-06-08T17:59:58Z) - Rethinking the Evaluation of Neural Machine Translation [25.036685025571927]
本稿では,探索誤りの影響を回避し,モデルランキングの観点からシステムレベルの評価を行う新しい評価プロトコルを提案する。
提案手法は,ビームサーチではなく,新たに提案した最上位k$デコードに基づく。
論文 参考訳（メタデータ） (2021-06-29T09:59:50Z) - Quantum-Assisted Feature Selection for Vehicle Price Prediction Modeling [0.0]
本研究では,一般平均情報係数やピアソン相関係数などの二元モデルとして検索を符号化する指標について検討する。
我々は,新しい指標を用いて合成データの最適部分集合を求めるための0.9の精度スコアを得る。
その結果、量子支援ルーチンを活用することで、予測モデル出力の品質を高めるソリューションが見つかることが分かりました。
論文 参考訳（メタデータ） (2021-04-08T20:48:44Z) - Goal-directed Generation of Discrete Structures with Conditional
Generative Models [85.51463588099556]
本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。
提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
論文 参考訳（メタデータ） (2020-10-05T20:03:13Z) - Learning Optimal Tree Models Under Beam Search [27.92120639502327]
既存のツリーモデルは、トレーニングテストの相違に悩まされている。
我々はビームサーチとキャリブレーションの下でベイズ最適性の概念を開発する。
本稿では,ビームサーチによる最適木モデル学習のための新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-27T17:20:04Z) - Unsupervised Anomaly Detection with Adversarial Mirrored AutoEncoders [51.691585766702744]
本稿では,識別器のミラー化ワッサースタイン損失を利用して,よりセマンティックレベルの再構築を行う逆自動エンコーダの変種を提案する。
我々は,再建基準の代替として,異常スコアの代替尺度を提案した。
提案手法は,OOD検出ベンチマークにおける異常検出の最先端手法よりも優れている。
論文 参考訳（メタデータ） (2020-03-24T08:26:58Z) - On the Discrepancy between Density Estimation and Sequence Generation [92.70116082182076]
log-likelihoodは、同じファミリー内のモデルを考えるとき、BLEUと非常に相関している。
異なる家族間でのモデルランキングの相関はみられない。
論文 参考訳（メタデータ） (2020-02-17T20:13:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。