論文の概要: Beam Search with Bidirectional Strategies for Neural Response Generation
- arxiv url: http://arxiv.org/abs/2110.03389v1
- Date: Thu, 7 Oct 2021 12:27:31 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-09 00:54:00.955043
- Title: Beam Search with Bidirectional Strategies for Neural Response Generation
- Title(参考訳): 神経応答生成のための双方向戦略を用いたビーム探索
- Authors: Pierre Colombo and Chouchang Yang and Giovanna Varni and Chlo\'e
Clavel
- Abstract要約: シーケンスからシーケンスまでのニューラルネットワークは、言語ベースのアプリケーションで広く使われている。
ビームサーチデコーダ戦略のような現在のアプローチは、まだ有望なパフォーマンスには達していない。
- 参考スコア(独自算出の注目度): 4.962990451595731
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Sequence-to-sequence neural networks have been widely used in language-based
applications as they have flexible capabilities to learn various language
models. However, when seeking for the optimal language response through trained
neural networks, current existing approaches such as beam-search decoder
strategies are still not able reaching to promising performances. Instead of
developing various decoder strategies based on a "regular sentence order"
neural network (a trained model by outputting sentences from left-to-right
order), we leveraged "reverse" order as additional language model (a trained
model by outputting sentences from right-to-left order) which can provide
different perspectives for the path finding problems. In this paper, we propose
bidirectional strategies in searching paths by combining two networks
(left-to-right and right-to-left language models) making a bidirectional beam
search possible. Besides, our solution allows us using any similarity measure
in our sentence selection criterion. Our approaches demonstrate better
performance compared to the unidirectional beam search strategy.
- Abstract(参考訳): sequence-to-sequenceニューラルネットワークは、さまざまな言語モデルを学ぶ柔軟な能力を持つため、言語ベースのアプリケーションで広く使われている。
しかし、訓練されたニューラルネットワークを通じて最適な言語応答を求める場合、ビーム探索デコーダ戦略のような既存のアプローチは、まだ有望な性能に到達できない。
規則文順」ニューラルネットワーク(左右の順序から文を出力する訓練モデル)に基づく様々なデコーダ戦略を開発する代わりに、「逆」順序を追加言語モデル(左右の順序から文を出力する訓練モデル)として活用し、経路発見問題に対する異なる視点を提供する。
本稿では,双方向ビーム探索を可能にする2つのネットワーク(左右言語モデルと左右言語モデル)を組み合わせることにより,探索経路における双方向戦略を提案する。
さらに, 文選択基準における類似度尺度の活用も可能である。
本手法は一方向ビーム探索法よりも優れた性能を示す。
関連論文リスト
- OFA$^2$: A Multi-Objective Perspective for the Once-for-All Neural
Architecture Search [79.36688444492405]
once-for-All(OFA)は、異なるリソース制約を持つデバイスのための効率的なアーキテクチャを探索する問題に対処するために設計された、ニューラルネットワーク検索(NAS)フレームワークである。
我々は,探索段階を多目的最適化問題として明示的に考えることにより,効率の追求を一歩進めることを目指している。
論文 参考訳(メタデータ) (2023-03-23T21:30:29Z) - Hierarchical Phrase-based Sequence-to-Sequence Learning [94.10257313923478]
本稿では、学習中の帰納バイアスの源として階層的フレーズを取り入れ、推論中の明示的な制約として、標準的なシーケンス・ツー・シーケンス(seq2seq)モデルの柔軟性を維持するニューラルトランスデューサについて述べる。
本手法では,木が原文と対象句を階層的に整列するブラケット文法に基づく識別的導出法と,整列した句を1対1で翻訳するニューラルネットワークセク2セックモデルという2つのモデルを訓練する。
論文 参考訳(メタデータ) (2022-11-15T05:22:40Z) - Towards Interpretable Deep Metric Learning with Structural Matching [86.16700459215383]
より透過的な埋め込み学習のための深層解釈可能なメトリック学習(DIML)法を提案する。
本手法は,既製のバックボーンネットワークやメトリック学習手法に適用可能な,モデルに依存しない手法である。
我々は,CUB200-2011,Cars196,Stanford Online Productsの3つの大規模メトリクス学習ベンチマークで評価を行った。
論文 参考訳(メタデータ) (2021-08-12T17:59:09Z) - Determinantal Beam Search [75.84501052642361]
ビームサーチは、ニューラルシーケンスモデルをデコードするためのゴーツー戦略である。
複数のソリューションを要求するユースケースでは、多様あるいは代表的なセットがしばしば望まれる。
ビームサーチを一連の部分決定問題として繰り返し行うことにより、アルゴリズムを多種多様なサブセット選択プロセスに変換することができる。
論文 参考訳(メタデータ) (2021-06-14T13:01:46Z) - Dependency Parsing with Bottom-up Hierarchical Pointer Networks [0.7412445894287709]
左から右へ、トップダウンのトランジションベースのアルゴリズムは、依存性解析を行う上で最も正確なアプローチである。
文を右から左の順に解析するアプローチと、外部から実行する変種という2つの新しい遷移ベースの代替案を提案する。
提案したニューラルアーキテクチャを、さまざまな言語で異なるアルゴリズムで実証的にテストし、そのすべてにおいて、元のアプローチよりも優れています。
論文 参考訳(メタデータ) (2021-05-20T09:10:42Z) - Read Like Humans: Autonomous, Bidirectional and Iterative Language
Modeling for Scene Text Recognition [80.446770909975]
言語知識はシーンのテキスト認識に非常に有益である。
エンドツーエンドのディープネットワークで言語規則を効果的にモデル化する方法はまだ研究の課題です。
シーンテキスト認識のための自律的双方向反復型ABINetを提案する。
論文 参考訳(メタデータ) (2021-03-11T06:47:45Z) - Two-Way Neural Machine Translation: A Proof of Concept for Bidirectional
Translation Modeling using a Two-Dimensional Grid [47.39346022004215]
本稿では,2次元グリッドを用いた一対一の双方向翻訳モデルを提案する。
2つのモデルを個別に訓練する代わりに、我々のアプローチは1つのネットワークが両方向の翻訳を共同で学習することを奨励する。
論文 参考訳(メタデータ) (2020-11-24T15:42:32Z) - Combining Deep Learning and String Kernels for the Localization of Swiss
German Tweets [28.497747521078647]
2番目のサブタスクは、約3万のスイスのドイツのJodelからなるデータセットをターゲットにしています。
我々は、このタスクを2重回帰問題とみなし、緯度と経度の両方を予測するために、さまざまな機械学習アプローチを採用している。
実験結果から,文字列カーネルに基づく手作りモデルの方が,ディープラーニングのアプローチよりも優れていたことが示唆された。
論文 参考訳(メタデータ) (2020-10-07T19:16:45Z) - Multi-Channel Attention Selection GANs for Guided Image-to-Image
Translation [148.9985519929653]
本稿では,画像から画像への変換のためのマルチチャネルアテンション選択生成支援ネットワーク(SelectionGAN)を提案する。
提案するフレームワークとモジュールは統合されたソリューションであり、セマンティック画像合成などの他の生成タスクに応用できる。
論文 参考訳(メタデータ) (2020-02-03T23:17:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。