論文の概要: Beam Search with Bidirectional Strategies for Neural Response Generation

• arxiv url: http://arxiv.org/abs/2110.03389v1
• Date: Thu, 7 Oct 2021 12:27:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-09 00:54:00.955043
• Title: Beam Search with Bidirectional Strategies for Neural Response Generation
• Title（参考訳）: 神経応答生成のための双方向戦略を用いたビーム探索
• Authors: Pierre Colombo and Chouchang Yang and Giovanna Varni and Chlo\'e Clavel
• Abstract要約: シーケンスからシーケンスまでのニューラルネットワークは、言語ベースのアプリケーションで広く使われている。 ビームサーチデコーダ戦略のような現在のアプローチは、まだ有望なパフォーマンスには達していない。
• 参考スコア（独自算出の注目度）: 4.962990451595731
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Sequence-to-sequence neural networks have been widely used in language-based applications as they have flexible capabilities to learn various language models. However, when seeking for the optimal language response through trained neural networks, current existing approaches such as beam-search decoder strategies are still not able reaching to promising performances. Instead of developing various decoder strategies based on a "regular sentence order" neural network (a trained model by outputting sentences from left-to-right order), we leveraged "reverse" order as additional language model (a trained model by outputting sentences from right-to-left order) which can provide different perspectives for the path finding problems. In this paper, we propose bidirectional strategies in searching paths by combining two networks (left-to-right and right-to-left language models) making a bidirectional beam search possible. Besides, our solution allows us using any similarity measure in our sentence selection criterion. Our approaches demonstrate better performance compared to the unidirectional beam search strategy.
• Abstract（参考訳）: sequence-to-sequenceニューラルネットワークは、さまざまな言語モデルを学ぶ柔軟な能力を持つため、言語ベースのアプリケーションで広く使われている。 しかし、訓練されたニューラルネットワークを通じて最適な言語応答を求める場合、ビーム探索デコーダ戦略のような既存のアプローチは、まだ有望な性能に到達できない。 規則文順」ニューラルネットワーク(左右の順序から文を出力する訓練モデル)に基づく様々なデコーダ戦略を開発する代わりに、「逆」順序を追加言語モデル(左右の順序から文を出力する訓練モデル)として活用し、経路発見問題に対する異なる視点を提供する。 本稿では,双方向ビーム探索を可能にする2つのネットワーク(左右言語モデルと左右言語モデル)を組み合わせることにより,探索経路における双方向戦略を提案する。 さらに, 文選択基準における類似度尺度の活用も可能である。 本手法は一方向ビーム探索法よりも優れた性能を示す。

関連論文リスト

• Dynamic Stochastic Decoding Strategy for Open-Domain Dialogue Generation [47.109154320905205]
  オープンドメインチャットシステムとしては,チットチャットとナレッジベースの質問応答という,2つの異なる会話シナリオが存在する。 前者の状況では、対話における一対多の性質のため、応答の多様性が不可欠である。 復号戦略では誤った情報を生成するリスクが伴うため、後者ではランダム性が低い。
  論文  参考訳（メタデータ） (2024-06-12T03:38:45Z)
• Adapting Dual-encoder Vision-language Models for Paraphrased Retrieval [55.90407811819347]
  モデルが類似した結果を返すことを目的とした,パラフレーズ付きテキスト画像検索の課題について考察する。 我々は、大きなテキストコーパスで事前訓練された言語モデルから始まる二重エンコーダモデルを訓練する。 CLIPやOpenCLIPのような公開デュアルエンコーダモデルと比較して、最高の適応戦略で訓練されたモデルは、パラフレーズクエリのランク付けの類似性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-05-06T06:30:17Z)
• Stream of Search (SoS): Learning to Search in Language [29.841835308845948]
  本稿では,言語における探索の過程をフラットな文字列として表現することで,言語モデルがどのように学習するかを示す。 本稿では,複数のシンボル検索戦略を抽出する統一言語を提案する。 この結果から,言語モデルでは,探索による問題解決や,異なる探索戦略を柔軟に活用する自己改善,新たな探索手法の発見などが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-04-01T06:50:52Z)
• OFA$^2$: A Multi-Objective Perspective for the Once-for-All Neural Architecture Search [79.36688444492405]
  once-for-All(OFA)は、異なるリソース制約を持つデバイスのための効率的なアーキテクチャを探索する問題に対処するために設計された、ニューラルネットワーク検索(NAS)フレームワークである。 我々は,探索段階を多目的最適化問題として明示的に考えることにより,効率の追求を一歩進めることを目指している。
  論文  参考訳（メタデータ） (2023-03-23T21:30:29Z)
• Hierarchical Phrase-based Sequence-to-Sequence Learning [94.10257313923478]
  本稿では、学習中の帰納バイアスの源として階層的フレーズを取り入れ、推論中の明示的な制約として、標準的なシーケンス・ツー・シーケンス(seq2seq)モデルの柔軟性を維持するニューラルトランスデューサについて述べる。 本手法では,木が原文と対象句を階層的に整列するブラケット文法に基づく識別的導出法と,整列した句を1対1で翻訳するニューラルネットワークセク2セックモデルという2つのモデルを訓練する。
  論文  参考訳（メタデータ） (2022-11-15T05:22:40Z)
• Determinantal Beam Search [75.84501052642361]
  ビームサーチは、ニューラルシーケンスモデルをデコードするためのゴーツー戦略である。 複数のソリューションを要求するユースケースでは、多様あるいは代表的なセットがしばしば望まれる。 ビームサーチを一連の部分決定問題として繰り返し行うことにより、アルゴリズムを多種多様なサブセット選択プロセスに変換することができる。
  論文  参考訳（メタデータ） (2021-06-14T13:01:46Z)
• Dependency Parsing with Bottom-up Hierarchical Pointer Networks [0.7412445894287709]
  左から右へ、トップダウンのトランジションベースのアルゴリズムは、依存性解析を行う上で最も正確なアプローチである。 文を右から左の順に解析するアプローチと、外部から実行する変種という2つの新しい遷移ベースの代替案を提案する。 提案したニューラルアーキテクチャを、さまざまな言語で異なるアルゴリズムで実証的にテストし、そのすべてにおいて、元のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2021-05-20T09:10:42Z)
• Read Like Humans: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Recognition [80.446770909975]
  言語知識はシーンのテキスト認識に非常に有益である。 エンドツーエンドのディープネットワークで言語規則を効果的にモデル化する方法はまだ研究の課題です。 シーンテキスト認識のための自律的双方向反復型ABINetを提案する。
  論文  参考訳（メタデータ） (2021-03-11T06:47:45Z)
• Two-Way Neural Machine Translation: A Proof of Concept for Bidirectional Translation Modeling using a Two-Dimensional Grid [47.39346022004215]
  本稿では,2次元グリッドを用いた一対一の双方向翻訳モデルを提案する。 2つのモデルを個別に訓練する代わりに、我々のアプローチは1つのネットワークが両方向の翻訳を共同で学習することを奨励する。
  論文  参考訳（メタデータ） (2020-11-24T15:42:32Z)
• Combining Deep Learning and String Kernels for the Localization of Swiss German Tweets [28.497747521078647]
  2番目のサブタスクは、約3万のスイスのドイツのJodelからなるデータセットをターゲットにしています。 我々は、このタスクを2重回帰問題とみなし、緯度と経度の両方を予測するために、さまざまな機械学習アプローチを採用している。 実験結果から,文字列カーネルに基づく手作りモデルの方が,ディープラーニングのアプローチよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2020-10-07T19:16:45Z)
• Multi-Channel Attention Selection GANs for Guided Image-to-Image Translation [148.9985519929653]
  本稿では,画像から画像への変換のためのマルチチャネルアテンション選択生成支援ネットワーク(SelectionGAN)を提案する。 提案するフレームワークとモジュールは統合されたソリューションであり、セマンティック画像合成などの他の生成タスクに応用できる。
  論文  参考訳（メタデータ） (2020-02-03T23:17:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。