論文の概要: Model-Based Simulation for Optimising Smart Reply
- arxiv url: http://arxiv.org/abs/2305.16852v1
- Date: Fri, 26 May 2023 12:04:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 15:12:37.999164
- Title: Model-Based Simulation for Optimising Smart Reply
- Title（参考訳）: スマートリプライ最適化のためのモデルベースシミュレーション
- Authors: Benjamin Towle and Ke Zhou
- Abstract要約: スマートリプライ(SR)システムは、応答をタイプする代わりに選択できる一連のリプライをユーザに提示する。
これまでの研究は、反応の集合を明示的に学習するのではなく、主にポストホック化に重点を置いてきた。
そこで本研究では,モデルに基づくシミュレーションを用いて高値応答集合を探索する新しい手法SimSRを提案する。
- 参考スコア（独自算出の注目度）: 3.615981646205045
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Smart Reply (SR) systems present a user with a set of replies, of which one
can be selected in place of having to type out a response. To perform well at
this task, a system should be able to effectively present the user with a
diverse set of options, to maximise the chance that at least one of them
conveys the user's desired response. This is a significant challenge, due to
the lack of datasets containing sets of responses to learn from. Resultantly,
previous work has focused largely on post-hoc diversification, rather than
explicitly learning to predict sets of responses. Motivated by this problem, we
present a novel method SimSR, that employs model-based simulation to discover
high-value response sets, through simulating possible user responses with a
learned world model. Unlike previous approaches, this allows our method to
directly optimise the end-goal of SR--maximising the relevance of at least one
of the predicted replies. Empirically on two public datasets, when compared to
SoTA baselines, our method achieves up to 21% and 18% improvement in ROUGE
score and Self-ROUGE score respectively.
- Abstract（参考訳）: スマートリプライ(SR)システムは、応答をタイプする代わりに選択できる一連のリプライをユーザに提示する。
このタスクをうまく実行するためには、システムは、ユーザの望む応答を少なくとも1つ伝達する確率を最大化するために、多様なオプションのセットを効果的にユーザに提示できるべきである。
そこから学ぶための一連のレスポンスを含むデータセットがないため、これは大きな課題である。
その結果、これまでの研究は、回答のセットを予測するために明示的に学習するのではなく、ホックな多様化に重点を置いてきた。
そこで本研究では,学習世界モデルを用いてユーザ応答をシミュレートし,高値応答集合をモデルベースシミュレーションを用いて発見する手法であるsimsrを提案する。
従来の手法とは異なり、我々の手法はSRの終了ゴールを直接最適化し、予測された応答の少なくとも1つの妥当性を最大化する。
SoTAベースラインと比較して,2つの公開データセットを実証的に比較したところ,ROUGEスコアとSelf-ROUGEスコアの最大21%と18%の改善が得られた。
関連論文リスト
- Learning to Rank for Multiple Retrieval-Augmented Models through Iterative Utility Maximization [21.115495457454365]
本稿では,複数検索拡張世代(RAG)エージェントを対象とした統合検索エンジンの設計について検討する。
本稿では,これらのRAGエージェントの検索結果を検索エンジンが生成し,オフラインで検索した文書の品質に関するフィードバックを収集する反復的手法を提案する。
我々は、このアプローチをオンライン環境に適応させ、リアルタイムな個別エージェントのフィードバックに基づいて、検索エンジンがその振る舞いを洗練できるようにする。
論文 参考訳（メタデータ） (2024-10-13T17:53:50Z) - Selective Self-Rehearsal: A Fine-Tuning Approach to Improve Generalization in Large Language Models [19.752712857873043]
本稿では,SSR(Selective Self-Rehearsal)を導入し,SFT(Selective Self-Rehearsal)に匹敵する性能を実現する。
モデルの正しい応答を利用することで、SSRは微調整段階におけるモデルの特殊化を減らす。
SSRの有効性は、様々なデータセットにまたがる解決不可能なクエリを識別するタスクに関する実験を通じて実証される。
論文 参考訳（メタデータ） (2024-09-07T10:21:03Z) - An incremental preference elicitation-based approach to learning potentially non-monotonic preferences in multi-criteria sorting [53.36437745983783]
まず最適化モデルを構築し,非単調な選好をモデル化する。
本稿では,情報量測定手法と質問選択戦略を考案し,各イテレーションにおいて最も情報に富む選択肢を特定する。
2つのインクリメンタルな選好に基づくアルゴリズムは、潜在的に単調な選好を学習するために開発された。
論文 参考訳（メタデータ） (2024-09-04T14:36:20Z) - Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity [59.57065228857247]
Retrieval-augmented Large Language Models (LLMs) は、質問回答(QA)のようなタスクにおける応答精度を高めるための有望なアプローチとして登場した。
本稿では,クエリの複雑さに基づいて,LLMの最適戦略を動的に選択できる適応型QAフレームワークを提案する。
オープンドメインのQAデータセットを用いて、複数のクエリの複雑さを網羅し、QAシステムの全体的な効率性と精度を高めることを示す。
論文 参考訳（メタデータ） (2024-03-21T13:52:30Z) - Aligning Large Language Models by On-Policy Self-Judgment [49.31895979525054]
大規模言語モデルと人間の嗜好を整合させる既存のアプローチは、オンライン学習のために別々の報酬モデル(RM)を必要とするトレードオフに直面しています。
本稿では,オンライン学習を行う新たなアライメントフレームワークSELF-JUDGEを提案する。
また, さらなる評価を行なわずに, サンプリング自体がさらなる性能向上に寄与することを示した。
論文 参考訳（メタデータ） (2024-02-17T11:25:26Z) - End-to-End Autoregressive Retrieval via Bootstrapping for Smart Reply
Systems [7.2949782290577945]
ブートストラップによって得られた(メッセージ,返信セット)ペアのデータセットから,スマートリプライタスクをエンドツーエンドに学習する新たなアプローチを検討する。
実験結果から、この手法は3つのデータセットにわたる最先端のベースラインを一貫して上回ることを示す。
論文 参考訳（メタデータ） (2023-10-29T09:56:17Z) - Query-Dependent Prompt Evaluation and Optimization with Offline Inverse
RL [62.824464372594576]
ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。
このような最適化では、以前見過ごされたクエリ依存の目的を特定します。
本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
論文 参考訳（メタデータ） (2023-09-13T01:12:52Z) - Unlocking the Potential of User Feedback: Leveraging Large Language
Model as User Simulator to Enhance Dialogue System [65.93577256431125]
本稿では,ユーザガイド応答最適化 (UGRO) という代替手法を提案し,タスク指向の対話モデルと組み合わせる。
このアプローチでは、アノテーションのないユーザシミュレータとしてLLMを使用して対話応答を評価し、より小型のエンドツーエンドTODモデルと組み合わせる。
提案手法は従来のSOTA(State-of-the-art)よりも優れている。
論文 参考訳（メタデータ） (2023-06-16T13:04:56Z) - Improving Hyperparameter Optimization by Planning Ahead [3.8673630752805432]
本稿では,モデルに基づく強化学習の文脈内で定義された新しい伝達学習手法を提案する。
本稿では,シンプルなルックアヘッド戦略をポリシーとして用いたモデル予測制御法を提案する。
最新のHPOアルゴリズムと比較した3つのメタデータセット実験により,提案手法が全ベースラインを上回り得ることを示す。
論文 参考訳（メタデータ） (2021-10-15T11:46:14Z) - Learning an Effective Context-Response Matching Model with
Self-Supervised Tasks for Retrieval-based Dialogues [88.73739515457116]
我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。
我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。
実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
論文 参考訳（メタデータ） (2020-09-14T08:44:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。