論文の概要: System-Level Natural Language Feedback
- arxiv url: http://arxiv.org/abs/2306.13588v2
- Date: Thu, 25 Jan 2024 17:52:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-26 18:28:21.812438
- Title: System-Level Natural Language Feedback
- Title（参考訳）: システムレベル自然言語フィードバック
- Authors: Weizhe Yuan, Kyunghyun Cho, Jason Weston
- Abstract要約: システムレベルの設計決定を人為的なループプロセスで形式化する上で,フィードバックの活用方法を示す。
検索クエリと対話応答生成を改善するために,本手法のケーススタディを2つ実施する。
システムレベルのフィードバックとインスタンスレベルのフィードバックの組み合わせは、さらなる利益をもたらします。
- 参考スコア（独自算出の注目度）: 83.24259100437965
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Natural language (NL) feedback offers rich insights into user experience.
While existing studies focus on an instance-level approach, where feedback is
used to refine specific examples, we introduce a framework for system-level use
of NL feedback. We show how to use feedback to formalize system-level design
decisions in a human-in-the-loop-process -- in order to produce better models.
In particular this is done through: (i) metric design for tasks; and (ii)
language model prompt design for refining model responses. We conduct two case
studies of this approach for improving search query and dialog response
generation, demonstrating the effectiveness of system-level feedback. We show
the combination of system-level and instance-level feedback brings further
gains, and that human written instance-level feedback results in more grounded
refinements than GPT-3.5 written ones, underlying the importance of human
feedback for building systems. We release our code and data at
https://github.com/yyy-Apple/Sys-NL-Feedback.
- Abstract（参考訳）: 自然言語(NL)フィードバックは、ユーザエクスペリエンスに関する豊富な洞察を提供する。
既存の研究では、特定の例を洗練するためにフィードバックが使用されるインスタンスレベルのアプローチに重点を置いているが、NLフィードバックのシステムレベルの利用のためのフレームワークを導入する。
より優れたモデルを生成するために、フィードバックを使って、ヒューマン・イン・ザ・ループ・プロセスでシステムレベルの設計決定をフォーマル化する方法を紹介します。
特にこれは次の通りである。
(i)タスクのメートル法設計、及び
(ii) モデル応答を洗練するための言語モデルプロンプト設計。
本手法は,検索クエリと対話応答生成を改善するための2つのケーススタディを行い,システムレベルのフィードバックの有効性を実証する。
システムレベルのフィードバックとインスタンスレベルのフィードバックの組み合わせにより、さらなる利得が得られ、人間の記述されたインスタンスレベルのフィードバックは、GPT-3.5のフィードバックよりも、より基礎的な改善をもたらすことを示す。
コードとデータはhttps://github.com/yy-Apple/Sys-NL-Feedback.comで公開しています。
関連論文リスト
- Learning from Naturally Occurring Feedback [25.266461597402056]
チャットモデルと対話する際にユーザが自然に含むフィードバックを抽出するスケーラブルな方法を提案する。
我々は,自然に発生するフィードバックの存在を確認するために,会話データを手動でアノテートした。
100万件以上の会話に本手法を適用し,数十万件のフィードバックサンプルを得た。
論文 参考訳（メタデータ） (2024-07-15T17:41:34Z) - RLVF: Learning from Verbal Feedback without Overgeneralization [94.19501420241188]
本稿では,このような過度な一般化を伴わずに,言語フィードバックを取り入れることの課題について検討する。
制約付き選好最適化(C3PO)を用いた新しい文脈的批評手法を開発した。
提案手法は,他の文脈に対する既存行動を維持しながら,関連するシナリオに対して効果的な言語フィードバックを適用する。
論文 参考訳（メタデータ） (2024-02-16T18:50:24Z) - UltraFeedback: Boosting Language Models with Scaled AI Feedback [99.4633351133207]
大規模で高品質で多様なAIフィードバックデータセットである textscUltraFeedback を提示する。
我々の研究は、強力なオープンソースのチャット言語モデルを構築する上で、スケールしたAIフィードバックデータの有効性を検証する。
論文 参考訳（メタデータ） (2023-10-02T17:40:01Z) - Bridging the Gap: A Survey on Integrating (Human) Feedback for Natural
Language Generation [68.9440575276396]
この調査は、人間のフィードバックを利用して自然言語生成を改善した最近の研究の概要を提供することを目的としている。
まず、フィードバックの形式化を包括的に導入し、この形式化に続いて既存の分類学研究を特定・整理する。
第二に、フィードバックを形式や目的によってどのように記述するかを議論し、フィードバック(トレーニングやデコード)を直接使用したり、フィードバックモデルをトレーニングしたりするための2つのアプローチについて取り上げる。
第3に、AIフィードバックの生まれたばかりの分野の概要を紹介します。これは、大きな言語モデルを利用して、一連の原則に基づいて判断し、必要最小限にします。
論文 参考訳（メタデータ） (2023-05-01T17:36:06Z) - Simulating Bandit Learning from User Feedback for Extractive Question
Answering [51.97943858898579]
教師付きデータを用いたフィードバックのシミュレーションにより,ユーザフィードバックからの学習を抽出的質問応答に適用する。
当初は少数の例でトレーニングしたシステムが,モデル予測された回答に対するユーザからのフィードバックを劇的に改善できることが示される。
論文 参考訳（メタデータ） (2022-03-18T17:47:58Z) - Improving Conversational Question Answering Systems after Deployment
using Feedback-Weighted Learning [69.42679922160684]
本稿では,二元的ユーザフィードバックを用いた初期教師付きシステムを改善するために,重要サンプリングに基づくフィードバック重み付き学習を提案する。
当社の作業は,実際のユーザとのインタラクションを活用し,デプロイ後の会話システムを改善する可能性を開くものだ。
論文 参考訳（メタデータ） (2020-11-01T19:50:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。