論文の概要: ConstitutionMaker: Interactively Critiquing Large Language Models by
Converting Feedback into Principles
- arxiv url: http://arxiv.org/abs/2310.15428v1
- Date: Tue, 24 Oct 2023 00:48:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-25 21:12:10.444660
- Title: ConstitutionMaker: Interactively Critiquing Large Language Models by
Converting Feedback into Principles
- Title（参考訳）: constitutionmaker: フィードバックを原則に変換することで、大規模言語モデルをインタラクティブに評価する
- Authors: Savvas Petridis, Ben Wedin, James Wexler, Aaron Donsbach, Mahima
Pushkarna, Nitesh Goyal, Carrie J. Cai, Michael Terry
- Abstract要約: 大規模言語モデルのプロンプトは、ユーザが自身のチャットボットを作成してカスタマイズするための、有望な新しいアプローチである。
ユーザフィードバックを原則に変換するインタラクティブなツールであるConstitutionMakerを開発した。
14人の参加者を対象にしたユーザスタディでは,コンスティチューションメーカーを,ユーザが独自の原則を書ける短縮版と比較した。
- 参考スコア（独自算出の注目度）: 25.227607005052388
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model (LLM) prompting is a promising new approach for users to
create and customize their own chatbots. However, current methods for steering
a chatbot's outputs, such as prompt engineering and fine-tuning, do not support
users in converting their natural feedback on the model's outputs to changes in
the prompt or model. In this work, we explore how to enable users to
interactively refine model outputs through their feedback, by helping them
convert their feedback into a set of principles (i.e. a constitution) that
dictate the model's behavior. From a formative study, we (1) found that users
needed support converting their feedback into principles for the chatbot and
(2) classified the different principle types desired by users. Inspired by
these findings, we developed ConstitutionMaker, an interactive tool for
converting user feedback into principles, to steer LLM-based chatbots. With
ConstitutionMaker, users can provide either positive or negative feedback in
natural language, select auto-generated feedback, or rewrite the chatbot's
response; each mode of feedback automatically generates a principle that is
inserted into the chatbot's prompt. In a user study with 14 participants, we
compare ConstitutionMaker to an ablated version, where users write their own
principles. With ConstitutionMaker, participants felt that their principles
could better guide the chatbot, that they could more easily convert their
feedback into principles, and that they could write principles more
efficiently, with less mental demand. ConstitutionMaker helped users identify
ways to improve the chatbot, formulate their intuitive responses to the model
into feedback, and convert this feedback into specific and clear principles.
Together, these findings inform future tools that support the interactive
critiquing of LLM outputs.
- Abstract（参考訳）: 大きな言語モデル(LLM)のプロンプトは、ユーザが独自のチャットボットを作成してカスタマイズするための、有望な新しいアプローチである。
しかしながら、プロンプトエンジニアリングや微調整といったチャットボットのアウトプットを操作する現在の方法は、モデルのアウトプットに対する自然なフィードバックをプロンプトやモデルの変更に変換するユーザをサポートしない。
本研究では,フィードバックをモデル動作を規定する一連の原則(コンスティチューション)に変換するのを支援することにより,ユーザがフィードバックを通じてインタラクティブにモデルアウトプットを洗練する方法について検討する。
フォーマティブな研究から,(1)ユーザはフィードバックをチャットボットの原則に変換することを支援する必要があり,(2)ユーザが望む原則の種類を分類する必要があることがわかった。
このような知見に触発されて,ユーザフィードバックを原則に変換するインタラクティブなツールであるconstitutionmakerを,llmベースのチャットボットとして開発した。
ConstitutionMakerでは、自然言語で肯定的あるいは否定的なフィードバック、自動生成されたフィードバックの選択、チャットボットの応答の書き直し、各フィードバックモードが自動的にチャットボットのプロンプトに挿入される原則を生成する。
14人の参加者によるユーザ調査では、constitutionmakerとablatedバージョンを比較して、ユーザが独自の原則を記述した。
constitutionmakerでは、参加者は彼らの原則がチャットボットをよりガイドし、フィードバックをより簡単に原則に変換し、より効率的に、よりメンタルな要求なしに原則を書くことができると感じた。
ConstitutionMakerは、ユーザーがチャットボットを改善する方法を特定し、モデルに対する直感的な反応をフィードバックに定式化し、フィードバックを具体的で明確な原則に変換するのに役立つ。
これらの知見は,LLM出力の対話的クオリティ向上を支援する将来的なツールである。
関連論文リスト
- Measuring and Controlling Instruction (In)Stability in Language Model Dialogs [72.38330196290119]
System-promptingは、言語モデルチャットボットをカスタマイズするツールで、特定の命令に従うことができる。
本稿では,仮説を検証し,セルフチャットによる命令安定性の評価を行うベンチマークを提案する。
我々は8ラウンドの会話で重要な指示ドリフトを明らかにした。
そこで本研究では,2つの強力なベースラインに対して良好に比較可能なsplit-softmaxという軽量な手法を提案する。
論文 参考訳（メタデータ） (2024-02-13T20:10:29Z) - RELIC: Investigating Large Language Model Responses using Self-Consistency [58.63436505595177]
LLM(Large Language Models)は、フィクションと事実を混同し、幻覚として知られる非事実コンテンツを生成することで有名である。
本稿では,ユーザが生成したテキストの信頼性を把握できる対話型システムを提案する。
論文 参考訳（メタデータ） (2023-11-28T14:55:52Z) - Multi-Purpose NLP Chatbot : Design, Methodology & Conclusion [0.0]
本研究は,現在あるチャットボット技術環境を網羅的に分析するものである。
ユーザインタラクションと会話体験を改善するために強化学習戦略を利用する、非常に柔軟なシステムを提供する。
チャットボット技術の発展の複雑さと、これらの開発を推進してきた要因と、それらが様々な分野に及ぼした影響についても検討する。
論文 参考訳（メタデータ） (2023-10-13T09:47:24Z) - Can Language Models Learn to Listen? [96.01685069483025]
本稿では,話者の言葉に基づく社会的対話における聞き手から適切な表情応答を生成するための枠組みを提案する。
提案手法は,VQ-VAEを用いて定量化したリスナーの顔のジェスチャー列であるリスナーの応答を自己回帰的に予測する。
生成したリスナーの動きは,定量的メトリクスと質的ユーザスタディを通じて,言語意味論に精通し,反映していることを示す。
論文 参考訳（メタデータ） (2023-08-21T17:59:02Z) - Training Language Models with Language Feedback at Scale [50.70091340506957]
我々は、より情報的な言語フィードバックを利用する新しいアプローチであるLanguage Feedback (ILF)から学習を導入する。
ILFは3つのステップから成り、まず言語モデルを入力に条件付けし、最初のLM出力を出力し、改善を生成する。
理論的には、ILFは人間からのフィードバックによる強化学習と同様、ベイズ推論とみなすことができる。
論文 参考訳（メタデータ） (2023-03-28T17:04:15Z) - One Chatbot Per Person: Creating Personalized Chatbots based on Implicit
User Profiles [31.432585994256375]
既存のパーソナライズされたアプローチは、いくつかのテキスト記述を明示的なユーザプロファイルとして組み込もうとした。
我々は、ユーザの履歴応答から一般ユーザプロファイルを構築するために、パーソナライズされた言語モデルを訓練する。
我々は、汎用語彙から単語を生成し、ユーザのパーソナライズされた語彙から1単語をコピーする2つのデコード戦略を融合するパーソナライズされたデコーダを設計する。
論文 参考訳（メタデータ） (2021-08-20T20:33:12Z) - Auto-tagging of Short Conversational Sentences using Natural Language
Processing Methods [0.0]
手動で10の基本的なカテゴリに約14万のビジターインプットをタグ付けしました。
我々は3種類の最先端モデルを検討し、自動タグ付け機能について報告した。
これらの実験で使用されるモデルの実装は、GitHubリポジトリからクローンすることができ、同様の自動タグ問題に対して、多くの労力なしでテストできます。
論文 参考訳（メタデータ） (2021-06-09T10:14:05Z) - Put Chatbot into Its Interlocutor's Shoes: New Framework to Learn
Chatbot Responding with Intention [55.77218465471519]
本稿では,チャットボットに人間のような意図を持つための革新的なフレームワークを提案する。
我々のフレームワークには、ガイドロボットと人間の役割を担うインターロケータモデルが含まれていた。
本フレームワークを3つの実験的なセットアップを用いて検討し,4つの異なる指標を用いた誘導ロボットの評価を行い,柔軟性と性能の利点を実証した。
論文 参考訳（メタデータ） (2021-03-30T15:24:37Z) - Learning Improvised Chatbots from Adversarial Modifications of Natural
Language Feedback [19.026954124876582]
本稿では,雑音フィードバックを会話中の自然な応答に変換する生成逆モデルを提案する。
ジェネレータの目標は、ユーザの以前の発話に応答する応答にフィードバックを変換し、差別者を騙すことである。
論文 参考訳（メタデータ） (2020-10-14T17:33:37Z) - Personalized Chatbot Trustworthiness Ratings [19.537492400265577]
我々は、各問題に対する個別の格付けモジュールに依存するチャットボットのためのパーソナライズされた格付け手法を構想する。
この方法は、特定の信頼問題とは独立しており、集計手順にパラメトリックである。
論文 参考訳（メタデータ） (2020-05-13T22:42:45Z) - A Neural Topical Expansion Framework for Unstructured Persona-oriented
Dialogue Generation [52.743311026230714]
Persona Exploration and Exploitation (PEE)は、事前に定義されたユーザペルソナ記述を意味論的に相関したコンテンツで拡張することができる。
PEEはペルソナ探索とペルソナ搾取という2つの主要なモジュールで構成されている。
提案手法は, 自動評価と人的評価の両面で, 最先端のベースラインを上回っている。
論文 参考訳（メタデータ） (2020-02-06T08:24:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。