論文の概要: Chat as Expected: Learning to Manipulate Black-box Neural Dialogue Models

• arxiv url: http://arxiv.org/abs/2005.13170v1
• Date: Wed, 27 May 2020 05:34:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-28 08:01:34.183543
• Title: Chat as Expected: Learning to Manipulate Black-box Neural Dialogue Models
• Title（参考訳）: 予想されるチャット:ブラックボックスニューラル対話モデルを操作する学習
• Authors: Haochen Liu, Zhiwei Wang, Tyler Derr and Jiliang Tang
• Abstract要約: 我々は,ブラックボックス型ニューラルダイアログモデルが操作される結果となる入力文を作成できるかどうかを検討する。 本稿では,そのような入力を自動的に生成できる強化学習モデルを提案する。 私たちの研究は、操作すべきニューラルダイアログモデルの可能性を明らかにし、それらを守るための戦略の開発に刺激を与え、開放する。
• 参考スコア（独自算出の注目度）: 44.952436901380416
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, neural network based dialogue systems have become ubiquitous in our increasingly digitalized society. However, due to their inherent opaqueness, some recently raised concerns about using neural models are starting to be taken seriously. In fact, intentional or unintentional behaviors could lead to a dialogue system to generate inappropriate responses. Thus, in this paper, we investigate whether we can learn to craft input sentences that result in a black-box neural dialogue model being manipulated into having its outputs contain target words or match target sentences. We propose a reinforcement learning based model that can generate such desired inputs automatically. Extensive experiments on a popular well-trained state-of-the-art neural dialogue model show that our method can successfully seek out desired inputs that lead to the target outputs in a considerable portion of cases. Consequently, our work reveals the potential of neural dialogue models to be manipulated, which inspires and opens the door towards developing strategies to defend them.
• Abstract（参考訳）: 近年,我々のデジタル化社会では,ニューラルネットワークに基づく対話システムが普及している。 しかし、その固有の不透明さから、最近、神経モデルの使用に関する懸念が真剣に取り込まれ始めている。 実際、意図的あるいは意図的でない行動は、不適切な応答を生成する対話システムにつながる可能性がある。 そこで本研究では,ブラックボックス型ニューラルダイアログモデルを用いて,その出力に対象語を含ませたり,ターゲット文にマッチさせたりすることで,入力文を作成できるかどうかを考察する。 そこで,このような入力を自動的に生成できる強化学習モデルを提案する。 一般的な訓練済みのニューラルダイアログモデルに対する広範囲な実験により,本手法は目的の出力に繋がる所望のインプットをある程度のケースで見つけ出すことができた。 その結果,本研究は,神経対話モデルが操作される可能性を明らかにし,それらを守るための戦略開発への扉を開く。

関連論文リスト

• Dialogue Action Tokens: Steering Language Models in Goal-Directed Dialogue with a Multi-Turn Planner [51.77263363285369]
  本稿では,対話行動トークンと呼ばれる言語モデルエージェントを用いて,目標指向の対話を計画する手法を提案する。 中心となる考え方は、各発話をアクションとして扱うことで、強化学習のような既存のアプローチを適用することができるゲームに対話を変換することである。
  論文  参考訳（メタデータ） (2024-06-17T18:01:32Z)
• Introducing Brain-like Concepts to Embodied Hand-crafted Dialog Management System [1.178527785547223]
  本稿では,グラフィカル言語を用いた手作りモデルに基づく混合イニシアティブダイアログとアクション生成を実現するニューラル・ビヘイビア・エンジンを提案する。 このような脳のようなアーキテクチャのユーザビリティのデモは、セミパブリック空間で動作する仮想レセプタリストアプリケーションを通じて記述される。
  論文  参考訳（メタデータ） (2024-06-13T10:54:03Z)
• PK-Chat: Pointer Network Guided Knowledge Driven Generative Dialogue Model [79.64376762489164]
  PK-Chatは、知識グラフ上のポインタネットワークと、事前訓練された言語モデルを組み合わせた、ポインタネットワーク誘導生成対話モデルである。 PK-Chatが対話で生成した単語は、単語リストの予測と外部知識グラフ知識の直接予測から導かれる。 PK-Chatに基づく対話システムは、地球科学の学術シナリオ向けに構築されている。
  論文  参考訳（メタデータ） (2023-04-02T18:23:13Z)
• Opportunities and Challenges in Neural Dialog Tutoring [54.07241332881601]
  言語学習のための2つの対話学習データセットを用いて、様々な生成言語モデルを厳密に分析する。 現在のアプローチでは、制約のある学習シナリオでチューリングをモデル化できますが、制約の少ないシナリオではパフォーマンスが悪くなります。 人的品質評価では, モデルと接地木アノテーションの両方が, 同等のチュータリングの点で低い性能を示した。
  論文  参考訳（メタデータ） (2023-01-24T11:00:17Z)
• Improving a sequence-to-sequence nlp model using a reinforcement learning policy algorithm [0.0]
  対話生成の現在のニューラルネットワークモデルは、おしゃべりエージェントの回答を生成する上で非常に有望である。 しかし、彼らは発話を1度ずつ予測し、将来の結果に対する彼らの影響を無視している。 本研究は,対話の長期的成功に基づくニューラルな会話モデル構築に向けた予備的なステップを記念するものである。
  論文  参考訳（メタデータ） (2022-12-28T22:46:57Z)
• Emotion Recognition in Conversation using Probabilistic Soft Logic [17.62924003652853]
  会話における感情認識(英: emotion recognition in conversation、ERC)とは、2つ以上の発話を含む会話に焦点を当てた感情認識のサブフィールドである。 我々は,宣言的テンプレート言語である確率的ソフト論理(PSL)にアプローチを実装した。 PSLは、ニューラルモデルからPSLモデルへの結果の取り込みのための機能を提供する。 提案手法を最先端の純粋ニューラルネットワークERCシステムと比較した結果,約20%の改善が得られた。
  論文  参考訳（メタデータ） (2022-07-14T23:59:06Z)
• Learning-by-Narrating: Narrative Pre-Training for Zero-Shot Dialogue Comprehension [48.483910831143724]
  対話を補完するには、発話中の様々なキー情報をキャプチャするモデルが必要である。 そこで我々は,対話入力からキー情報をナレーションすることで学習する,物語誘導型事前学習戦略を開発した。
  論文  参考訳（メタデータ） (2022-03-19T05:20:25Z)
• A Taxonomy of Empathetic Response Intents in Human Social Conversations [1.52292571922932]
  自然言語処理コミュニティでは、オープンドメインの会話エージェントがますます人気を高めている。 課題のひとつは、共感的な方法で会話できるようにすることです。 現在のニューラルレスポンス生成手法は、大規模な会話データからエンドツーエンドの学習のみに頼って対話を生成する。 近年,対話act/intentモデリングとニューラルレスポンス生成を組み合わせることが期待されている。
  論文  参考訳（メタデータ） (2020-12-07T21:56:45Z)
• Probing Neural Dialog Models for Conversational Understanding [21.76744391202041]
  ニューラルオープンドメインダイアログシステムで学習した内部表現を解析する。 この結果から,標準のオープンドメインダイアログシステムでは解答が困難であることが示唆された。 また、ダイアログのダイアログ的ターンテイク性は、これらのモデルによって完全に活用されていないことも判明した。
  論文  参考訳（メタデータ） (2020-06-07T17:32:00Z)
• Knowledge Injection into Dialogue Generation via Language Models [85.65843021510521]
  InjKは対話生成モデルに知識を注入するための2段階のアプローチである。 まず、大規模言語モデルをトレーニングし、テキスト知識としてクエリする。 次に、対話生成モデルを作成し、テキスト知識と対応する応答を逐次生成する。
  論文  参考訳（メタデータ） (2020-04-30T07:31:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。