論文の概要: Representing Rule-based Chatbots with Transformers

• arxiv url: http://arxiv.org/abs/2407.10949v1
• Date: Mon, 15 Jul 2024 17:45:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 14:00:49.024339
• Title: Representing Rule-based Chatbots with Transformers
• Title（参考訳）: 変圧器を用いたルールベースチャットボットの表現
• Authors: Dan Friedman, Abhishek Panigrahi, Danqi Chen,
• Abstract要約: ELIZAプログラムを実装したTransformerを構築することで,先行作業に基づいて構築する。 ELIZAは会話設定の際立った課題をいくつか挙げている。 我々は、合成されたERIZA会話のデータセット上でトランスフォーマーを訓練し、モデルが学習するメカニズムを調査する。
• 参考スコア（独自算出の注目度）: 35.30128900987116
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer-based chatbots can conduct fluent, natural-sounding conversations, but we have limited understanding of the mechanisms underlying their behavior. Prior work has taken a bottom-up approach to understanding Transformers by constructing Transformers for various synthetic and formal language tasks, such as regular expressions and Dyck languages. However, it is not obvious how to extend this approach to understand more naturalistic conversational agents. In this work, we take a step in this direction by constructing a Transformer that implements the ELIZA program, a classic, rule-based chatbot. ELIZA illustrates some of the distinctive challenges of the conversational setting, including both local pattern matching and long-term dialog state tracking. We build on constructions from prior work -- in particular, for simulating finite-state automata -- showing how simpler constructions can be composed and extended to give rise to more sophisticated behavior. Next, we train Transformers on a dataset of synthetically generated ELIZA conversations and investigate the mechanisms the models learn. Our analysis illustrates the kinds of mechanisms these models tend to prefer -- for example, models favor an induction head mechanism over a more precise, position based copying mechanism; and using intermediate generations to simulate recurrent data structures, like ELIZA's memory mechanisms. Overall, by drawing an explicit connection between neural chatbots and interpretable, symbolic mechanisms, our results offer a new setting for mechanistic analysis of conversational agents.
• Abstract（参考訳）: トランスフォーマーベースのチャットボットは、流動的で自然に聞こえる会話を行うことができるが、その振る舞いの基礎となるメカニズムは限定的に理解されている。 それまでの作業では、正規表現やDyck言語など、様々な合成および形式言語タスクのためのトランスフォーマーを構築することで、トランスフォーマーを理解するためのボトムアップアプローチを採用してきた。 しかし、より自然主義的な会話エージェントを理解するためにこのアプローチを拡張する方法が明確ではない。 本研究では,従来のルールベースのチャットボットであるELIZAプログラムを実装したTransformerを構築することで,この方向への一歩を踏み出す。 ELIZAは、ローカルパターンマッチングと長期ダイアログ状態追跡の両方を含む、会話設定のいくつかの特徴的な課題を説明している。 我々は、以前の作業、特に有限状態オートマトンをシミュレートする -- から構築し、より洗練された振る舞いをもたらすために、いかにシンプルに構成および拡張できるかを示す。次に、合成生成されたELIZA会話のデータセット上でトランスフォーマーを訓練し、モデルが学習するメカニズムを調査する。分析は、モデルがより正確に位置ベースのコピー機構よりも誘導ヘッド機構を好んでおり、中間世代を使用して、ELIZAのメモリメカニズムのような繰り返しデータ構造をシミュレートする。 全体として、神経チャットボットと解釈可能なシンボリックメカニズムとの明示的な接続を描くことで、我々の結果は会話エージェントの機械的分析のための新しい設定を提供する。

関連論文リスト

• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• Measuring and Controlling Instruction (In)Stability in Language Model Dialogs [72.38330196290119]
  System-promptingは、言語モデルチャットボットをカスタマイズするツールで、特定の命令に従うことができる。 本稿では,仮説を検証し,セルフチャットによる命令安定性の評価を行うベンチマークを提案する。 我々は8ラウンドの会話で重要な指示ドリフトを明らかにした。 そこで本研究では,2つの強力なベースラインに対して良好に比較可能なsplit-softmaxという軽量な手法を提案する。
  論文  参考訳（メタデータ） (2024-02-13T20:10:29Z)
• Transformer Mechanisms Mimic Frontostriatal Gating Operations When Trained on Human Working Memory Tasks [19.574270595733502]
  簡単なシーケンスモデリングタスクで訓練されたバニラアテンションのみのトランスフォーマー内で発生するメカニズムを解析する。 トレーニングの結果,Transformer内の自己認識機構が,入力と出力のゲーティング機構を反映する方法で特化していることが判明した。
  論文  参考訳（メタデータ） (2024-02-13T04:28:43Z)
• Computational Argumentation-based Chatbots: a Survey [0.4024850952459757]
  本調査は,このような議論に基づくボットに関する論文をレビューするために,文献を精査する。 このアプローチの欠点とメリットについて結論を導きます。 また、Transformerベースのアーキテクチャや最先端の大規模言語モデルとの将来の開発や統合も検討している。
  論文  参考訳（メタデータ） (2024-01-07T11:20:42Z)
• Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation [52.270712965271656]
  本稿では,文脈表現の新しいモデルを提案する。 モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。 実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
  論文  参考訳（メタデータ） (2023-11-26T06:56:02Z)
• A Conditional Generative Chatbot using Transformer Model [30.613612803419294]
  本稿では,条件付きWasserstein Generative Adrial Networksと,応答生成のためのトランスフォーマモデルを用いて,新しいアーキテクチャを提案する。 我々の知る限りでは、ジェネレータと判別器モデルの両方に組込みトランスを用いて生成物を提案するのはこれが初めてである。 The proposed model on the Cornell Movie-Dialog corpus and the Chit-Chat datas confirm the superiority of the proposed model than the state-of-the-art alternatives。
  論文  参考訳（メタデータ） (2023-06-03T10:35:04Z)
• Thinking Like Transformers [64.96770952820691]
  本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。 RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。 ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
  論文  参考訳（メタデータ） (2021-06-13T13:04:46Z)
• Auto-tagging of Short Conversational Sentences using Natural Language Processing Methods [0.0]
  手動で10の基本的なカテゴリに約14万のビジターインプットをタグ付けしました。 我々は3種類の最先端モデルを検討し、自動タグ付け機能について報告した。 これらの実験で使用されるモデルの実装は、GitHubリポジトリからクローンすることができ、同様の自動タグ問題に対して、多くの労力なしでテストできます。
  論文  参考訳（メタデータ） (2021-06-09T10:14:05Z)
• Transformers with Competitive Ensembles of Independent Mechanisms [97.93090139318294]
  隠れた表現とパラメータを複数のメカニズムに分割し、注意を通して情報を交換する新しいトランスフォーマー層を提案する。 TIM を大規模 BERT モデル、画像変換器、および音声強調について研究し、意味的に意味のある専門化とパフォーマンスの向上の証拠を見つけます。
  論文  参考訳（メタデータ） (2021-02-27T21:48:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。