論文の概要: Representing Rule-based Chatbots with Transformers

• arxiv url: http://arxiv.org/abs/2407.10949v2
• Date: Wed, 12 Feb 2025 15:18:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:47:23.287731
• Title: Representing Rule-based Chatbots with Transformers
• Title（参考訳）: 変圧器を用いたルールベースチャットボットの表現
• Authors: Dan Friedman, Abhishek Panigrahi, Danqi Chen,
• Abstract要約: ELIZAを変換器の形式的,機械的解析の場として用いることを提案する。 ELIZAを実装した変換器の理論的構成を最初に提示する。 次に、合成されたERIZA会話に基づいて訓練されたトランスフォーマーの実証分析を行う。
• 参考スコア（独自算出の注目度）: 35.30128900987116
• License:
• Abstract: What kind of internal mechanisms might Transformers use to conduct fluid, natural-sounding conversations? Prior work has illustrated by construction how Transformers can solve various synthetic tasks, such as sorting a list or recognizing formal languages, but it remains unclear how to extend this approach to a conversational setting. In this work, we propose using ELIZA, a classic rule-based chatbot, as a setting for formal, mechanistic analysis of Transformer-based chatbots. ELIZA allows us to formally model key aspects of conversation, including local pattern matching and long-term dialogue state tracking. We first present a theoretical construction of a Transformer that implements the ELIZA chatbot. Building on prior constructions, particularly those for simulating finite-state automata, we show how simpler mechanisms can be composed and extended to produce more sophisticated behavior. Next, we conduct a set of empirical analyses of Transformers trained on synthetically generated ELIZA conversations. Our analysis illustrates the kinds of mechanisms these models tend to prefer--for example, models favor an induction head mechanism over a more precise, position-based copying mechanism; and using intermediate generations to simulate recurrent data structures, akin to an implicit scratchpad or Chain-of-Thought. Overall, by drawing an explicit connection between neural chatbots and interpretable, symbolic mechanisms, our results provide a new framework for the mechanistic analysis of conversational agents.
• Abstract（参考訳）: トランスフォーマーはどんな内部メカニズムを使って、自然に聞こえる会話ができるのか? それまでの作業は、リストのソートや形式言語認識など、トランスフォーマーが様々な合成タスクをどうやって解決できるかという構成によって説明されてきたが、どのようにしてこのアプローチを会話的な設定に拡張するかは定かではない。 本研究では,従来のルールベースのチャットボットであるELIZAを,Transformerベースのチャットボットの形式的,機械的解析の場として用いることを提案する。 ELIZAは、局所パターンマッチングや長期対話状態追跡など、会話の重要な側面を形式的にモデル化することを可能にする。 ELIZAチャットボットを実装するトランスフォーマーの理論的構成を最初に提示する。 従来の構成、特に有限状態オートマトンを模擬する構造に基づいて、より単純な機構がいかに構成され、拡張され、より洗練された振る舞いがもたらされるかを示す。 次に、合成されたELIZA会話に基づいて訓練されたトランスフォーマーの実証分析を行う。 例えば、モデルでは、より正確で位置ベースのコピー機構よりも誘導ヘッド機構を好んでおり、中間世代を用いて、暗黙のスクラッチパッドやChain-of-Thoughtのような、反復的なデータ構造をシミュレートしている。 全体として,ニューラルチャットボットと解釈可能なシンボリックメカニズムとの明示的な接続を図ることで,会話エージェントの力学解析のための新しい枠組みを提供する。

関連論文リスト

• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• Measuring and Controlling Instruction (In)Stability in Language Model Dialogs [72.38330196290119]
  System-promptingは、言語モデルチャットボットをカスタマイズするツールで、特定の命令に従うことができる。 本稿では,仮説を検証し,セルフチャットによる命令安定性の評価を行うベンチマークを提案する。 我々は8ラウンドの会話で重要な指示ドリフトを明らかにした。 そこで本研究では,2つの強力なベースラインに対して良好に比較可能なsplit-softmaxという軽量な手法を提案する。
  論文  参考訳（メタデータ） (2024-02-13T20:10:29Z)
• Transformer Mechanisms Mimic Frontostriatal Gating Operations When Trained on Human Working Memory Tasks [19.574270595733502]
  簡単なシーケンスモデリングタスクで訓練されたバニラアテンションのみのトランスフォーマー内で発生するメカニズムを解析する。 トレーニングの結果,Transformer内の自己認識機構が,入力と出力のゲーティング機構を反映する方法で特化していることが判明した。
  論文  参考訳（メタデータ） (2024-02-13T04:28:43Z)
• Computational Argumentation-based Chatbots: a Survey [0.4024850952459757]
  本調査は,このような議論に基づくボットに関する論文をレビューするために,文献を精査する。 このアプローチの欠点とメリットについて結論を導きます。 また、Transformerベースのアーキテクチャや最先端の大規模言語モデルとの将来の開発や統合も検討している。
  論文  参考訳（メタデータ） (2024-01-07T11:20:42Z)
• Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation [52.270712965271656]
  本稿では,文脈表現の新しいモデルを提案する。 モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。 実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
  論文  参考訳（メタデータ） (2023-11-26T06:56:02Z)
• A Conditional Generative Chatbot using Transformer Model [30.613612803419294]
  本稿では,条件付きWasserstein Generative Adrial Networksと,応答生成のためのトランスフォーマモデルを用いて,新しいアーキテクチャを提案する。 我々の知る限りでは、ジェネレータと判別器モデルの両方に組込みトランスを用いて生成物を提案するのはこれが初めてである。 The proposed model on the Cornell Movie-Dialog corpus and the Chit-Chat datas confirm the superiority of the proposed model than the state-of-the-art alternatives。
  論文  参考訳（メタデータ） (2023-06-03T10:35:04Z)
• Thinking Like Transformers [64.96770952820691]
  本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。 RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。 ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
  論文  参考訳（メタデータ） (2021-06-13T13:04:46Z)
• Auto-tagging of Short Conversational Sentences using Natural Language Processing Methods [0.0]
  手動で10の基本的なカテゴリに約14万のビジターインプットをタグ付けしました。 我々は3種類の最先端モデルを検討し、自動タグ付け機能について報告した。 これらの実験で使用されるモデルの実装は、GitHubリポジトリからクローンすることができ、同様の自動タグ問題に対して、多くの労力なしでテストできます。
  論文  参考訳（メタデータ） (2021-06-09T10:14:05Z)
• Transformers with Competitive Ensembles of Independent Mechanisms [97.93090139318294]
  隠れた表現とパラメータを複数のメカニズムに分割し、注意を通して情報を交換する新しいトランスフォーマー層を提案する。 TIM を大規模 BERT モデル、画像変換器、および音声強調について研究し、意味的に意味のある専門化とパフォーマンスの向上の証拠を見つけます。
  論文  参考訳（メタデータ） (2021-02-27T21:48:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。