Fugu-MT 論文翻訳(概要): Dynamics of Spontaneous Topic Changes in Next Token Prediction with Self-Attention

論文の概要: Dynamics of Spontaneous Topic Changes in Next Token Prediction with Self-Attention

arxiv url: http://arxiv.org/abs/2501.06382v3
Date: Fri, 02 May 2025 02:25:37 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-05 13:22:23.34148
Title: Dynamics of Spontaneous Topic Changes in Next Token Prediction with Self-Attention
Title（参考訳）: 自己注意による次のトークン予測における自然的トピック変化のダイナミクス
Authors: Mumin Jia, Jairo Diaz-Rodriguez,
Abstract要約: この区別によって、自己注意型アーキテクチャにおける自発的なトピックの変化を特徴付ける。人間の認知とは異なり、より長い文脈の長さまたはより曖昧な入力トピックは、自発的な変化の可能性を減少させる。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Human cognition is punctuated by abrupt, spontaneous shifts between topics-driven by emotional, contextual, or associative cues-a phenomenon known as spontaneous thought in neuroscience. In contrast, self-attention based models depend on structured patterns over their inputs to predict each next token, lacking spontaneity. Motivated by this distinction, we characterize spontaneous topic changes in self-attention architectures, revealing both their similarities and their divergences from spontaneous human thought. First, we establish theoretical results under a simplified, single-layer self-attention model with suitable conditions by defining the topic as a set of Token Priority Graphs (TPGs). Specifically, we demonstrate that (1) the model maintains the priority order of tokens related to the input topic, (2) a spontaneous topic change can occur only if lower-priority tokens outnumber all higher-priority tokens of the input topic, and (3) unlike human cognition, the longer context length or the more ambiguous input topic reduces the likelihood of spontaneous change. Second, we empirically validate that these dynamics persist in modern, state-of-the-art LLMs, underscoring a fundamental disparity between human cognition and AI behaviour in the context of spontaneous topic changes. To the best of our knowledge, no prior work has explored these questions with a focus as closely aligned to human thought.
Abstract（参考訳）: 人間の認知は、感情的、文脈的、あるいは連想的な手がかりによって引き起こされるトピック間の突然の自発的なシフト(神経科学における自発的思考として知られる現象)によって句化される。対照的に、自己注意に基づくモデルは、各トークンを予測するために入力上の構造化パターンに依存し、自発性に欠ける。本研究は, 自己意識的アーキテクチャにおける自然的話題の変化を特徴とし, その類似点と, 自然的人間的思考との相違点を明らかにした。まず、トピックをトークン優先グラフ(TPG)の集合として定義することにより、適切な条件で単純化された単層自己アテンションモデルの下で理論的結果を確立する。具体的には、(1)入力トピックに関連するトークンの優先順位を維持し、(2)低優先度トークンが入力トピックの高優先度トークンを全て上回っている場合にのみ、自発的なトピック変更が起こり得ること、(3)人間の認識と異なり、よりあいまいな入力トピックの長いコンテキスト長は、自然変化の可能性を減らすことを実証する。第二に、これらのダイナミクスが現代的で最先端のLLMに持続していることを実証的に検証し、自発的な話題の変化の文脈における人間の認知とAI行動の根本的な相違を指摘した。私たちの知識を最大限に活用するために、これらの質問を人間の思考と密接に一致させて、事前の研究は行われていない。

関連論文リスト

Storybooth: Training-free Multi-Subject Consistency for Improved Visual Storytelling [5.713041172936274]
クロスフレームの自己アテンションは、自己アテンション計算中に各フレームのトークンが他のフレームのトークンに注意を払わせることによって、主観的一貫性を改善する。本稿では,複数文字間の一貫性を確保する上で,自己意識の低下がさらに悪化していることを明らかにする。これらの知見に触発されて,複数文字の整合性を改善するためのトレーニング不要アプローチであるStoryBoothを提案する。
論文参考訳（メタデータ） (2025-04-08T08:30:55Z)
KNN Transformer with Pyramid Prompts for Few-Shot Learning [52.735070934075736]
Few-Shot Learningはラベル付きデータで新しいクラスを認識することを目的としている。近年の研究では、視覚的特徴を調節するためのテキストプロンプトを用いたまれなサンプルの課題に対処しようと試みている。
論文参考訳（メタデータ） (2024-10-14T07:39:30Z)
How Did We Get Here? Summarizing Conversation Dynamics [4.644319899528183]
本稿では,人文要約のデータセットを構築し,会話のダイナミクスを要約するタスクを紹介する。このような要約が、確立された下流タスクを介して会話の軌跡を捉えることができるかどうかを評価する。この予測タスクでは,人間と自動化システムの両方が有効であることを示す。
論文参考訳（メタデータ） (2024-04-29T18:00:03Z)
Mix-Initiative Response Generation with Dynamic Prefix Tuning [63.3043710921377]
混合イニシアチブは、会話の方向を制御する上で重要な要素の1つである。ほとんどの対話システムは、異なるイニシアチブ間で区別されることなく、全体的な応答生成モデルを訓練することに焦点を当てている。生成モデルから異なるイニシアチブを分離するために、IDPT(mix-Initiative Dynamic Prefix Tuning)フレームワークを提案する。
論文参考訳（メタデータ） (2024-03-26T12:11:29Z)
Paralinguistics-Enhanced Large Language Modeling of Spoken Dialogue [71.15186328127409]
パラリンGPT(Paralin GPT) モデルは、シリアライズされたマルチタスクフレームワーク内の入力プロンプトとして、テキスト、音声埋め込み、およびパラ言語属性の会話コンテキストを取る。音声対話データセットとして,感情ラベルをパラ言語属性として含むSwitchboard-1コーパスを利用する。
論文参考訳（メタデータ） (2023-12-23T18:14:56Z)
Eyettention: An Attention-based Dual-Sequence Model for Predicting Human Scanpaths during Reading [3.9766585251585282]
我々は、単語列と時間列の固定を同時に処理する最初の二重系列モデルであるEyettentionを開発する。スキャンパスの予測において、Eyettentionは最先端のモデルよりも優れていることを示す。
論文参考訳（メタデータ） (2023-04-21T07:26:49Z)
token2vec: A Joint Self-Supervised Pre-training Framework Using Unpaired Speech and Text [65.04385919645395]
token2vecは、音声の離散表現に基づく、未ペア音声とテキストのための新しい事前学習フレームワークである。実験の結果、 token2vec は様々な音声のみの事前学習ベースラインよりも大幅に優れており、WER の相対的な減少率は17.7%である。
論文参考訳（メタデータ） (2022-10-30T06:38:19Z)
TopicRefine: Joint Topic Prediction and Dialogue Response Generation for Multi-turn End-to-End Dialogue System [12.135300607779753]
マルチターン対話は、常に特定のトピックスレッドに従っており、談話レベルでのトピックシフトは自然に起こる。これまでの研究では、まずトピックを予測し、関連する応答を生成したり、単にすべてのトピックに注意機構を適用したりしていた。本稿では,これら2つの課題を同時に学習するためのトピックリファインメント機構を備えた共同フレームワークを提案する。
論文参考訳（メタデータ） (2021-09-11T04:43:07Z)
Linguistic Characterization of Divisive Topics Online: Case Studies on Contentiousness in Abortion, Climate Change, and Gun Control [11.127421264715556]
異論的な話題は、論争的かつ非矛盾的な会話を喚起する。我々は、高度に分断された話題(吸収、気候変動、銃規制)からの会話に焦点を当てている。我々は,新しい言語的特徴と会話的特徴とユーザ要因のセットを運用し,それらを組み込んで解釈可能なモデルを構築する。
論文参考訳（メタデータ） (2021-08-30T23:55:38Z)
Who Responded to Whom: The Joint Effects of Latent Topics and Discourse in Conversation Structure [53.77234444565652]
会話談話における応答関係を同定し,会話の開始に応答発話をリンクする。単語分布における潜在トピックと会話を学習し,ペアワイズ開始応答リンクを予測するモデルを提案する。英語と中国語の会話における実験結果から,我々のモデルは過去の芸術の状況を大きく上回っていることが明らかとなった。
論文参考訳（メタデータ） (2021-04-17T17:46:00Z)
Multi-View Sequence-to-Sequence Models with Conversational Structure for Abstractive Dialogue Summarization [72.54873655114844]
テキスト要約は、NLPにおいて最も困難で興味深い問題の1つである。本研究では、まず、異なる視点から構造化されていない日々のチャットの会話構造を抽出し、会話を表現するマルチビューシーケンス・ツー・シーケンスモデルを提案する。大規模対話要約コーパスの実験により,本手法は,自動評価と人的判断の両面から,従来の最先端モデルよりも有意に優れた性能を示した。
論文参考訳（メタデータ） (2020-10-04T20:12:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。