論文の概要: What's in a prompt? Language models encode literary style in prompt embeddings

• arxiv url: http://arxiv.org/abs/2505.17071v1
• Date: Mon, 19 May 2025 15:56:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:33.524629
• Title: What's in a prompt? Language models encode literary style in prompt embeddings
• Title（参考訳）: インプロンプトには何があるのか? 言語モデルはインプロンプト埋め込みに文体スタイルをエンコードする
• Authors: Raphaël Sarfati, Haley Moller, Toni J. B. Liu, Nicolas Boullé, Christopher Earls,
• Abstract要約: 変換器の作用により,プロンプト全体の累積情報が個々の埋め込みにどのように凝縮されるかを示す。 我々は、異なる小説からの短い抜粋が、それらが収束する次の段階の予測とは独立に、潜伏空間で分離されていることを観察する。 このスタイルの幾何学は、著者の帰属や文学的分析に応用できるかもしれないが、最も重要なことは、言語モデルによって達成された情報処理と圧縮の高度化である。
• 参考スコア（独自算出の注目度）: 3.0583407443282367
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models use high-dimensional latent spaces to encode and process textual information. Much work has investigated how the conceptual content of words translates into geometrical relationships between their vector representations. Fewer studies analyze how the cumulative information of an entire prompt becomes condensed into individual embeddings under the action of transformer layers. We use literary pieces to show that information about intangible, rather than factual, aspects of the prompt are contained in deep representations. We observe that short excerpts (10 - 100 tokens) from different novels separate in the latent space independently from what next-token prediction they converge towards. Ensembles from books from the same authors are much more entangled than across authors, suggesting that embeddings encode stylistic features. This geometry of style may have applications for authorship attribution and literary analysis, but most importantly reveals the sophistication of information processing and compression accomplished by language models.
• Abstract（参考訳）: 大規模言語モデルはテキスト情報をエンコードし処理するために高次元の潜在空間を使用する。 多くの研究が、単語の概念的内容がベクトル表現間の幾何学的関係にどのように変換されるかを調査してきた。 プロンプト全体の累積情報が、トランスフォーマー層の作用の下で個々の埋め込みにどのように凝縮されるかを分析する研究は少ない。 我々は、事実ではなく、そのプロンプトの側面が深い表現に含まれることを示すために、文学作品を用いている。 我々は、異なる小説からの短い抜粋(10～100トークン)が、それらが収束する次の予測とは独立に、潜伏した空間で分離されていることを観察する。 同じ著者の本からのアンサンブルは、他の著者よりもはるかに絡み合っており、埋め込みは様式的な特徴をエンコードしていることを示唆している。 このスタイルの幾何学は、著者の帰属や文学的分析に応用できるかもしれないが、最も重要なことは、言語モデルによって達成された情報処理と圧縮の高度化である。

関連論文リスト

• Capturing Style in Author and Document Representation [4.323709559692927]
  著者と文書の埋め込みをスタイリスティックな制約で学習する新しいアーキテクチャを提案する。 本稿では,Gutenbergプロジェクトから抽出した文芸コーパス,Blog Authorship,IMDb62の3つのデータセットについて評価を行った。
  論文  参考訳（メタデータ） (2024-07-18T10:01:09Z)
• Improving Quotation Attribution with Fictional Character Embeddings [11.259583037191772]
  本稿では,文字のグローバルなスタイリスティックな情報をエンコードする文字埋め込みにより,人気のある引用帰属システムであるBookNLPを提案する。 提案するグローバル文字埋め込みとBookNLPの文脈情報を組み合わせることで,アナフォリックおよび暗黙的引用のための話者識別が向上することを示す。
  論文  参考訳（メタデータ） (2024-06-17T09:46:35Z)
• Distinguishing Fictional Voices: a Study of Authorship Verification Models for Quotation Attribution [12.300285585201767]
  既訓練のオーサシップ検証モデルを用いて,引用文を符号化して構築した文字のスタイリスティックな表現について検討する。 以上の結果から,これらのモデルの一部で捉えたスタイリスティックな情報とトピック的な情報の組み合わせは,文字を正確に区別するが,引用の帰属時に意味のみのモデルよりも必ずしも改善されないことが示唆された。
  論文  参考訳（メタデータ） (2024-01-30T12:49:40Z)
• Representation Of Lexical Stylistic Features In Language Models' Embedding Space [28.60690854046176]
  これらのスタイリスティックな概念のそれぞれに対して,少数のシードペアのみからベクトル表現を導出できることが示されている。 5つのデータセットで実験を行い、静的な埋め込みがこれらの特徴を単語やフレーズのレベルでより正確にエンコードすることを発見した。 単語レベルでの文脈化表現の低い性能は、ベクトル空間の異方性に起因する。
  論文  参考訳（メタデータ） (2023-05-29T23:44:26Z)
• ALADIN-NST: Self-supervised disentangled representation learning of artistic style through Neural Style Transfer [60.6863849241972]
  我々は、画像に描かれた意味的内容から、より強く絡み合った視覚芸術スタイルの表現を学習する。 スタイルと内容の絡み合いに強く対処することで、スタイル固有のメトリクスが大きく向上することを示します。
  論文  参考訳（メタデータ） (2023-04-12T10:33:18Z)
• StoryTrans: Non-Parallel Story Author-Style Transfer with Discourse Representations and Content Enhancing [73.81778485157234]
  長文は通常、文よりも談話構造のような複雑な著者の言語的嗜好を含んでいる。 我々は、入力されたストーリーを特定の著者スタイルに転送する必要があるノン並列ストーリー作者スタイル転送のタスクを定式化する。 モデルが自動エンコーダに退化することを防ぐために,学習した談話表現からスタイル的特徴を引き離すための追加の学習目標を用いる。
  論文  参考訳（メタデータ） (2022-08-29T08:47:49Z)
• Sentiment analysis in tweets: an assessment study from classical to modern text representation models [59.107260266206445]
  Twitterで公開された短いテキストは、豊富な情報源として大きな注目を集めている。 非公式な言語スタイルや騒々しい言語スタイルといったそれらの固有の特徴は、多くの自然言語処理(NLP)タスクに挑戦し続けている。 本研究では,22データセットの豊富なコレクションを用いて,ツイートに表される感情を識別する既存言語モデルの評価を行った。
  論文  参考訳（メタデータ） (2021-05-29T21:05:28Z)
• Lattice-BERT: Leveraging Multi-Granularity Representations in Chinese Pre-trained Language Models [62.41139712595334]
  中国語のための新しい事前学習パラダイムであるLattice-BERTを提案する。 文中の文字や単語から格子グラフを構築し、これらすべてのテキスト単位をトランスフォーマーに供給します。 本モデルが12層設定で平均1.5%の増加をもたらすことを示した。
  論文  参考訳（メタデータ） (2021-04-15T02:36:49Z)
• Improving Disentangled Text Representation Learning with Information-Theoretic Guidance [99.68851329919858]
  自然言語の独特な性質は、テキスト表現の分離をより困難にする。 情報理論にインスパイアされた本研究では,テキストの不整合表現を効果的に表現する手法を提案する。 条件付きテキスト生成とテキストスタイル転送の両方の実験は、不整合表現の質を実証する。
  論文  参考訳（メタデータ） (2020-06-01T03:36:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。