論文の概要: Language Models Have Interpretable Narrative Mechanisms

• arxiv url: http://arxiv.org/abs/2610.12989v1
• Date: Fri, 09 Oct 2026 04:45:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.392382
• Title: Language Models Have Interpretable Narrative Mechanisms
• Title（参考訳）: 言語モデルには解釈可能なナラティブメカニズムがある
• Abstract要約: 言語モデルがナラティビティの表現に寄与する内部成分を含むか否かを検討する。 注意頭,ニューロン,スパースオートエンコーダの特徴を同定し,その活性化とナラティビティとの関連性を検討した。
• 参考スコア（独自算出の注目度）: 6.172706196088094
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate whether language models contain internal components that contribute to representing narrativity, the degree to which a text exhibits narrative properties. Across GPT-2-Small, Gemma-2-2B, and Llama-3.1-8B, we identify attention heads, MLP neurons, and sparse autoencoder features whose activations correlate with narrativity. Ablating selected neuron and feature sets increases next-token prediction loss more for high-narrativity than for low-narrativity texts, and reduces the narrativity of open-ended generations. On downstream benchmarks, the largest effects occur in story completion and narrative question answering, although they vary across models and languages; results on confabulation and hallucination benchmarks are mixed. These findings provide causal evidence that selected sets of narrative-associated components contribute to model behaviour, while their internal organisation, relation to narrative theory, and broader functions remain open questions.
• Abstract（参考訳）: 本稿では, 言語モデルがナラティビティを表現する上で寄与する内部成分を含むか否か, 文章が物語特性を示す程度について検討する。 GPT-2-Small, Gemma-2-2B, およびLlama-3.1-8B全体で, 注意頭, MLPニューロン, スパースオートエンコーダの特徴を同定した。 選択されたニューロンと特徴セットを非難することで、低ナラティビティテキストよりも高ナラティビティで次のトーン予測損失が増加し、オープンエンド世代におけるナラティビティが低下する。 下流のベンチマークでは、モデルや言語によって異なるが、物語の完成と物語の質問応答において最も大きな影響が生じる。 これらの知見は,選択された物語関連成分群がモデル行動に寄与することを示す因果的証拠を提供する一方で,その内部組織,物語理論との関係,より広範な機能についてはオープンな疑問が残る。

関連論文リスト

• Contextualize-then-Aggregate: Circuits for In-Context Learning in Gemma-2 2B [51.74607395697567]
  In-Context Learning (ICL)は、大規模言語モデル(LLM)の興味深い能力である。 我々は5つの自然主義ICLタスクに対してGemma-2 2Bにおける情報フローを因果介入を用いて同定する。 このモデルでは,2段階戦略を用いてタスク情報を推論し,コンテキスト化-then-aggregateと呼ぶ。
  論文  参考訳（メタデータ） (2025-03-31T18:33:55Z)
• Causal Micro-Narratives [62.47217054314046]
  テキストから因果マイクロナラティブを分類する新しい手法を提案する。 これらの物語は、対象対象の因果関係と/または効果の文レベルの説明である。
  論文  参考訳（メタデータ） (2024-10-07T17:55:10Z)
• Are Large Language Models Capable of Generating Human-Level Narratives? [114.34140090869175]
  本稿ではストーリーテリングにおけるLLMの能力について考察し,物語の展開とプロットの進行に着目した。 本稿では,3つの談話レベルの側面から物語を分析するための新しい計算フレームワークを提案する。 談話機能の明示的な統合は、ニューラルストーリーテリングの40%以上の改善によって示されるように、ストーリーテリングを促進することができることを示す。
  論文  参考訳（メタデータ） (2024-07-18T08:02:49Z)
• NarrativeBridge: Enhancing Video Captioning with Causal-Temporal Narrative [19.79736018383692]
  既存のビデオキャプションベンチマークとモデルは因果的物語を欠いている。 この物語の欠如は、ビデオコンテンツに固有の因果的・時間的ダイナミクスをキャプチャするテキスト記述を生成するモデルの能力を制限する。 本研究では,(1)大規模言語モデルと少数ショットプロンプトを用いて生成された新規な因果的ナラティブ(CTN)キャプションベンチマークと,(2)原因と影響のダイナミクスを捉えるための別エンコーダを備えた因果効果ネットワーク(CEN)とからなるアプローチであるナラティブブリッジを提案する。
  論文  参考訳（メタデータ） (2024-06-10T17:34:24Z)
• Paralinguistics-Enhanced Large Language Modeling of Spoken Dialogue [71.15186328127409]
  パラリンGPT(Paralin GPT) モデルは、シリアライズされたマルチタスクフレームワーク内の入力プロンプトとして、テキスト、音声埋め込み、およびパラ言語属性の会話コンテキストを取る。 音声対話データセットとして,感情ラベルをパラ言語属性として含むSwitchboard-1コーパスを利用する。
  論文  参考訳（メタデータ） (2023-12-23T18:14:56Z)
• M-SENSE: Modeling Narrative Structure in Short Personal Narratives Using Protagonist's Mental Representations [14.64546899992196]
  本研究では,登場人物の心的状態の推測を解析し,物語構造の顕著な要素を自動的に検出するタスクを提案する。 本稿では,物語構造の主要な要素,特にクライマックスと解像度のマニュアルアノテーションを含む,短い個人物語のSTORIESデータセットを紹介する。 我々のモデルは、クライマックスと解像度を識別するタスクにおいて、大幅な改善を達成できる。
  論文  参考訳（メタデータ） (2023-02-18T20:48:02Z)
• Neural Language Taskonomy: Which NLP Tasks are the most Predictive of fMRI Brain Activity? [3.186888145772382]
  人気のTransformerベースの言語モデルは、テキスト駆動型ブレインエンコーディングで成功している。 本研究では,10種類の自然言語処理タスクで学習した表現からの伝達学習について検討する。 10のタスク表現にまたがる実験は、以下の認知的洞察を提供する。
  論文  参考訳（メタデータ） (2022-05-03T10:23:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。