論文の概要: ParaScopes: What do Language Models Activations Encode About Future Text?

• arxiv url: http://arxiv.org/abs/2511.00180v1
• Date: Fri, 31 Oct 2025 18:36:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:26.655486
• Title: ParaScopes: What do Language Models Activations Encode About Future Text?
• Title（参考訳）: ParaScopes: 将来のテキストについて、言語モデルアクティベーションは何をコード化しますか?
• Authors: Nicky Pochinkov, Yulia Volkova, Anna Vasileva, Sai V R Chereddy,
• Abstract要約: 言語モデルにおける解釈可能性の研究は、しばしばアクティベーションの前方に見える表現を調査する。 本稿では,段落スケールおよび文書スケールプランのモデルアクティベーションを探索する手法として,残留ストリームデコーダのフレームワークを開発する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Interpretability studies in language models often investigate forward-looking representations of activations. However, as language models become capable of doing ever longer time horizon tasks, methods for understanding activations often remain limited to testing specific concepts or tokens. We develop a framework of Residual Stream Decoders as a method of probing model activations for paragraph-scale and document-scale plans. We test several methods and find information can be decoded equivalent to 5+ tokens of future context in small models. These results lay the groundwork for better monitoring of language models and better understanding how they might encode longer-term planning information.
• Abstract（参考訳）: 言語モデルにおける解釈可能性の研究は、しばしばアクティベーションの前方に見える表現を調査する。 しかしながら、言語モデルがより長い時間的水平タスクを実行できるようになると、アクティベーションを理解する方法は、特定の概念やトークンをテストすることに限定されることが多い。 本稿では,段落スケールおよび文書スケールプランのモデルアクティベーションを探索する手法として,残留ストリームデコーダのフレームワークを開発する。 我々はいくつかの手法を検証し、小さなモデルで将来のコンテキストの5以上のトークンと等価な情報を復号化することができる。 これらの結果は、言語モデルのより良い監視と、長期計画情報のエンコード方法の理解の基盤となった。

関連論文リスト

• xVLM2Vec: Adapting LVLM-based embedding models to multilinguality using Self-Knowledge Distillation [2.9998889086656586]
  本稿では,言語データに基づいて学習した大規模視覚言語モデルの適応手法を提案し,その性能を向上する。 マルチ言語およびマルチモーダル埋め込みモデルの有効性を評価するためのベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-03-12T12:04:05Z)
• Learning to Plan for Language Modeling from Unlabeled Data [23.042650737356496]
  我々は,自己指導型学習目標を用いて,将来の執筆プロセスを計画するためのモジュールを訓練する。 テキストコンテキストを考えると、この計画モジュールは、クラスタ化されたテキスト埋め込み空間のセントロイドに対応する、将来の抽象的な書き込みアクションを予測することを学習する。
  論文  参考訳（メタデータ） (2024-03-31T09:04:01Z)
• L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models [102.00201523306986]
  大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。 モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。 モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
  論文  参考訳（メタデータ） (2023-09-29T17:57:00Z)
• Multi-lingual Evaluation of Code Generation Models [82.7357812992118]
  本稿では,MBXPとMultilingual HumanEval,MathQA-Xという,評価コード生成モデルに関する新しいベンチマークを提案する。 これらのデータセットは10以上のプログラミング言語をカバーする。 コード生成モデルの性能を多言語で評価することができる。
  論文  参考訳（メタデータ） (2022-10-26T17:17:06Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• Prompt Programming for Large Language Models: Beyond the Few-Shot Paradigm [0.0]
  自然言語のレンズを通してプロンプトを考えることの有用性を強調しながら,プロンプトプログラミングの手法について論じる。 モデルに種を付けて、さまざまなタスクのための独自の自然言語プロンプトを生成するメタプロンプトのアイデアを紹介します。
  論文  参考訳（メタデータ） (2021-02-15T05:27:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。