論文の概要: Probing the topology of the space of tokens with structured prompts

• arxiv url: http://arxiv.org/abs/2503.15421v1
• Date: Wed, 19 Mar 2025 17:01:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 17:45:41.027375
• Title: Probing the topology of the space of tokens with structured prompts
• Title（参考訳）: 構造的プロンプトを持つトークン空間の位相を求める
• Authors: Michael Robinson, Sourya Dey, Taisa Kushner,
• Abstract要約: 本稿では,大規模言語モデルに対して,その(隠された)トークン入力を同型に埋め込む,汎用的で柔軟な手法を提案する。 Llemma-7Bのトークン部分空間を復元し,その有効性を示す。
• 参考スコア（独自算出の注目度）: 1.5621144215664768
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This article presents a general and flexible method for prompting a large language model (LLM) to reveal its (hidden) token input embedding up to homeomorphism. Moreover, this article provides strong theoretical justification -- a mathematical proof for generic LLMs -- for why this method should be expected to work. With this method in hand, we demonstrate its effectiveness by recovering the token subspace of Llemma-7B. The results of this paper apply not only to LLMs but also to general nonlinear autoregressive processes.
• Abstract（参考訳）: 本稿では,多言語モデル(LLM)に対して,その(隠された)トークン入力を同型に埋め込むための汎用的かつ柔軟な手法を提案する。 さらに、本論文は、なぜこの手法が機能することが期待されるのかについて、強力な理論的正当化(ジェネリックLLMの数学的証明)を提供する。 この手法を用いて,Llemma-7Bのトークン部分空間を復元し,その有効性を示す。 本稿では, LLM だけでなく, 一般非線形自己回帰法にも適用した。

関連論文リスト

• Accordion-Thinking: Self-Regulated Step Summaries for Efficient and Readable LLM Reasoning [62.680551162054975]
  我々はLLMが動的要約によって推論ステップの粒度を自己制御することを学ぶエンドツーエンドのフレームワークを紹介した。 高い効率のFoldモードと徹底的なUnfoldモードの精度ギャップを徐々に狭めていくという重要な知見を見出し,この能力をさらにインセンティブ化するために強化学習を適用した。 私たちのAccordion-Thinkerは、学習した自己圧縮により、LLMは依存性トークンのオーバーヘッドを最小限に抑えながら複雑な推論タスクに取り組むことができることを示した。
  論文  参考訳（メタデータ） (2026-02-03T08:34:20Z)
• LLMs Explain't: A Post-Mortem on Semantic Interpretability in Transformer Models [3.7965260744113163]
  大きな言語モデル(LLM)は、その汎用性と強力なパフォーマンスのために、広範にコンピューティングで人気が高まっている。 本稿では,LLMにおいて言語的抽象化がどのように現れるのかを考察し,異なるモジュール間で言語的抽象化を検出することを目的とする。 注意に基づく説明は、後層表現がトークンに対応しているというコア仮定をテストすると、崩壊します。 埋め込みに適用される特性推論法も、その高い予測スコアが、方法論的アーティファクトとデータセット構造によって駆動されたため失敗した。
  論文  参考訳（メタデータ） (2026-01-30T12:46:37Z)
• Revisiting LLM Reasoning via Information Bottleneck [57.519119962528166]
  大規模言語モデル(LLM)は、最近、検証可能な報酬付き強化学習(RLVR)を通じて推論能力の顕著な進歩を示した。 本稿では,情報ボトルネック(IB)の原理に基づくLLM推論の理論的特徴について述べる。 IB対応推論最適化(IBRO)を提案する。
  論文  参考訳（メタデータ） (2025-07-24T13:14:25Z)
• Exploring Task Performance with Interpretable Models via Sparse Auto-Encoders [17.66934724195822]
  大規模言語モデル(LLM)は伝統的にブラックボックスアルゴリズムと見なされている。 本研究では,スパースオートエンコーダを用いた辞書学習手法を用いて,効率的なLLM分解法を提案する。
  論文  参考訳（メタデータ） (2025-07-08T22:17:52Z)
• Benchmarking Abstract and Reasoning Abilities Through A Theoretical Perspective [59.7140089198992]
  抽象的推論を本質的なパターンを抽出する能力として定義する数学的枠組みを開発する。 基本的な推論精度を計測する(scoreGamma)と、特定のシンボルに依存するモデルの定量化(scoreDelta)である。
  論文  参考訳（メタデータ） (2025-05-28T09:02:45Z)
• Tokenization Constraints in LLMs: A Study of Symbolic and Arithmetic Reasoning Limits [15.941209553757274]
  トークン化は、言語モデルにおける最初の、そしてしばしば過小評価される計算層である。 このような推論の成功は、トークン化された入力の構造によって根本的に境界づけられていることを示す。
  論文  参考訳（メタデータ） (2025-05-20T10:32:30Z)
• Computation Mechanism Behind LLM Position Generalization [59.013857707250814]
  大規模言語モデル(LLM)は、テキストの位置を扱う際の柔軟性を示す。 彼らは位置摂動のあるテキストを理解し、より長いテキストに一般化することができる。 この研究は言語現象とLLMの計算機構を結びつける。
  論文  参考訳（メタデータ） (2025-03-17T15:47:37Z)
• Steering LLMs for Formal Theorem Proving [1.083373217040891]
  我々は,非公式な推論トレースに関連する残効活性化における線形方向を同定する推論時間介入を開発する。 このメカニズムはまた、大規模言語モデルのアクティベーション空間において、推論がどのように内部的にエンコードされているかについての解釈可能な情報を与える。 1) LLM の証明合成を導くための新しいアクティベーションベースの介入,(2) この介入が2つの復号化戦略の下で性能を向上させることの実証である。
  論文  参考訳（メタデータ） (2025-02-21T15:04:48Z)
• SoftCoT: Soft Chain-of-Thought for Efficient Reasoning with LLMs [48.28847964704554]
  CoT(Chain-of-Thought)推論により、LLM(Large Language Models)は複雑な推論タスクを解くことができる。 本稿では,LLMの変更を必要としない連続空間推論のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:52:29Z)
• Demystifying Singular Defects in Large Language Models [61.98878352956125]
  大規模言語モデル(LLM)では、ハイノームトークンの根本原因は未解明のままである。 理論的な洞察と経験的検証の両方を、近年のモデルで提供します。 量子化方式の改良とLCMシグネチャの設計の2つの実用的応用について述べる。
  論文  参考訳（メタデータ） (2025-02-10T20:09:16Z)
• Token Assorted: Mixing Latent and Text Tokens for Improved Language Model Reasoning [53.57895922042783]
  大規模言語モデル(LLM)は、チェーン・オブ・シークレット(CoT)データに基づいて訓練された場合、推論と計画が優れている。 そこで我々は,遅延離散トークンを用いて推論過程を部分的に抽象化するハイブリッド表現を提案する。
  論文  参考訳（メタデータ） (2025-02-05T15:33:00Z)
• Critical-Questions-of-Thought: Steering LLM reasoning with Argumentative Querying [0.3659498819753633]
  State-of-the-art Large Language Model (LLM) は論理的および数学的推論を行う際にも苦戦している。 本稿では、議論論に関する文献からの批判的質問の概念を利用し、特にトゥールミンの議論モデルに焦点を当てる。 これらの重要な質問を取り入れることで,LLMの推論能力が向上することを示す。
  論文  参考訳（メタデータ） (2024-12-19T18:51:30Z)
• PromptExp: Multi-granularity Prompt Explanation of Large Language Models [16.259208045898415]
  PromptExpは,トークンレベルの洞察を集約することで,複数の粒度を自動生成するフレームワークである。 PromptExpは、ホワイトボックスとブラックボックスの説明の両方をサポートし、説明をより高い粒度レベルまで拡張する。 PromptExpを感情分析などのケーススタディで評価し,摂動に基づくアプローチが優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-16T22:25:15Z)
• Large Language Models as Markov Chains [7.078696932669912]
  有限状態空間上で定義された自己回帰変換言語モデルとマルコフ連鎖の同値性を描く。 以上の結果とLLMで観察された病理行動との関連性を検討した。 最新のLlamaとGemmaのモデル群による実験は、我々の理論が実際にそれらの振る舞いを正しく捉えていることを示している。
  論文  参考訳（メタデータ） (2024-10-03T17:45:31Z)
• Thought-Like-Pro: Enhancing Reasoning of Large Language Models through Self-Driven Prolog-based Chain-of-Thought [31.964412924094656]
  大規模言語モデル(LLM)は汎用アシスタントとして非常に優れた性能を示している。 多様な推論タスクにおける学習と一般化を容易にする新しい学習フレームワークTHOUGHT-LIKE-PROを導入する。 実験結果から,本手法はLLMの推論能力を大幅に向上させる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-07-18T18:52:10Z)
• Look Before You Decide: Prompting Active Deduction of MLLMs for Assumptive Reasoning [68.83624133567213]
  そこで本研究では,MLLMの最も普及している手法が,その問題に先入観を導入することで,容易に騙せることを示す。 また, モデルに対して, 合成推論を積極的に行うための, 単純かつ効果的な手法であるアクティブ推論(AD)を提案する。
  論文  参考訳（メタデータ） (2024-04-19T15:53:27Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• Linear Temporal Logic Modulo Theories over Finite Traces (Extended Version) [72.38188258853155]
  有限トレース(LTLf)上の線形時間論理について検討する。 命題の文字は任意の理論で解釈された一階述語式に置き換えられる。 Satisfiability Modulo Theories (LTLfMT) と呼ばれる結果の論理は半決定可能である。
  論文  参考訳（メタデータ） (2022-04-28T17:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。