Fugu-MT 論文翻訳(概要): Probing the topology of the space of tokens with structured prompts

論文の概要: Probing the topology of the space of tokens with structured prompts

arxiv url: http://arxiv.org/abs/2503.15421v1
Date: Wed, 19 Mar 2025 17:01:15 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-20 15:22:30.849141
Title: Probing the topology of the space of tokens with structured prompts
Title（参考訳）: 構造的プロンプトを持つトークン空間の位相を求める
Authors: Michael Robinson, Sourya Dey, Taisa Kushner,
Abstract要約: 本稿では,大規模言語モデルに対して,その(隠された)トークン入力を同型に埋め込む,汎用的で柔軟な手法を提案する。 Llemma-7Bのトークン部分空間を復元し,その有効性を示す。
参考スコア（独自算出の注目度）: 1.5621144215664768
License:
Abstract: This article presents a general and flexible method for prompting a large language model (LLM) to reveal its (hidden) token input embedding up to homeomorphism. Moreover, this article provides strong theoretical justification -- a mathematical proof for generic LLMs -- for why this method should be expected to work. With this method in hand, we demonstrate its effectiveness by recovering the token subspace of Llemma-7B. The results of this paper apply not only to LLMs but also to general nonlinear autoregressive processes.
Abstract（参考訳）: 本稿では,多言語モデル(LLM)に対して,その(隠された)トークン入力を同型に埋め込むための汎用的かつ柔軟な手法を提案する。さらに、本論文は、なぜこの手法が機能することが期待されるのかについて、強力な理論的正当化(ジェネリックLLMの数学的証明)を提供する。この手法を用いて,Llemma-7Bのトークン部分空間を復元し,その有効性を示す。本稿では, LLM だけでなく, 一般非線形自己回帰法にも適用した。

関連論文リスト

SoftCoT: Soft Chain-of-Thought for Efficient Reasoning with LLMs [48.28847964704554]
CoT(Chain-of-Thought)推論により、LLM(Large Language Models)は複雑な推論タスクを解くことができる。本稿では,LLMの変更を必要としない連続空間推論のための新しい手法を提案する。
論文参考訳（メタデータ） (2025-02-17T18:52:29Z)
Demystifying Singular Defects in Large Language Models [61.98878352956125]
大規模言語モデル(LLM)では、ハイノームトークンの根本原因は未解明のままである。理論的な洞察と経験的検証の両方を、近年のモデルで提供します。量子化方式の改良とLCMシグネチャの設計の2つの実用的応用について述べる。
論文参考訳（メタデータ） (2025-02-10T20:09:16Z)
Critical-Questions-of-Thought: Steering LLM reasoning with Argumentative Querying [0.3659498819753633]
State-of-the-art Large Language Model (LLM) は論理的および数学的推論を行う際にも苦戦している。本稿では、議論論に関する文献からの批判的質問の概念を利用し、特にトゥールミンの議論モデルに焦点を当てる。これらの重要な質問を取り入れることで,LLMの推論能力が向上することを示す。
論文参考訳（メタデータ） (2024-12-19T18:51:30Z)
PromptExp: Multi-granularity Prompt Explanation of Large Language Models [16.259208045898415]
PromptExpは,トークンレベルの洞察を集約することで,複数の粒度を自動生成するフレームワークである。 PromptExpは、ホワイトボックスとブラックボックスの説明の両方をサポートし、説明をより高い粒度レベルまで拡張する。 PromptExpを感情分析などのケーススタディで評価し,摂動に基づくアプローチが優れていることを示す。
論文参考訳（メタデータ） (2024-10-16T22:25:15Z)
Large Language Models as Markov Chains [7.078696932669912]
有限状態空間上で定義された自己回帰変換言語モデルとマルコフ連鎖の同値性を描く。以上の結果とLLMで観察された病理行動との関連性を検討した。最新のLlamaとGemmaのモデル群による実験は、我々の理論が実際にそれらの振る舞いを正しく捉えていることを示している。
論文参考訳（メタデータ） (2024-10-03T17:45:31Z)
Thought-Like-Pro: Enhancing Reasoning of Large Language Models through Self-Driven Prolog-based Chain-of-Thought [31.964412924094656]
大規模言語モデル(LLM)は汎用アシスタントとして非常に優れた性能を示している。多様な推論タスクにおける学習と一般化を容易にする新しい学習フレームワークTHOUGHT-LIKE-PROを導入する。実験結果から,本手法はLLMの推論能力を大幅に向上させる可能性が示唆された。
論文参考訳（メタデータ） (2024-07-18T18:52:10Z)
Look Before You Decide: Prompting Active Deduction of MLLMs for Assumptive Reasoning [68.83624133567213]
そこで本研究では,MLLMの最も普及している手法が,その問題に先入観を導入することで,容易に騙せることを示す。また, モデルに対して, 合成推論を積極的に行うための, 単純かつ効果的な手法であるアクティブ推論(AD)を提案する。
論文参考訳（メタデータ） (2024-04-19T15:53:27Z)
Amortizing intractable inference in large language models [56.92471123778389]
難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
論文参考訳（メタデータ） (2023-10-06T16:36:08Z)
Linear Temporal Logic Modulo Theories over Finite Traces (Extended Version) [72.38188258853155]
有限トレース(LTLf)上の線形時間論理について検討する。命題の文字は任意の理論で解釈された一階述語式に置き換えられる。 Satisfiability Modulo Theories (LTLfMT) と呼ばれる結果の論理は半決定可能である。
論文参考訳（メタデータ） (2022-04-28T17:57:33Z)
ELM: Embedding and Logit Margins for Long-Tail Learning [70.19006872113862]
長期学習はスキューラベル分布下での学習の問題である。本稿では,ロジット空間にマージンを強制するための統一アプローチであるEmbedding and Logit Margins(ELM)を提案する。 The ELM method are shown to be well empirically, and result to tight more tail class embeddeds。
論文参考訳（メタデータ） (2022-04-27T21:53:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。