論文の概要: $π$-RAG: Oblivious Retrieval via Semantic Quantization and Transcendental Addressing for Large Language Models
- arxiv url: http://arxiv.org/abs/2606.22153v1
- Date: Sat, 20 Jun 2026 17:22:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 22:30:47.270742
- Title: $π$-RAG: Oblivious Retrieval via Semantic Quantization and Transcendental Addressing for Large Language Models
- Title(参考訳): $π$-RAG:大規模言語モデルに対する意味的量子化と超越的アドレス化による未知の検索
- Authors: Aniket Wattamwar, Mrunal Kakirwar,
- Abstract要約: $-RAGは、意味理解を犠牲にすることなく、機密データストレージから大規模言語モデル(LLM)を分離する。
我々は超越エントロピーの源として$$の桁を使い、LLMとプライベートレコードの間に不変な間接層を作る。
このアーキテクチャは決定論的ランダム性、監査可能性、および差分プライバシーを統一し、金融や医療などの高コンプライアンス分野に高い効果を示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper introduces $π$-RAG, a novel architecture for oblivious retrieval that decouples Large Language Models (LLMs) from sensitive data storage without sacrificing semantic understanding. Traditional Retrieval-Augmented Generation (RAG) architectures expose raw vector embeddings to potential inversion attacks and nondeterministic retrieval failures. To address this, we utilize the digits of $π$ as a source of transcendental entropy, creating an immutable indirection layer between the LLM and private records. The value $π$ provides immutability, is uneditable and math governs it. The architecture also introduces a Semantic Quantization Layer. This layer projects user inputs onto a pre-computed manifold of Canonical Intent Centroids. RAG performs vector cosine similarity but here it maps the centroids to deterministic offsets via cryptographic salt. The resulting $π$-key is a pointer to standardized payload from the actual datastore. By replacing direct access to the datastore via LLM with this transcendental layer, $π$-RAG mathematically guarantees that the inference remains oblivious to the data. This architecture unifies deterministic randomness, auditability, and differential privacy, demonstrating high efficacy for high-compliance sectors such as finance and healthcare.
- Abstract(参考訳): 本稿では,Large Language Models (LLM) を意味的理解を犠牲にすることなく機密データストレージから切り離す,難解な検索のための新しいアーキテクチャである$π$-RAGを紹介する。
従来のRetrieval-Augmented Generation (RAG)アーキテクチャは、潜在的な反転攻撃や非決定論的検索障害に生ベクトル埋め込みを公開している。
この問題に対処するために、超越エントロピーの源として$π$の桁を使い、LLMとプライベートレコードの間に不変な間接層を作る。
π$の値は不変性を提供し、計算不可能であり、数学がそれを支配している。
アーキテクチャにはSemantic Quantization Layerも導入されている。
このレイヤは、ユーザが予め計算されたCanonical Intent Centroidの多様体に入力する。
RAGはベクトルコサイン類似性を実行するが、ここでは、セントロイドを暗号塩を介して決定論的オフセットにマッピングする。
その結果得られる$π$-keyは、実際のデータストアから標準化されたペイロードへのポインタである。
LLMによるデータストアへの直接アクセスをこの超越層に置き換えることにより、$π$-RAGは、推論がデータに不利なままであることを数学的に保証する。
このアーキテクチャは決定論的ランダム性、監査可能性、および差分プライバシーを統一し、金融や医療などの高コンプライアンス分野に高い効果を示す。
関連論文リスト
- Dynamic Large Concept Models: Latent Reasoning in an Adaptive Semantic Space [56.37266873329401]
大規模言語モデル (LLM) は、高度に一様でない情報密度を示す言語にもかかわらず、全てのトークンに一様計算を適用する。
我々は,潜在表現から意味境界を学習し,トークンから推論がより効率的である圧縮概念空間へ移行する階層型言語モデリングフレームワークである$textbfDynamic Large Concept Models (DLCM)$を提案する。
論文 参考訳(メタデータ) (2025-12-31T04:19:33Z) - Latent Chain-of-Thought? Decoding the Depth-Recurrent Transformer [0.8738725605667471]
CoT(Chain-of- Thought)推論は、トランスフォーマーベースの言語モデルで複雑な数学や多段階計画に優れる。
標準的なデコーダのみのアーキテクチャでは、これらの推論ステップは自然言語で外部化され、効率を犠牲にして解釈性を向上させる。
パラメータ数の増加を伴わずに推論時に層を再利用する深度再帰変換器である Huginn-3.5B にそのような推論構造が出現するかどうかを検討する。
論文 参考訳(メタデータ) (2025-07-02T23:35:21Z) - Don't Get Lost in the Trees: Streamlining LLM Reasoning by Overcoming Tree Search Exploration Pitfalls [83.89771461061903]
検証者による木探索アルゴリズムの最近の進歩は、大規模言語モデル(LLM)の推論能力を大幅に向上させた。
検証者による木探索アルゴリズムの最近の進歩は、大規模言語モデル(LLM)の推論能力を大幅に向上させた。
意味論的に等価なコンテンツを持つ冗長な状態による$textitover-Exploration$と、検証器のスコアリングにおける高いばらつきに起因する$textitunder-Exploration$である。
各種木探索アルゴリズムに適合するフレキシブルなプラグアンドプレイシステムであるFETCHを提案する。
論文 参考訳(メタデータ) (2025-02-16T16:12:01Z) - THE-X: Privacy-Preserving Transformer Inference with Homomorphic
Encryption [112.02441503951297]
トランスフォーマーモデルのプライバシ保護推論は、クラウドサービスユーザの要求に基づいています。
我々は、事前訓練されたモデルのプライバシ保存推論を可能にするトランスフォーマーの近似アプローチである$textitTHE-X$を紹介した。
論文 参考訳(メタデータ) (2022-06-01T03:49:18Z) - A theory of capacity and sparse neural encoding [15.000818334408805]
入力層から対象層へのスパース神経マップをスパース活性で検討した。
数学的には、k が相転移を起こし、一般にターゲット層のスパーシティがマップの保存容量を増加させることを証明します。
論文 参考訳(メタデータ) (2021-02-19T20:24:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。