論文の概要: TOPLOC: A Locality Sensitive Hashing Scheme for Trustless Verifiable Inference

• arxiv url: http://arxiv.org/abs/2501.16007v1
• Date: Mon, 27 Jan 2025 12:46:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:53:32.053522
• Title: TOPLOC: A Locality Sensitive Hashing Scheme for Trustless Verifiable Inference
• Title（参考訳）: TOPLOC: 信頼できない検証可能な推論のためのローカル感性ハッシュスキーム
• Authors: Jack Min Ong, Matthew Di Ferrante, Aaron Pazdera, Ryan Garner, Sami Jaghouar, Manveer Basra, Johannes Hagemann,
• Abstract要約: 大規模言語モデル(LLM)は非常に有能であることが証明されているが、現在の最高のモデルへのアクセスは、信頼の難しさをもたらす推論プロバイダに依存している。 本研究では,この問題に対処する検証可能な新しい手法であるTOPLOCを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Large language models (LLMs) have proven to be very capable, but access to the best models currently rely on inference providers which introduces trust challenges -- how can we be sure that the provider is using the model configuration they claim? We propose TOPLOC, a novel method for verifiable inference that addresses this problem. TOPLOC leverages a compact locality sensitive hashing mechanism for intermediate activations which can detect unauthorized modifications to models, prompts, or precision with 100% accuracy, achieving no false positives or negatives in our empirical evaluations. Our approach is robust across diverse hardware configurations, GPU types, and algebraic reorderings, which allows for validation speeds significantly faster than the original inference. By introducing a polynomial encoding scheme, TOPLOC minimizes memory overhead of the generated commits by $1000\times$, requiring only 258 bytes of storage per 32 new tokens compared to the 262KB requirement of storing the token embeddings directly for Llama-3.1-8B-Instruct. Our method empowers users to verify LLM inference computations efficiently, fostering greater trust and transparency in open ecosystems and lays a foundation for decentralized and verifiable AI services.
• Abstract（参考訳）: 大規模言語モデル(LLM)は非常に有能であることが証明されていますが、現在の最高のモデルへのアクセスは、信頼の問題を引き起こす推論プロバイダに依存しています。 本研究では,この問題に対処する検証可能な新しい手法であるTOPLOCを提案する。 TOPLOCは、コンパクトな局所性感度ハッシング機構を利用して、モデル、プロンプト、または精度を100%精度で検出し、経験的評価において偽陽性や否定を達成できる。 我々のアプローチは、様々なハードウェア構成、GPUタイプ、代数的リオーダーにまたがって堅牢であり、検証が元の推論よりもはるかに高速になる。 多項式符号化方式を導入することで、TOPLOCは生成されたコミットのメモリオーバーヘッドを$1,000\times$で最小化し、Llama-3.1-8B-Instructのトークン埋め込みを直接保存する262KBの要件と比較して、32のトークン毎に258バイトのストレージを必要とする。 提案手法は,LLM推論計算を効率よく検証し,オープンなエコシステムにおける信頼性と透明性を高め,分散的で検証可能なAIサービスの基盤を構築する。

関連論文リスト

• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Self-Supervised Inference of Agents in Trustless Environments [44.99833362998488]
  本稿では,エージェントがSwarmを形成し,高品質な応答を効果的に生成する手法を提案する。 これはデータ推論とランク付けが可能なエージェントを活用することで実現される。 我々のアプローチは、125ミリ秒未満の検証レイテンシに達する他の信頼できない推論戦略よりも、桁違いに高速であることを示す。
  論文  参考訳（メタデータ） (2024-09-12T20:32:07Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Data-Driven Distributionally Robust Safety Verification Using Barrier Certificates and Conditional Mean Embeddings [0.24578723416255752]
  問題を非現実的な仮定にシフトすることなく,スケーラブルな形式検証アルゴリズムを開発する。 問題を非現実的な仮定にシフトさせることなく,スケーラブルな形式検証アルゴリズムを開発するためには,バリア証明書の概念を用いる。 本稿では,2乗法最適化とガウス過程エンベロープを用いて効率よくプログラムを解く方法を示す。
  論文  参考訳（メタデータ） (2024-03-15T17:32:02Z)
• Enhancing Security in Federated Learning through Adaptive Consensus-Based Model Update Validation [2.28438857884398]
  本稿では,ラベルフリップ攻撃に対して,FL(Federated Learning)システムを構築するための高度なアプローチを提案する。 本稿では,適応的しきい値設定機構と統合されたコンセンサスに基づく検証プロセスを提案する。 以上の結果から,FLシステムのレジリエンスを高め,ラベルフリップ攻撃の顕著な緩和効果が示唆された。
  論文  参考訳（メタデータ） (2024-03-05T20:54:56Z)
• Fast Entropy-Based Methods of Word-Level Confidence Estimation for End-To-End Automatic Speech Recognition [86.21889574126878]
  本研究では,フレーム単位のエントロピー値を正規化して集約し,単位単位当たりの信頼度と単語毎の信頼度を求める方法を示す。 提案手法をLibriSpeechテストセット上で評価した結果,最大フレーム当たりの信頼度推定値の最大値から,信頼度推定値の最大値の最大値の最大値の最大値の最大値の2倍,4倍の精度を示した。
  論文  参考訳（メタデータ） (2022-12-16T20:27:40Z)
• Efficient ML Models for Practical Secure Inference [9.536081713410812]
  暗号化プリミティブは、モデルのプロバイダやモデルの重み付けにユーザの入力を明らかにすることなく、推論を可能にする。 セキュア推論はこの設定では原則として実現可能ですが、大規模に実践できるような既存のテクニックはありません。 安全な推論における主要なボトルネックは、ネットワークバックボーンの選択によって最適化できる大きな線形層であることを示す。
  論文  参考訳（メタデータ） (2022-08-26T09:42:21Z)
• CREPO: An Open Repository to Benchmark Credal Network Algorithms [78.79752265884109]
  クレダルネットワークは、確率質量関数の集合であるクレダルに基づく不正確な確率的グラフィカルモデルである。 CREMAと呼ばれるJavaライブラリが最近リリースされ、クレダルネットワークをモデル化し、処理し、クエリする。 我々は,これらのモデル上での推論タスクの正確な結果とともに,合成クレダルネットワークのオープンリポジトリであるcrrepoを提案する。
  論文  参考訳（メタデータ） (2021-05-10T07:31:59Z)
• Incremental Verification of Fixed-Point Implementations of Neural Networks [0.19573380763700707]
  インクリメンタル境界モデル検査(BMC)、満足度変調理論(SMT)、不変推論を用いた新しいシンボル検証フレームワークの開発と評価を行った。 提案手法は,異なる入力画像を考慮した21の試験事例の85.8%,カバー手法に関連する特性の100%を検証・生成することができた。
  論文  参考訳（メタデータ） (2020-12-21T10:03:44Z)
• FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
  フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。 クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
  論文  参考訳（メタデータ） (2020-05-22T23:07:42Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。