論文の概要: Traveling Salesman-Based Token Ordering Improves Stability in Homomorphically Encrypted Language Models

• arxiv url: http://arxiv.org/abs/2510.12343v1
• Date: Tue, 14 Oct 2025 09:56:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-15 19:02:32.274206
• Title: Traveling Salesman-Based Token Ordering Improves Stability in Homomorphically Encrypted Language Models
• Title（参考訳）: トラベルセールスマンによる同型暗号化言語モデルの安定性向上
• Authors: Donghwan Rho, Sieun Seo, Hyewon Sung, Chohong Min, Ernest K. Ryu,
• Abstract要約: ホモモルフィック暗号化(HE)は、暗号化されたデータ上で直接計算を行うことによって、原則化されたソリューションを提供する。 テキスト生成の課題、特に次世代の予測は、あまり注目されていない。 暗号化されたテキスト生成の難しさに対処するTSPベースのトークン再注文戦略を提案する。
• 参考スコア（独自算出の注目度）: 16.73757071734074
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As users increasingly interact with large language models (LLMs) using private information, secure and encrypted communication becomes essential. Homomorphic encryption (HE) provides a principled solution by enabling computation directly on encrypted data. Although prior work has explored aspects of running LLMs under HE, the challenge of text generation, particularly next-token prediction, has received limited attention and remains a key obstacle to practical encrypted interaction. In this work, we propose a TSP-based token reordering strategy to address the difficulties of encrypted text generation, together with a post-processing step that further reduces approximation error. Theoretical analysis and experimental results demonstrate that our method prevents collapse, improves coherence in generated text, and preserves data privacy throughout. Overall, our contributions advance the feasibility of practical and privacy-preserving LLM inference.
• Abstract（参考訳）: ユーザがプライベート情報を使って大きな言語モデル(LLM)と対話するようになると、セキュアで暗号化されたコミュニケーションが不可欠になる。 ホモモルフィック暗号化(HE)は、暗号化されたデータ上で直接計算を行うことによって、原則化されたソリューションを提供する。 従来の研究は、HEの下でのLLMの実行の側面を探求してきたが、テキスト生成の課題、特に次世代の予測は、あまり注目されず、実用的な暗号化インタラクションの鍵となる障害となっている。 本研究では,暗号化されたテキスト生成の難しさに対処するTSPベースのトークン並べ替え戦略と,近似誤差をさらに低減する後処理ステップを提案する。 理論的解析と実験結果から,本手法は崩壊を防止し,生成したテキストのコヒーレンスを改善し,データプライバシを全体として保持することを示す。 全体として、我々の貢献は、実用的かつプライバシ保護のLLM推論の実現可能性を高めるものである。

関連論文リスト

• Privacy-Aware In-Context Learning for Large Language Models [12.605629953620495]
  大型言語モデル(LLM)は、機密情報の潜在的な暴露によるプライバシー上の懸念を提起する。 プライバシー保証の強い高品質な合成テキストを生成するための,新たなプライベートな予測フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-17T01:50:32Z)
• The Double-edged Sword of LLM-based Data Reconstruction: Understanding and Mitigating Contextual Vulnerability in Word-level Differential Privacy Text Sanitization [53.51921540246166]
  我々は,言語大モデル (LLM) がDP対応テキストの文脈的脆弱性を活用可能であることを示す。 LLM再建の二重刃剣効果がプライバシーと実用性に与える影響を実験的に明らかにした。 本稿では,データ再構成を後処理のステップとして使用するための推奨事項を提案する。
  論文  参考訳（メタデータ） (2025-08-26T12:22:45Z)
• A Privacy-Centric Approach: Scalable and Secure Federated Learning Enabled by Hybrid Homomorphic Encryption [2.611778281107039]
  Federated Learning(FL)は、生データを共有せずに協調的なモデルトレーニングを可能にするため、プライバシに敏感なドメインに対して有望なアプローチである。 その可能性にもかかわらず、FLは特に通信オーバーヘッドとデータプライバシの観点から、重大な課題に直面している。 本研究では、対称暗号とHEを組み合わせた暗号プロトコルであるHybrid Homomorphic Encryption(HHE)をFLと効果的に統合し、通信とプライバシーの両方の課題に対処する方法について検討する。
  論文  参考訳（メタデータ） (2025-07-20T07:46:53Z)
• Encryption-Friendly LLM Architecture [11.386436468650016]
  ホモモルフィック暗号(homomorphic encryption, HE)は、暗号状態における算術演算をサポートする暗号プロトコルである。 本稿では,パーソナライズされた(プライベートな)微調整による推論を重視した改良型HE-Friendly Transformerアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-10-03T13:48:35Z)
• InferDPT: Privacy-Preserving Inference for Black-box Large Language Model [66.07752875835506]
  InferDPTは、ブラックボックスLSMのプライバシ保護推論のための最初の実用的なフレームワークである。 RANTEXTはInferDPTの摂動モジュールに組み込まれた新しい微分プライバシー機構である。
  論文  参考訳（メタデータ） (2023-10-18T18:00:11Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Reinforcement Learning on Encrypted Data [58.39270571778521]
  本稿では,DQNエージェントが,離散的かつ連続的な状態空間を持つ環境でどのように動作するかを予備的,実験的に検討する。 その結果,非決定論的暗号が存在する場合でも,エージェントは依然として小さな状態空間で学習することができるが,より複雑な環境では性能が低下することがわかった。
  論文  参考訳（メタデータ） (2021-09-16T21:59:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。