論文の概要: Towards Sensitivity-Aware Language Models

• arxiv url: http://arxiv.org/abs/2601.20901v1
• Date: Wed, 28 Jan 2026 10:56:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.364111
• Title: Towards Sensitivity-Aware Language Models
• Title（参考訳）: 感性を考慮した言語モデルに向けて
• Authors: Dren Fazlija, Iyiola E. Olatunji, Daniel Kudenko, Sandipan Sikdar,
• Abstract要約: 感性認知の概念を定式化し、理論的には差分プライバシーとの関係を確立する。 我々は、既存の4ビット量子化LDMをより感度の高いものにするための教師付き微調整レシピを開発した。 提案手法は,一般的な命令追従,数学的,常識的推論など,他のタスクにおけるモデルの性能も大きく維持する。
• 参考スコア（独自算出の注目度）: 6.777283089431371
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With LLMs increasingly deployed in corporate data management, it is crucial to ensure that these models do not leak sensitive information. In the context of corporate data management, the concept of sensitivity awareness has been introduced, enabling LLMs to adhere to predefined access rights rules. However, it remains unclear how sensitivity awareness relates to established notions of privacy, such as differential privacy (DP), thereby making it difficult to deploy meaningfully in real-world applications. In this work, we formalize the notion of sensitivity awareness and theoretically establish its connection to DP. Additionally, we develop a supervised fine-tuning recipe to make existing, four-bit quantized LLMs more sensitivity-aware. With a performance boost of up to 21.7%, the finetuned LLMs not only substantially improve over their baseline but also outperform other full-precision open-source and commercial models of similar size in achieving sensitivity awareness, demonstrating the effectiveness of our proposed approach. At the same time, our method also largely preserves the models' performance on other tasks, such as general instruction-following, mathematical, and common-sense reasoning.
• Abstract（参考訳）: LLMが企業データ管理にますます導入されるにつれて、これらのモデルが機密情報を漏らさないようにすることが不可欠である。 企業データ管理の文脈では、感度認識という概念が導入されており、LCMは事前に定義されたアクセス権規則に従うことができる。 しかし、差分プライバシー(DP)のようなプライバシーの確立された概念に感度認識がどのような関係があるのかははっきりしないため、現実のアプリケーションに意味のあるデプロイを困難にしている。 本研究では,感性認知の概念を定式化し,理論的にDPとの関係を確立する。 さらに,既存の4ビット量子化LDMをより感度の高いものにするために,教師付き微調整レシピを開発した。 性能が最大21.7%向上したことにより, 微調整LDMは, ベースラインよりも大幅に向上しただけでなく, 感性認識を達成し, 本提案手法の有効性を実証し, 類似サイズのオープンソース, 商用モデルよりも優れていた。 同時に,本手法は,一般的な命令追従,数学的推論,常識推論など,他のタスクにおけるモデルの性能をほぼ維持する。

関連論文リスト

• Are We Evaluating the Edit Locality of LLM Model Editing Properly? [68.441768731381]
  この目的のために既存の特異性評価プロトコルは不十分であることがわかった。 既存の特異度指標は特異度正規化器の強度と弱い相関関係にある。 また、現在のメトリクスには十分な感度が欠けており、異なるメソッドの特異性性能の区別に効果がないこともわかりました。
  論文  参考訳（メタデータ） (2026-01-24T07:07:21Z)
• Reasoning with Confidence: Efficient Verification of LLM Reasoning Steps via Uncertainty Heads [104.9566359759396]
  データ駆動の不確実性スコアに基づくステップレベルの推論検証の軽量な代替案を提案する。 本研究は, LLMの内部状態が不確実性を符号化し, 信頼性の高い検証信号として機能することが示唆された。
  論文  参考訳（メタデータ） (2025-11-09T03:38:29Z)
• Continuously Steering LLMs Sensitivity to Contextual Knowledge with Proxy Models [33.022457807599075]
  CSKS(Continuously Steering Knowledge Sensitivity)は、大規模言語モデルの文脈的知識に対する感受性を、軽量で継続的に評価するフレームワークである。 本研究では,LLMの文脈的知識に対する感度を連続的かつ高精度に制御し,感度の向上と感度の低減を実現していることを示す。
  論文  参考訳（メタデータ） (2025-08-27T09:30:24Z)
• ACCESS DENIED INC: The First Benchmark Environment for Sensitivity Awareness [2.5967788365637103]
  大規模言語モデル(LLM)は、様々な文書フォーマットからテキストを処理する能力のため、企業データ管理にとってますます価値が増している。 この研究は、敏感な言語モデルの基礎を確立し、企業環境におけるプライバシ中心のAIシステムを強化するための洞察を提供する。
  論文  参考訳（メタデータ） (2025-06-01T11:24:23Z)
• Improving Recommendation Fairness without Sensitive Attributes Using Multi-Persona LLMs [21.381646091763272]
  センシティブな属性にアクセスすることなく、リコメンデーションフェアネスを改善することを目指している。 LLMFOSA(Out Sensitive Attributes)を用いたフェアレコメンデーションのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-26T03:52:41Z)
• Your Language Model May Think Too Rigidly: Achieving Reasoning Consistency with Symmetry-Enhanced Training [66.48331530995786]
  我々は、文脈から有用な情報を抽出する能力を向上させるデータ中心のアプローチであるsyMmetry-ENhanceD (MEND) Data Augmentationを提案する。 推論連鎖の増大を強調する既存の手法とは異なり,本手法は知識抽出段階におけるモデルロバスト性を向上させる。 論理的および算術的推論タスクの実験は、MENDが様々なクエリのバリエーションで推論性能を向上させることを示している。
  論文  参考訳（メタデータ） (2025-02-25T03:03:35Z)
• A Soft Sensor Method with Uncertainty-Awareness and Self-Explanation Based on Large Language Models Enhanced by Domain Knowledge Retrieval [17.605817344542345]
  Few-shot Uncertainty-aware and Self-Explaining Soft Sensor (LLM-FUESS) というフレームワークを提案する。 LLM-FUESSには、ゼロショット補助可変セレクタ(LLM-ZAVS)と不確実性認識Few-shot Soft Sensor(LLM-UFSS)が含まれている。 提案手法は,最先端の予測性能,強靭性,柔軟性を実現し,従来の手法のトレーニング不安定性を効果的に軽減する。
  論文  参考訳（メタデータ） (2025-01-06T11:43:29Z)
• Evaluating Cultural and Social Awareness of LLM Web Agents [113.49968423990616]
  CASAは,大規模言語モデルの文化的・社会的規範に対する感受性を評価するためのベンチマークである。 提案手法は,標準に違反するユーザクエリや観察を検知し,適切に応答するLLMエージェントの能力を評価する。 実験により、現在のLLMは非エージェント環境で大幅に性能が向上していることが示された。
  論文  参考訳（メタデータ） (2024-10-30T17:35:44Z)
• Model-based Large Language Model Customization as Service [45.92528738079333]
  OpenAIやGoogleといったプロバイダによる大規模言語モデル(LLM)サービスは、一般的なタスクでは優れているが、ドメイン固有のアプリケーションではパフォーマンスが劣ることが多い。 Llamdexは、LLMのカスタマイズをサービスとして促進する新しいフレームワークで、クライアントはデータではなく、トレーニング済みのドメイン固有モデルをアップロードする。 実験によると、Llamdexは、同じプライバシー制約の下で、最先端のプライベートデータ合成メソッドに対して、ドメイン固有の精度を最大26%向上する。
  論文  参考訳（メタデータ） (2024-10-14T13:18:20Z)
• Self-Alignment for Factuality: Mitigating Hallucinations in LLMs via Self-Evaluation [71.91287418249688]
  大規模言語モデル(LLM)は、たとえ関連する知識を持っていたとしても、事実的不正確さに悩まされることが多い。 我々は,LLMの自己評価能力を活用し,現実性に向けてモデルを操る訓練信号を提供する。 提案手法は,Llamaファミリーモデルに対して,3つの重要な知識集約タスクにおいて,現実的精度を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-02-14T15:52:42Z)
• On the Impact of Multi-dimensional Local Differential Privacy on Fairness [5.237044436478256]
  偏差プライバシー(LDP)が不公平性に与える影響について検討した。 特に、多次元 LDP は格差を減らすための効率的なアプローチである。 本研究は,実践者の効果的なプライバシ保護プラクティスの実践を指導するための勧告の形で要約した。
  論文  参考訳（メタデータ） (2023-12-07T16:17:34Z)
• Balancing Robustness and Sensitivity using Feature Contrastive Learning [95.86909855412601]
  堅牢性を促進する方法は、希少なパターンや表現不足パターンに対するモデルの感受性を損なう可能性がある。 本稿では,より高次文脈的有用性を持つ機能に対して,モデルにより敏感な特徴を与える機能コントラスト学習(FCL)を提案する。
  論文  参考訳（メタデータ） (2021-05-19T20:53:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。