論文の概要: Towards Sensitivity-Aware Language Models

• arxiv url: http://arxiv.org/abs/2601.20901v1
• Date: Wed, 28 Jan 2026 10:56:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.364111
• Title: Towards Sensitivity-Aware Language Models
• Title（参考訳）: 感性を考慮した言語モデルに向けて
• Authors: Dren Fazlija, Iyiola E. Olatunji, Daniel Kudenko, Sandipan Sikdar,
• Abstract要約: 感性認知の概念を定式化し、理論的には差分プライバシーとの関係を確立する。 我々は、既存の4ビット量子化LDMをより感度の高いものにするための教師付き微調整レシピを開発した。 提案手法は,一般的な命令追従,数学的,常識的推論など,他のタスクにおけるモデルの性能も大きく維持する。
• 参考スコア（独自算出の注目度）: 6.777283089431371
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With LLMs increasingly deployed in corporate data management, it is crucial to ensure that these models do not leak sensitive information. In the context of corporate data management, the concept of sensitivity awareness has been introduced, enabling LLMs to adhere to predefined access rights rules. However, it remains unclear how sensitivity awareness relates to established notions of privacy, such as differential privacy (DP), thereby making it difficult to deploy meaningfully in real-world applications. In this work, we formalize the notion of sensitivity awareness and theoretically establish its connection to DP. Additionally, we develop a supervised fine-tuning recipe to make existing, four-bit quantized LLMs more sensitivity-aware. With a performance boost of up to 21.7%, the finetuned LLMs not only substantially improve over their baseline but also outperform other full-precision open-source and commercial models of similar size in achieving sensitivity awareness, demonstrating the effectiveness of our proposed approach. At the same time, our method also largely preserves the models' performance on other tasks, such as general instruction-following, mathematical, and common-sense reasoning.
• Abstract（参考訳）: LLMが企業データ管理にますます導入されるにつれて、これらのモデルが機密情報を漏らさないようにすることが不可欠である。 企業データ管理の文脈では、感度認識という概念が導入されており、LCMは事前に定義されたアクセス権規則に従うことができる。 しかし、差分プライバシー(DP)のようなプライバシーの確立された概念に感度認識がどのような関係があるのかははっきりしないため、現実のアプリケーションに意味のあるデプロイを困難にしている。 本研究では,感性認知の概念を定式化し,理論的にDPとの関係を確立する。 さらに,既存の4ビット量子化LDMをより感度の高いものにするために,教師付き微調整レシピを開発した。 性能が最大21.7%向上したことにより, 微調整LDMは, ベースラインよりも大幅に向上しただけでなく, 感性認識を達成し, 本提案手法の有効性を実証し, 類似サイズのオープンソース, 商用モデルよりも優れていた。 同時に,本手法は,一般的な命令追従,数学的推論,常識推論など,他のタスクにおけるモデルの性能をほぼ維持する。

関連論文リスト

• Are We Evaluating the Edit Locality of LLM Model Editing Properly? [68.441768731381]
  この目的のために既存の特異性評価プロトコルは不十分であることがわかった。 既存の特異度指標は特異度正規化器の強度と弱い相関関係にある。 また、現在のメトリクスには十分な感度が欠けており、異なるメソッドの特異性性能の区別に効果がないこともわかりました。
  論文  参考訳（メタデータ） (2026-01-24T07:07:21Z)
• Improving Recommendation Fairness without Sensitive Attributes Using Multi-Persona LLMs [21.381646091763272]
  センシティブな属性にアクセスすることなく、リコメンデーションフェアネスを改善することを目指している。 LLMFOSA(Out Sensitive Attributes)を用いたフェアレコメンデーションのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-26T03:52:41Z)
• A Soft Sensor Method with Uncertainty-Awareness and Self-Explanation Based on Large Language Models Enhanced by Domain Knowledge Retrieval [17.605817344542345]
  Few-shot Uncertainty-aware and Self-Explaining Soft Sensor (LLM-FUESS) というフレームワークを提案する。 LLM-FUESSには、ゼロショット補助可変セレクタ(LLM-ZAVS)と不確実性認識Few-shot Soft Sensor(LLM-UFSS)が含まれている。 提案手法は,最先端の予測性能,強靭性,柔軟性を実現し,従来の手法のトレーニング不安定性を効果的に軽減する。
  論文  参考訳（メタデータ） (2025-01-06T11:43:29Z)
• Evaluating Cultural and Social Awareness of LLM Web Agents [113.49968423990616]
  CASAは,大規模言語モデルの文化的・社会的規範に対する感受性を評価するためのベンチマークである。 提案手法は,標準に違反するユーザクエリや観察を検知し,適切に応答するLLMエージェントの能力を評価する。 実験により、現在のLLMは非エージェント環境で大幅に性能が向上していることが示された。
  論文  参考訳（メタデータ） (2024-10-30T17:35:44Z)
• Model-based Large Language Model Customization as Service [45.92528738079333]
  OpenAIやGoogleといったプロバイダによる大規模言語モデル(LLM)サービスは、一般的なタスクでは優れているが、ドメイン固有のアプリケーションではパフォーマンスが劣ることが多い。 Llamdexは、LLMのカスタマイズをサービスとして促進する新しいフレームワークで、クライアントはデータではなく、トレーニング済みのドメイン固有モデルをアップロードする。 実験によると、Llamdexは、同じプライバシー制約の下で、最先端のプライベートデータ合成メソッドに対して、ドメイン固有の精度を最大26%向上する。
  論文  参考訳（メタデータ） (2024-10-14T13:18:20Z)
• Self-Alignment for Factuality: Mitigating Hallucinations in LLMs via Self-Evaluation [71.91287418249688]
  大規模言語モデル(LLM)は、たとえ関連する知識を持っていたとしても、事実的不正確さに悩まされることが多い。 我々は,LLMの自己評価能力を活用し,現実性に向けてモデルを操る訓練信号を提供する。 提案手法は,Llamaファミリーモデルに対して,3つの重要な知識集約タスクにおいて,現実的精度を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-02-14T15:52:42Z)
• Balancing Robustness and Sensitivity using Feature Contrastive Learning [95.86909855412601]
  堅牢性を促進する方法は、希少なパターンや表現不足パターンに対するモデルの感受性を損なう可能性がある。 本稿では,より高次文脈的有用性を持つ機能に対して,モデルにより敏感な特徴を与える機能コントラスト学習(FCL)を提案する。
  論文  参考訳（メタデータ） (2021-05-19T20:53:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。