論文の概要: Evaluating Language Model Reasoning about Confidential Information

• arxiv url: http://arxiv.org/abs/2508.19980v1
• Date: Wed, 27 Aug 2025 15:39:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-28 19:07:41.686625
• Title: Evaluating Language Model Reasoning about Confidential Information
• Title（参考訳）: 信頼情報に基づく言語モデルの評価
• Authors: Dylan Sam, Alexander Robey, Andy Zou, Matt Fredrikson, J. Zico Kolter,
• Abstract要約: 言語モデルが文脈的堅牢性を示すか、文脈依存型安全仕様に準拠する能力を示すかを検討する。 我々は,ユーザ要求がいつ承認されたか,言語モデルが正しく判断できるかどうかを測定するベンチマーク(PasswordEval)を開発した。 現在のオープンソースとクローズドソースのモデルでは、一見単純な作業に苦労しています。
• 参考スコア（独自算出の注目度）: 95.64687778185703
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As language models are increasingly deployed as autonomous agents in high-stakes settings, ensuring that they reliably follow user-defined rules has become a critical safety concern. To this end, we study whether language models exhibit contextual robustness, or the capability to adhere to context-dependent safety specifications. For this analysis, we develop a benchmark (PasswordEval) that measures whether language models can correctly determine when a user request is authorized (i.e., with a correct password). We find that current open- and closed-source models struggle with this seemingly simple task, and that, perhaps surprisingly, reasoning capabilities do not generally improve performance. In fact, we find that reasoning traces frequently leak confidential information, which calls into question whether reasoning traces should be exposed to users in such applications. We also scale the difficulty of our evaluation along multiple axes: (i) by adding adversarial user pressure through various jailbreaking strategies, and (ii) through longer multi-turn conversations where password verification is more challenging. Overall, our results suggest that current frontier models are not well-suited to handling confidential information, and that reasoning capabilities may need to be trained in a different manner to make them safer for release in high-stakes settings.
• Abstract（参考訳）: 言語モデルは、ハイテイクな設定で自律的なエージェントとしてますますデプロイされているため、ユーザ定義ルールを確実に従わせることが、重要な安全上の懸念となっている。 この目的のために,言語モデルが文脈依存型安全仕様に準拠する能力を示すか否かを検討する。 そこで本研究では,ユーザ要求がいつ認証されたか(例えば,正しいパスワードで)を言語モデルが正確に判断できるかどうかを評価するベンチマーク(PasswordEval)を開発した。 現在のオープンソースとクローズドソースのモデルでは、一見単純な作業に苦労しています。 実際、推論トレースが秘密情報を頻繁にリークしていることが判明し、そのようなアプリケーションのユーザに対して、推論トレースが露出されるべきかどうかという疑問が投げかけられた。 また、複数の軸に沿って評価の難しさを拡大する。 (i)様々なジェイルブレイク戦略を通じて敵のユーザー圧力を加えることにより (ii) パスワード認証がより難しい複数ターン会話を通じて。 以上の結果から,現在のフロンティアモデルでは機密情報の扱いに適していないことが示唆された。

関連論文リスト

• Towards eliciting latent knowledge from LLMs with mechanistic interpretability [1.3286418032136589]
  この研究は、言語モデルから隠れた知識を引き出す現在の技術の可能性を探ることを目的としている。 Tabooモデル(Taboo model)は、特定の秘密語を明示的に記述せずに記述する言語モデルである。 我々は、ロジットレンズやスパースオートエンコーダなど、機械的解釈可能性技術に基づいて、主に自動戦略を開発する。
  論文  参考訳（メタデータ） (2025-05-20T13:36:37Z)
• Trustworthy Alignment of Retrieval-Augmented Large Language Models via Reinforcement Learning [84.94709351266557]
  検索強化に関して,言語モデルの信頼性に焦点をあてる。 検索強化言語モデルには,文脈的知識とパラメトリック的知識の両方に応じて応答を供給できる本質的な能力があると考えられる。 言語モデルと人間の嗜好の整合性に着想を得て,検索強化言語モデルを外部証拠にのみ依存する状況に整合させるための第一歩を踏み出した。
  論文  参考訳（メタデータ） (2024-10-22T09:25:21Z)
• Exploring the Privacy Protection Capabilities of Chinese Large Language Models [19.12726985060863]
  言語システムにおけるプライバシ評価のための3段階のプログレッシブフレームワークを考案した。 我々の主な目的は、大規模言語モデルの個人情報に対する感度を包括的に評価することである。 既存の中国の大規模言語モデルは、プライバシー保護の欠点を普遍的に示している。
  論文  参考訳（メタデータ） (2024-03-27T02:31:54Z)
• Fortifying Ethical Boundaries in AI: Advanced Strategies for Enhancing Security in Large Language Models [3.9490749767170636]
  大規模言語モデル(LLM)は、テキスト生成、翻訳、質問応答タスクに革命をもたらした。 広く使われているにもかかわらず、LLMはモデルに不適切な反応を強いられる場合の倫理的ジレンマのような課題を提示している。 本稿では,1)ユーザ入力からセンシティブな語彙をフィルタリングして非倫理的応答を防ぐ,2)"プライソンブレイク"シナリオにつながる可能性のあるインタラクションを停止するロールプレイングを検出する,4)マルチモデル大規模言語モデル(MLLM)のような様々なLLM派生語に拡張する,という課題に対処する。
  論文  参考訳（メタデータ） (2024-01-27T08:09:33Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• User-Centered Security in Natural Language Processing [0.7106986689736825]
  自然言語処理(NLP)におけるユーザ中心のセキュリティの枠組みの提案 NLP内の2つのセキュリティドメインに重点を置いている。
  論文  参考訳（メタデータ） (2023-01-10T22:34:19Z)
• LaMDA: Language Models for Dialog Applications [75.75051929981933]
  LaMDAは、ダイアログに特化したトランスフォーマーベースのニューラルネットワークモデルのファミリーである。 注釈付きデータで微調整し、モデルが外部の知識ソースを参照できるようにすると、大幅な改善がもたらされる。
  論文  参考訳（メタデータ） (2022-01-20T15:44:37Z)
• Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.02610674750345]
  AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。 テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
  論文  参考訳（メタデータ） (2021-11-04T12:59:55Z)
• Why Should I Trust a Model is Private? Using Shifts in Model Explanation for Evaluating Privacy-Preserving Emotion Recognition Model [35.016050900061]
  本稿では,モデルの有効性を評価するために解釈可能な手法を用いることに焦点をあてる。 プライバシーを守るための一般的な方法が、プライバシー保護の人間の認識とどのように一致しないかを示します。 評価者の傾きを評価し、特定のタスクのモデルを選択するためのクラウドソーシング実験を行います。
  論文  参考訳（メタデータ） (2021-04-18T09:56:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。