論文の概要: Can Open Be Too Open? On the Security and Trustworthiness of Fully Transparent LLMs

• arxiv url: http://arxiv.org/abs/2610.35199v1
• Date: Mon, 26 Oct 2026 10:52:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.833579
• Title: Can Open Be Too Open? On the Security and Trustworthiness of Fully Transparent LLMs
• Title（参考訳）: オープンすぎる? 透明なLLMのセキュリティと信頼性について
• Abstract要約: LLMには、オープンウェイト、オープンデータ、/またはオープンパイプラインという、さまざまなレベルの透明性があります。 透明性の向上は, LLMのセキュリティと信頼性を本質的に向上させるものだ,と我々は主張する。 LLMが完全に透明で信頼されているとしても、このオープンさは敵に有利である。
• 参考スコア（独自算出の注目度）: 27.46882148261849
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There are different levels of transparency for LLMs: open weights, open data, and/or open pipeline. Recently, more interest has emerged in fully transparent LLMs, i.e., LLMs with fully open weights, data, and training pipeline. Drawing analogies to other fields such as software security, it is often believed that increasing transparency inherently increases the security and trustworthiness of the LLM. However, we argue that such claims need to be critically re-evaluated in the context of LLMs. In this paper, we analyze the impact of transparency on LLM security and trustworthiness by reviewing the relevant literature. Our core findings are that, due to the limited reproducibility of LLM pipelines, in practice, users cannot verify the correspondence between open weights and the associated open data and pipeline. Thus, in order to trust a model, users still need to trust that developers acted honestly, reducing the benefits over models that provide less "transparency". Moreover, we find that even when LLMs are fully transparent and trusted, this openness can favor adversaries. Open weights in particular, but also open data and pipelines, can increase the success rate of attacks. Although the same mechanisms can be used to improve the model and protect it against attacks, the current lack of robust lightweight mechanisms to patch LLM vulnerabilities limits the benefits of openness at this time. We note that our analysis is based on current LLM capabilities and analysis tools, and that future developments may require a re-evaluation of these points.
• Abstract（参考訳）: LLMには、オープンウェイト、オープンデータ、/またはオープンパイプラインという、さまざまなレベルの透明性があります。 近年、完全に透明なLLM、すなわち、完全にオープンな重みを持つLLM、データ、およびトレーニングパイプラインへの関心が高まっている。 ソフトウェアセキュリティなどの他の分野と類似しているため、透明性の向上はLLMのセキュリティと信頼性を本質的に向上させると信じられていることが多い。 しかし、このような主張はLLMの文脈で批判的に再評価する必要があると論じる。 本稿では,LLMの安全性と信頼性に及ぼす透明性の影響を,関連文献のレビューにより分析する。 我々の中核的な発見は、LLMパイプラインの再現性が限られているため、実際には、ユーザーはオープンウェイトと関連するオープンデータとパイプラインの対応を検証できないということである。 したがって、モデルを信頼するためには、開発者は誠実に振る舞うことを信頼する必要がある。 さらに,LLMが完全に透明で信頼されている場合でも,この開放性は敵に有利であることがわかった。 特にオープンウェイトだけでなく、オープンデータやパイプラインも、攻撃の成功率を高める可能性がある。 同じメカニズムがモデルを改善し、攻撃から保護するために使用できるが、LLM脆弱性にパッチを当てる堅牢で軽量なメカニズムが現在不足しているため、現時点ではオープンさのメリットが制限されている。 我々の分析は、現在のLLM機能と分析ツールに基づいており、今後の発展にはこれらの点の再評価が必要であることに留意する。

関連論文リスト

• LLM Embedding-based Attribution (LEA): Quantifying Source Contributions to Generative Model's Response for Vulnerability Analysis [1.3543506826034255]
  大規模言語モデル(LLM)はサイバーセキュリティの脅威分析にますます利用されているが、セキュリティに敏感な環境への展開は信頼と安全性の懸念を引き起こす。 本研究は、脆弱性攻撃分析のために生成された応答を分析するために、埋め込み属性(LEA)を提案する。 以上の結果から,LEAは大規模モデルにおいて95%以上の精度で,非検索,汎用検索,有効検索シナリオの明確な区別を検出できることを示した。
  論文  参考訳（メタデータ） (2025-06-12T21:20:10Z)
• TrustLLM: Trustworthiness in Large Language Models [446.5640421311468]
  本稿では,大規模言語モデル(LLM)における信頼度に関する総合的研究であるTrustLLMを紹介する。 まず、8つの異なる次元にまたがる信頼性の高いLCMの原則を提案する。 これらの原則に基づいて、真理性、安全性、公正性、堅牢性、プライバシ、機械倫理を含む6つの次元にわたるベンチマークを確立します。
  論文  参考訳（メタデータ） (2024-01-10T22:07:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。