Fugu-MT 論文翻訳(概要): Are LLMs Safe Beyond Text: Do Emojis Expose Gaps in Safety Evaluation

論文の概要: Are LLMs Safe Beyond Text: Do Emojis Expose Gaps in Safety Evaluation

arxiv url: http://arxiv.org/abs/2608.18164v1
Date: Sat, 15 Aug 2026 13:34:05 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-20 20:13:55.16458
Title: Are LLMs Safe Beyond Text: Do Emojis Expose Gaps in Safety Evaluation
Title（参考訳）: LLMはテキストを超えて安全か? エモジは安全評価に欠かせない
Abstract要約: 大規模言語モデルの安全性評価は、主にテキストベースの敵対的プロンプトに依存している。本研究は、このギャップのテストケースとして絵文字拡張プロンプトを検証し、4つのオープンソースLCM間で50のプロンプトを評価する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Safety evaluations of large language models (LLMs) predominantly rely on text-based adversarial prompts, potentially overlooking vulnerabilities arising from alternative input representations. This work examines emoji-augmented prompts as a test case for this gap, evaluating 50 prompts across four open-source LLMs (Mistral 7B, Qwen 2 7B, Gemma 2 9B, Llama 3 8B). Results show substantial variation in robustness: Gemma 2 9B and Mistral 7B exhibit non-zero success rates (10%), Llama 3 8B 6%, while Qwen 2 7B shows complete resistance (0% success rate). A chi-square test ($χ^2 = 32.94, p < 0.001$) confirms significant differences in outcome distributions. These findings indicate that robustness is sensitive to input representation, and that evaluations restricted to standard text prompts may underrepresent model vulnerabilities.
Abstract（参考訳）: 大規模言語モデル(LLM)の安全性評価は、主にテキストベースの敵対的プロンプトに依存しており、代替入力表現から生じる脆弱性を見落としている可能性がある。本研究は,4つのオープンソースLCM(Mistral 7B, Qwen 2 7B, Gemma 2 9B, Llama 3 8B)にまたがる50のプロンプトを評価する。 Gemma 2 9BとMistral 7Bは非ゼロ成功率(10%)、Llama 3 8B 6%、Qwen 2 7Bは完全抵抗率(0%)である。チ二乗検定(シュ^2 = 32.94, p < 0.001$)では、結果分布に有意な差が認められる。これらの結果は、ロバスト性は入力表現に敏感であり、標準テキストプロンプトに制限された評価はモデルの脆弱性を過小評価する可能性があることを示している。

関連論文リスト

Defending Jailbreak Attacks on Large Language Models via Manifold Trajectory Kinetics [50.36375380196006]
ジェイルブレイクプロンプトは、大規模な言語モデルにおけるアライメントガードレールをバイパスすることができる。先行検出アプローチは固定距離空間に大きく依存する。この仮定は,意図によって無視されるが,安全関連キーワードを含む疑似悪質なプロンプトの下で破られることを示す。本稿では, LLM を入力を出力に変換する運動系として扱う Manifold Trajectory Kinetics (MTK) を提案する。
論文参考訳（メタデータ） (2026-06-05T14:49:26Z)
Below-Chance Blindness: Prompted Underperformance in Small LLMs Produces Positional Bias Rather than Answer Avoidance [0.0]
我々は, 強制選択項目上でのBCBによるサンドバッグの識別が, 症状妥当性試験ロジックで可能かどうかを検証した。 12個のモデルドメインの細胞のうち0個がサンドバッグ指導下において有意に低い性能を示した。本研究では, 位置分布シフトは, このモデルスケールでのインジェクションアンダーパフォーマンスの検出において, 精度以下よりも効果的な行動シグネチャである可能性が示唆された。
論文参考訳（メタデータ） (2026-04-28T05:57:23Z)
Robust Multimodal Safety via Conditional Decoding [52.92816441364308]
マルチモーダル大規模言語モデル(MLLM)は、有害なクエリが相互モーダル相互作用を悪用した場合、しばしば安全性の低下を経験する。本稿では,MLLMの内部表現を利用して応答生成前の二項安全トークンを予測する,シンプルな条件付きデコード戦略であるCASAを提案する。
論文参考訳（メタデータ） (2026-03-31T23:19:50Z)
Can Adversarial Code Comments Fool AI Security Reviewers -- Large-Scale Empirical Study of Comment-Based Attacks and Defenses Against LLM Code Analysis [0.0]
敵対的なコメントは、検出精度に小さな、統計的に重要でない効果をもたらす。複雑な敵戦略は単純な操作的コメントに勝るものではない。コメントストリッピングは、有用なコンテキストを削除することで、より弱いモデルの検出を減らす。
論文参考訳（メタデータ） (2026-02-18T00:34:17Z)
Emoji-Based Jailbreaking of Large Language Models [0.0]
大規模言語モデル(LLM)は、現代のAIアプリケーションに不可欠なものであるが、それらの安全アライメント機構は、敵のプロンプトエンジニアリングによってバイパスすることができる。本研究では,非倫理的な有害なアウトプットを引き起こすために,絵文字配列をテキストのプロンプトに埋め込んだ絵文字ベースのジェイルブレイクについて検討した。
論文参考訳（メタデータ） (2026-01-02T10:49:06Z)
CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
論文参考訳（メタデータ） (2025-10-02T02:14:33Z)
Battling Misinformation: An Empirical Study on Adversarial Factuality in Open-Source Large Language Models [3.1406146587437904]
相手の事実性とは、相手が入力のプロンプトに誤報を意図的に挿入することを指す。敵対的信頼の3つの階層は、強い自信、適度な自信、限られた信頼の3つと考えられている。実験の結果、LLaMA 3.1 (8B) は敵の入力を検出できるが、Falcon (7B) は比較的低い性能を示した。
論文参考訳（メタデータ） (2025-03-12T01:53:49Z)
SafeDialBench: A Fine-Grained Safety Benchmark for Large Language Models in Multi-Turn Dialogues with Diverse Jailbreak Attacks [90.41592442792181]
大規模言語モデル(LLM)の安全性を評価するための詳細なベンチマーク SafeDialBench を提案する。具体的には,6つの安全次元を考慮した2階層型階層型安全分類法を設計し,22の対話シナリオの下で中国語と英語の双方で4000以上のマルチターン対話を生成する。特に,LLMの革新的なアセスメントフレームワークを構築し,安全でない情報を検出し,処理し,ジェイルブレイク攻撃時の一貫性を維持する。
論文参考訳（メタデータ） (2025-02-16T12:08:08Z)
Exploring Response Uncertainty in MLLMs: An Empirical Evaluation under Misleading Scenarios [49.53589774730807]
マルチモーダル大規模言語モデル(MLLM)は近年,視覚的質問応答から映像理解に至るまでのタスクにおいて,最先端のパフォーマンスを実現している。 12件のオープンソースMLLMが, 単一の偽装キューを受けた65%の症例において, 既往の正解を覆した。
論文参考訳（メタデータ） (2024-11-05T01:11:28Z)
Uncertainty is Fragile: Manipulating Uncertainty in Large Language Models [79.76293901420146]
大規模言語モデル(LLM)は、出力の信頼性が不可欠である様々な高い領域で採用されている。本研究では,不確実性推定の脆弱性を調査し,攻撃の可能性を探る。攻撃者がLSMにバックドアを埋め込むことができ、入力中の特定のトリガーによって起動されると、最終的な出力に影響を与えることなくモデルの不確実性を操作できることを示す。
論文参考訳（メタデータ） (2024-07-15T23:41:11Z)
OR-Bench: An Over-Refusal Benchmark for Large Language Models [65.34666117785179]
大きな言語モデル(LLM)は、悪意のある出力を防ぐために慎重に安全アライメントを必要とする。本研究では,大規模なオーバーリファレンスデータセットの自動生成手法を提案する。 OR-Benchは,最初の大規模オーバーリファレンスベンチマークである。
論文参考訳（メタデータ） (2024-05-31T15:44:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。