論文の概要: Disentangling Language Effects on Tool Admission and Post-Retrieval Safety
- arxiv url: http://arxiv.org/abs/2610.23093v1
- Date: Fri, 16 Oct 2026 08:05:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.823297
- Title: Disentangling Language Effects on Tool Admission and Post-Retrieval Safety
- Title(参考訳): ツールの許可と検索後の安全に対する言語の影響
- Abstract要約: LLMエージェントは言語間の検索ツールの利用が増えているが、その安全性評価は英語中心のままである。
言語がツールの受け入れ、検索後の世代、あるいはその両方に影響を及ぼすかどうかは不明だ。
言語間処理(SLIP)による安全損失の同定
非英語の有害な要求は、平均ツールの入院率を46.9%から67.4%に増加させ、全てのモデルに肯定的な平均変化をもたらした。
このパターンは、この設定でテストされた4つのモデルすべてにわたって、自律的な検索設定で持続する。
- 参考スコア(独自算出の注目度): 2.905751301655124
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM agents increasingly use retrieval tools across languages, yet their safety evaluation remains English-centric. It remains unclear whether language affects tool admission, post-retrieval generation, or both. We independently vary request, retrieved-page, and required response languages in a controlled URL-retrieval setting across ten models and seven languages. We identify Safety Loss through Interlingual Processing (SLIP). Non-English harmful requests increase mean tool admission from 46.9% to 67.4%, with a positive mean change in every model. This pattern also persists in an autonomous retrieval setup across all four models tested in this setting. Requiring answers in the page language increases pooled harmfulness on matched tool calls from 50.3% to 57.4% across four closed-weight models, mainly in Chinese and Hindi. Translating pages alone produces no consistent harm increase in eight models with comparable inference settings. Automated audits show that a non-harmful response may be a genuine safety refusal, a deflection citing language difficulties, or an unusable answer. Harmfulness labels alone cannot distinguish these outcomes. Multilingual safety evaluations should therefore measure tool admission and response harmfulness separately and distinguish refusal from capability failure.
- Abstract(参考訳): LLMエージェントは言語間の検索ツールの利用が増えているが、その安全性評価は英語中心のままである。
言語がツールの受け入れ、検索後の世代、あるいはその両方に影響を及ぼすかどうかは不明だ。
10のモデルと7つの言語にまたがる制御されたURL検索設定において、リクエスト、検索ページ、および必要な応答言語を独立して変更する。
言語間処理(SLIP)による安全損失を同定する。
非英語の有害な要求は、平均ツールの入院率を46.9%から67.4%に増加させ、全てのモデルに肯定的な平均変化をもたらした。
このパターンは、この設定でテストされた4つのモデルすべてにわたって、自律的な検索設定で持続する。
ページ言語での回答の要求は、主に中国語とヒンディー語を含む4つのクローズドウェイトモデルにおいて、マッチしたツールコールに対するプールド有害度を50.3%から57.4%に向上させる。
ページの翻訳だけでは、8つのモデルで同等の推論設定で一貫した害は生じない。
自動監査では、非有害な応答は、真の安全性の拒絶、言語障害を引用する偏向、あるいは使用不能な回答である可能性がある。
有害ラベルだけではこれらの成果を区別できない。
したがって、多言語安全性評価は、ツールの挿入と応答の有害性を別々に測定し、機能障害と拒絶を区別すべきである。
関連論文リスト
- BabelSteering: Multilingual Safety Alignment via English Steering Vectors [11.019536451878162]
我々は、英語のような高リソース言語から学んだ安全信号が、多言語安全性を向上させることができるかどうかを検討する。
本稿では,軽量な推論時間介入として機能するアクティベーションステアリング手法であるBabelSteeringを提案する。
結果から,BabelSteeringは言語間の有害な要求の拒絶を増大させることがわかった。
論文 参考訳(メタデータ) (2026-08-17T13:40:16Z) - Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents [22.30468215041597]
ツール使用エージェントは別の言語で同じタスクを与えられるが、それでも同じステップを踏むだろうか?
アクションポリシーを,8つのモデル,6つの並列ベンチマーク,41の言語で測定対象とする。
論文 参考訳(メタデータ) (2026-08-11T16:18:34Z) - Lower-Resource, Higher Scores: Language Bias in LLM Evaluators [27.959960538188753]
意味論的に同一の命令応答対を23言語で実験する。
その結果、多言語評価器は異なる評価言語に大きく異なるスコアを割り当てていることがわかった。
論文 参考訳(メタデータ) (2026-07-16T01:53:09Z) - Same Model, Different Weakness: How Language and Modality Reshape the Jailbreak Attack Surface in Frontier MLLMs [0.0]
米国英語(en-US)とメキシコスペイン語(es-MX)のジェイルブレイク脆弱性を比較検討した最初の体系的言語横断型マルチモーダル型レッドチーム研究について述べる。
私たちの中心的な発見は、言語が脆弱性を均一にスケールしないことです。
これは、言語的および視覚的なアライメント障害が、異なるメカニズムを通して機能し、切り換え言語がその分離を公開するのに十分であることを示している。
論文 参考訳(メタデータ) (2026-05-22T02:12:45Z) - Evaluating & Reducing Deceptive Dialogue From Language Models with Multi-turn RL [64.3268313484078]
大規模言語モデル(LLM)は、顧客サポート、教育、医療など、世界中の何百万もの人々と対話する。
故意であれ不注意であれ、偽りのアウトプットを生産する能力は、重大な安全上の懸念を生じさせる。
本研究では, LLM が会話中の偽装にどの程度関与しているかを考察し, 偽装を定量化する信念の誤調整尺度を提案する。
論文 参考訳(メタデータ) (2025-10-16T05:29:36Z) - Refusal Direction is Universal Across Safety-Aligned Languages [66.64709923081745]
本稿では,PolyRefuseを用いた14言語にわたる大規模言語モデル(LLM)の拒絶動作について検討する。
英語から抽出されたベクトルは、ほぼ完全な効果で他の言語での拒絶を回避できる。
この伝達性は、埋め込み空間における言語間の拒否ベクトルの並列性に起因し、言語間ジェイルブレイクの背後にあるメカニズムを同定する。
論文 参考訳(メタデータ) (2025-05-22T21:54:46Z) - Emulated Disalignment: Safety Alignment for Large Language Models May Backfire! [65.06450319194454]
大きな言語モデル(LLM)は、人間との安全な会話を確保するために安全アライメントを行う。
本稿では,安全アライメントの反転が可能なトレーニングフリーアタック手法を提案する。
本手法をエミュレートした脱アライメント (ED) と呼ぶのは, このコントラスト分布からのサンプリングは, 安全報酬を最小限に抑えるため, 微調整の結果を確実にエミュレートするからである。
論文 参考訳(メタデータ) (2024-02-19T18:16:51Z) - All Languages Matter: On the Multilingual Safety of Large Language Models [96.47607891042523]
我々は、大規模言語モデル(LLM)のための最初の多言語安全ベンチマークを構築した。
XSafetyは、複数の言語ファミリーにまたがる10言語にわたる14種類の一般的な安全問題をカバーしている。
本稿では,ChatGPTの多言語安全性向上のための簡易かつ効果的なプロンプト手法を提案する。
論文 参考訳(メタデータ) (2023-10-02T05:23:34Z) - Unlikelihood Tuning on Negative Samples Amazingly Improves Zero-Shot
Translation [79.96416609433724]
Zero-shot Translation (ZST)は、トレーニングデータにおいて、目に見えない言語ペア間の翻訳を目的としている。
推論中にゼロショット言語マッピングをガイドする一般的な方法は、ソースとターゲット言語IDを意図的に挿入することである。
近年の研究では、言語IDが時折ZSTタスクのナビゲートに失敗し、ターゲット外問題に悩まされることが示されている。
論文 参考訳(メタデータ) (2023-09-28T17:02:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。