論文の概要: Lumen-bench: Cross-Lingual Safety Gaps and the Say-Do Problem in Tool-Calling Large Language Models

• arxiv url: http://arxiv.org/abs/2610.15134v1
• Date: Sat, 10 Oct 2026 19:19:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 02:28:48.575722
• Title: Lumen-bench: Cross-Lingual Safety Gaps and the Say-Do Problem in Tool-Calling Large Language Models
• Title（参考訳）: Lumen-bench:大規模言語モデルにおける言語間安全ギャップとSay-Do問題
• Abstract要約: 我々は30のモデルと5つの言語にまたがるツールコール倫理の行動ベンチマークであるLumen-benchを紹介した。 評価は194,400件である。 モデル内比較はヒンディー語とポルトガル語の英語よりも高い有害反応率を支持する。 プレミアムモデルは、安全性や能力を保証するものではないが、中央値の違反率を低くしている。
• 参考スコア（独自算出の注目度）: 4.563830993050022
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When a large language model refuses an unethical request, what does refusal mean? In conversation, refusal is bounded by what the model says; once the model is equipped with executable tools, what it does can diverge from what it says, a failure mode that English-only evaluations cannot fully reveal. We introduce Lumen-bench, a behavioral benchmark of tool-calling ethics spanning 30 models, five languages (Portuguese, English, Spanish, Mandarin Chinese, Hindi), 108 Portuguese-authored scenarios, six social-pressure conditions, two system prompts (ethical and neutral), and 21 generic tools. The evaluation comprises 194,400 trials. Judgments come from a reasoning-model judge (o4-mini), calibrated against one Portuguese-speaking author ($n=83$; harmful/non-harmful $κ=0.78$), compared with two other provider judges (Fleiss' $κ=0.78$, $n=607$), and complemented by retrospective sandbox replay. Four findings emerge. (i) Within-model comparisons support higher harmful-action rates in Hindi and Portuguese than English under the ethical prompt, and Hindi and Spanish under the neutral prompt, after multiple-testing correction. (ii) Premium models have lower median violation rates, although price does not guarantee safety or competence. (iii) Replacing the ethical system prompt with a neutral one raises pooled violation rates from 2.76\% to 13.64\%. (iv) In 8.57\% of substantive-call cases, refusal or ethical objection accompanies a harmful tool call: the judges consistently identify the say-do gap, although they differ in how many responses they assign to this category. Matched benign controls demonstrate legitimate task completion in 82.8\% of 3,300 trials. Code and reproduction scripts are available at https://github.com/TropicAI-Research/lumen.
• Abstract（参考訳）: 大規模な言語モデルが非倫理的な要求を拒否する場合、拒絶の意味は何でしょうか? モデルに実行可能なツールが備われば、そのモデルが何を言っているかから切り離すことができるが、英語のみの評価が完全には明らかにできない失敗モードである。 Lumen-benchは、30のモデル、5つの言語(ポルトガル語、英語、スペイン語、マンダリン中国語、ヒンディー語)、108のポルトガル語によるシナリオ、108の社会的プレッシャー、6つの社会的プレッシャー、2つのシステムプロンプト(倫理的および中立的)、21のジェネリックツールにまたがるツールコール倫理の行動ベンチマークである。 評価は194,400件である。 判断は、推論モデル審査員(o4-mini)がポルトガル語を話す1人の著者(n=83$; 有害で非有害な$κ=0.78$)と調整し、他の2人の提供者審査員(Fleiss' $κ=0.78$, $n=607$)と比較し、ふりかえりサンドボックスのリプレイで補完する。 4つの発見がある。 i) モデル内比較は、倫理的プロンプトの下でヒンディー語とポルトガル語が英語よりも高い有害行動率を支持しており、ヒンディー語とスペイン語は、複数検定の修正後に中立的なプロンプトに従っている。 (二 プレミアムモデルは、安全性又は能力を保証するものではないが、中央値の侵害率を低くする。) 三 中立な制度による倫理制度の推進により、プールされた違反率を2.76\%から13.64\%に引き上げる。 (四)実質呼び出し事件の八.57\%において、拒絶又は倫理的異議は有害なツールコールを伴い、裁判官は、このカテゴリーに割り当てる応答数が異なるにもかかわらず、常に、サクドギャップを識別する。 マッチした良性制御は、3300回の試験の82.8\%で正常なタスク完了を示す。 コードと再現スクリプトはhttps://github.com/TropicAI-Research/lumen.comで入手できる。

関連論文リスト

• How Narrative Wrapping Affects LLM Refusal: A Cross-Language Benchmark and Defense [18.171553832439745]
  安全に整合した言語モデルは、直接記述された有害な要求を拒否することが多いが、ロールプレイや物語ラッパー内で同じ要求に答える。 Qwen3-1.7B攻撃の成功率は89.4%、現代中国語では93.0%、古典中国語では95.7%である。 提案するAXISは、選好最適化と、有害な要求表現を拒絶方向と整合させる回転目標を組み合わせたものである。
  論文  参考訳（メタデータ） (2026-10-07T23:40:25Z)
• Cross-Lingual Legal QA for Vietnamese Labour Law: Retrieval, Translation, and Verifier-Guided Correction [2.8627363902677083]
  言語横断の法的問合せは、禁止された法的主張を阻止しながら、言語横断の法令を回収しなければならない。 ベトナムの労働法から回答を得たベトナム語231組のバイリンガル評価スイートについて紹介する。 我々は,検証者誘導パイプラインの評価を行い,回答をクレームに分解し,引用到達可能性とエンテーメントを確認し,引用失敗と矛盾を補正する。
  論文  参考訳（メタデータ） (2026-09-23T05:26:29Z)
• When Prohibitions Become Permissions: Auditing Negation Sensitivity in Language Models [1.0671844383558033]
  オープンソースモデルは、単純な否定の下で、時間の77%のアクションを推奨した。 金融シナリオは医療シナリオの2倍脆弱である。 現在のアライメント技術が達成するものと、安全なデプロイメントに必要なものとの間には、ギャップがある。
  論文  参考訳（メタデータ） (2026-01-29T09:09:23Z)
• Turning Logic Against Itself : Probing Model Defenses Through Contrastive Questions [50.40122190627256]
  非倫理的反応を引き起こすために、対照的な推論を利用する新しいジェイルブレイク手法であるPOATEを導入する。 PoATEは意味論的に意図に反し、敵のテンプレートと統合し、有害なアウトプットを驚くほど微妙に操る。 これに対応するために、悪意のある意図と理性を検出するためにクエリを分解して、有害な応答を評価し、拒否するIntent-Aware CoTとReverse Thinking CoTを提案する。
  論文  参考訳（メタデータ） (2025-01-03T15:40:03Z)
• Procedural Dilemma Generation for Evaluating Moral Reasoning in Humans and Language Models [28.53750311045418]
  言語モデルを用いて因果グラフを変換し、道徳的ジレンマの重要な側面をプロンプトテンプレートに変換する。 項目のサブセットとして、人間の参加者から道徳的許容性と意図的な判断を収集する。 モラルジレンマ(モラルジレンマ、モラルジレンマ、モラルジレンマ、モラルジレンマ、モラルジレンマ、モラルジレンマ、モラルジレンマ、モラルジレンマ、モラルジレンマ、モラルジレンマ、モラルジレンマ、モラルジレンマ、モラルジレンマ、モラルジレンマ、モラルジレンマ、モラルジレンマ)は、
  論文  参考訳（メタデータ） (2024-04-17T01:13:04Z)
• Speaking Multiple Languages Affects the Moral Bias of Language Models [70.94372902010232]
  事前訓練された多言語言語モデル(PMLM)は、複数の言語からのデータや言語間転送を扱う際に一般的に用いられる。 モデルは英語から道徳的規範を捉え、他の言語に強制するか? 我々の実験は、事実、PMLMが道徳的バイアスを符号化していることを示しているが、これらは必ずしも人間の意見の文化的相違や共通点に対応しているわけではない。
  論文  参考訳（メタデータ） (2022-11-14T20:08:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。