論文の概要: TenetBench: A Clause-Anchored Russian Corpus for Evaluating Language Models against Professional Codes of Ethics

• arxiv url: http://arxiv.org/abs/2610.29477v1
• Date: Wed, 21 Oct 2026 09:32:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.304428
• Title: TenetBench: A Clause-Anchored Russian Corpus for Evaluating Language Models against Professional Codes of Ethics
• Title（参考訳）: TenetBench: 倫理の専門コードに対する言語モデル評価のためのクローズアンコールされたロシアのコーパス
• Abstract要約: TenetBenchは3,433件のリクエストを、ロシア語のプロフェッショナルコード15の条項と照合する。 自動パイプラインは、コードのテキストからタスクを生成する。 また、他の司法管轄区域の2つのイングランドの法典からタスクと人為的な評決を作成した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Codes of professional ethics guide and restrict specialists, who increasingly work with assistants built on large language models. Such an assistant can breach the user's code, or help the user breach it, without the user noticing. Evaluations reporting broad categories of harm cannot show how often this happens or which provision is breached. TenetBench pairs 3,433 requests conflicting with clauses of fifteen Russian-language professional codes with benign twins that differ only in the legitimacy of what is asked. An automated pipeline generates the tasks from the text of a code, so the corpus grows with every code added and a provision yields new tasks on every run. It also produced tasks and human-validated verdicts from two English codes of other jurisdictions. In human validation of the frozen pipeline, specialists rated 0.995 of the conflicting tasks plausible, and the model judge agreed with the adjudicated label at Gwet's AC1 of at least 0.894 on 1,860 elements. We evaluated fourteen model and reasoning-mode combinations on whether they produce the conflicting text, decline or warn. Eleven of the fourteen produce conflicting content on most such requests, mostly without a warning, and nearly three warnings in four accompany conflicting content. The models that conform more do so by declining while still serving the legitimate twin, and enabling reasoning halved the refusals of two models. We hope the dataset and pipeline will help evaluate how language models observe professional norms and let diagnostic datasets be built for particular professions and organisations.
• Abstract（参考訳）: 専門的倫理指導と専門職の制限の法典は、大きな言語モデル上に構築されたアシスタントと連携する傾向にある。 このようなアシスタントは、ユーザのコードを侵害したり、ユーザが気づかずにそれを侵害するのを助けることができる。 幅広いカテゴリーの害を報告している評価は、これがどれくらいの頻度で起こるか、どの規定が破られるかを示すことはできない。 テネベンチは3,433件の要求を、質問の正当性だけが異なる良性双生児を持つ15のロシア語のプロ法典の条項と矛盾する。 自動パイプラインはコードのテキストからタスクを生成するので、コーパスは追加するコードごとに成長し、プロビジョニングは実行毎に新しいタスクを生成する。 また、他の司法管轄区域の2つのイングランドの法典からタスクと人為的な評決を作成した。 凍結パイプラインの人間による検証において、専門家は矛盾する作業の0.995を検証可能と評価し、モデル審査官は1,860元素の少なくとも0.894のグウェットAC1の認定ラベルに同意した。 矛盾するテキストを生成するか、低下するか、警告するかについて、14のモデルと推論モードの組み合わせを評価した。 14人のうち11人は、ほとんどの要求に対して矛盾するコンテンツを生成し、多くは警告なしで、伴う4つのコンテンツに3つ近い警告を出している。 より適合したモデルは、正統な双子に奉仕しながら減少し、推論を可能にすることで、2つのモデルの拒絶を半減させた。 データセットとパイプラインは、言語モデルが専門的な規範をどのように観察し、特定の専門職や組織のために診断データセットを構築するかを評価するのに役立つことを期待しています。

関連論文リスト

• Code as a Weapon: A Consensus-Labeled Prompt Bank for Measuring Coding-Model Compliance with Malicious-Code Requests [0.0]
  符号化特化モデルは、汎用チャットモデルよりも高い拒絶バーをクリアすべきである。 8つのコーパス(ASTRA、CySecBench、AdvBench/harmful_behaviors、JailbreakBench、MalwareBench、RedCode、RCCBench、Scam2Prompt)は5judgeコンセンサスプロトコルで統合され、分類される。 コーディングモデルがより厳格な拒絶基準を満たしているかどうかをテストするための信頼性基準である。
  論文  参考訳（メタデータ） (2026-05-27T16:55:15Z)
• ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
  ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。 それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。 評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
  論文  参考訳（メタデータ） (2026-04-05T17:55:23Z)
• IFEvalCode: Controlled Code Generation [69.28317223249358]
  本稿では,Code LLMの命令追従能力を改善するために,前方および後方制約生成を提案する。 IFEvalCodeは、7つのプログラミング言語の1.6Kテストサンプルからなる多言語ベンチマークである。
  論文  参考訳（メタデータ） (2025-07-30T08:08:48Z)
• A Qualitative Investigation into LLM-Generated Multilingual Code Comments and Automatic Evaluation Metrics [10.1653613066577]
  我々は,5つの最先端コードモデルによって生成されたコードコメントの誤りを分析するために,オープンコーディング研究を行う。 モデル生成コードコメントにおいて26の異なるエラーカテゴリの分類を同定する。 分析の結果、これらのモデルはしばしば部分的に正しいコメントを生成するが、現代のニューラルネットワークは、意味のある完了をランダムノイズと確実に区別することができないことがわかった。
  論文  参考訳（メタデータ） (2025-05-21T12:45:49Z)
• CodeReviewQA: The Code Review Comprehension Assessment for Large Language Models [10.108114365564926]
  最先端の大規模言語モデル(LLM)は、印象的なコード生成機能を示しているが、実際のソフトウェアエンジニアリングタスクに苦労している。 コードレビューのコメントは暗黙的であり、曖昧で、口語であり、モデルがコードと人間の意図の両方を理解する必要がある。 この課題は、大きな言語モデルが技術的コンテキストと会話的コンテキストの両方を橋渡しする能力を評価することである。
  論文  参考訳（メタデータ） (2025-03-20T14:07:31Z)
• The Art of Saying No: Contextual Noncompliance in Language Models [123.383993700586]
  本稿では,ユーザの要求に従わないモデルについて,コンテキスト非準拠の包括的分類を導入する。 我々の分類は、不完全、不完全、不完全、不決定、人為的要求を含む幅広いカテゴリーにまたがる。 言語モデルの非準拠性をテストするために,1000個の非準拠プロンプトの新たな評価スイートを開発するために,この分類法を用いる。
  論文  参考訳（メタデータ） (2024-07-02T07:12:51Z)
• ReCode: Robustness Evaluation of Code Generation Models [90.10436771217243]
  コード生成モデルのための総合的ロバストネス評価ベンチマークであるReCodeを提案する。 ドクストリング、関数と変数名、コード構文、コードフォーマットのコードに特化して、30以上の変換をカスタマイズします。 ヒトのアノテータでは、摂動プロンプトの90%以上が本来のプロンプトの意味を変えていないことが確認された。
  論文  参考訳（メタデータ） (2022-12-20T14:11:31Z)
• Code Comment Inconsistency Detection with BERT and Longformer [9.378041196272878]
  ソースコードの自然言語記述であるコメントは、ソフトウェア開発者の間で標準的なプラクティスである。 コメントに付随する修正を加えずにコードを変更すると、コメントとコードの間に矛盾が生じます。 本研究では,自然言語推論(NLI)の文脈における不整合を検出するための2つのモデルを提案する。
  論文  参考訳（メタデータ） (2022-07-29T02:43:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。