Fugu-MT 論文翻訳(概要): Sleight of Word Benchmark: Can Language Models Notice If Their Own Output Was Tampered With?

論文の概要: Sleight of Word Benchmark: Can Language Models Notice If Their Own Output Was Tampered With?

arxiv url: http://arxiv.org/abs/2608.29921v1
Date: Sun, 30 Aug 2026 17:31:31 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-01 18:31:31.117762
Title: Sleight of Word Benchmark: Can Language Models Notice If Their Own Output Was Tampered With?
Title（参考訳）: 単語ベンチマークのスリート: 言語モデルは、自身のアウトプットが改ざんされたことを通知できるか?
Abstract要約: この外部摂動に対するモデルの認識を評価することで、簡単なテストを構築することができる。この精神では、単純なベンチマークが構築され、生成プロセスにおいて1つの単語が一貫して別の単語に置換される。モデルのサプライズに関連するメトリクスと、19の異なるオープンウェイト言語モデルに対するテキスト反応の評価の2つの異なる軸が測定される。
参考スコア（独自算出の注目度）: 0.20305676256390928
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The output of a Language Model can be tampered with \emph{while} the model is writing it. A simple test can thus be constructed by evaluating the model's perception of this external perturbation. In this spirit, a simple benchmark is built in which a single word is consistently substituted with another in the generation process. We call this method \emph{Sleight of Word}. Two distinct axes are measured: metrics that relate to the model's surprise, as well as an evaluation of the textual reaction for 19 different open-weight language models.
Abstract（参考訳）: 言語モデルの出力は、モデルが記述している \emph{while} で改ざんすることができる。したがって、この外部摂動に対するモデルの認識を評価することで、単純なテストを構築することができる。この精神では、単純なベンチマークが構築され、生成プロセスにおいて1つの単語が一貫して別の単語に置換される。このメソッドを 'emph{Sleight of Word} と呼ぶ。モデルのサプライズに関連するメトリクスと、19の異なるオープンウェイト言語モデルに対するテキスト反応の評価の2つの異なる軸が測定される。

関連論文リスト

Semantic Alignment of AI Models: Concept Collapse, Checkpoint Dynamics, and Cross-Lingual Transfer [0.0]
この研究は、これらの空間を低次元および解釈可能な基底線と厳密に比較するためにメソッドをどのように使用できるかを示す。これらのマルチモーダルモデルアライメントテストは、複数の言語にわたるモデル適応テストフレーズ理解の追跡を可能にする。
論文参考訳（メタデータ） (2026-08-03T01:41:04Z)
BehaviorBox: Automated Discovery of Fine-Grained Performance Differences Between Language Models [55.2480439325792]
本稿では,性能を考慮した文脈埋め込みを用いた言語モデルの自動比較手法を提案する。提案手法は,2つのLM間の生成容易性について,その相違点を示すコヒーレントな特徴を抽出する。本研究では,サイズ,モデルファミリ,ポストトレーニングの異なるモデルを比較し,コーパスレベルの難易度だけでは見つからないパフォーマンスの有意義な違いを示す,特定のコンテキストに対する洞察を列挙する。
論文参考訳（メタデータ） (2025-06-02T19:44:06Z)
Word-Level Explanations for Analyzing Bias in Text-to-Image Models [72.71184730702086]
Text-to-image(T2I)モデルは、人種や性別に基づいて少数派を過小評価する画像を生成することができる。本稿では,入力プロンプトのどの単語が生成画像のバイアスの原因となるかを検討する。
論文参考訳（メタデータ） (2023-06-03T21:39:07Z)
BenchCLAMP: A Benchmark for Evaluating Language Models on Syntactic and Semantic Parsing [55.058258437125524]
本稿では,制約付きLanguage Model Parsingを評価するベンチマークであるBenchCLAMPを紹介する。 APIを通じてのみ利用可能な2つのGPT-3変種を含む8つの言語モデルをベンチマークする。実験により,エンコーダ-デコーダ事前学習言語モデルでは,モデル出力が有効であると制約された場合に,構文解析や意味解析の最先端手法を超えることができることがわかった。
論文参考訳（メタデータ） (2022-06-21T18:34:11Z)
Quark: Controllable Text Generation with Reinforced Unlearning [68.07749519374089]
大規模言語モデルは、しばしばユーザの期待に合わない振る舞いを学ぶ。本稿では,(不必要な)特性を定量化する報酬関数を最適化するアルゴリズムQuarkを紹介する。未学習の毒性、ネガティブな感情、反復について、我々の実験はQuarkが強いベースラインと最先端の強化学習法の両方より優れていることを示している。
論文参考訳（メタデータ） (2022-05-26T21:11:51Z)
Locally Typical Sampling [84.62530743899025]
我々は、今日の確率的言語ジェネレータが、一貫性と流動性のあるテキストを生成する際に不足していることを示します。本稿では,確率モデルから生成する際の,この基準を強制するための簡易かつ効率的な手順を提案する。
論文参考訳（メタデータ） (2022-02-01T18:58:45Z)
BERT & Family Eat Word Salad: Experiments with Text Understanding [17.998891912502092]
自然言語の理解を主張するどんなモデルも混同すべき不整合な入力に対するBERTファミリーからの大規模なモデルの応答を研究します。実験により、最先端のモデルは常に不適切なものとして認識できず、その代わりに高い信頼度を予測できることが示されている。モデルが無効な入力を認識するように明示的に訓練されている場合、パフォーマンスが低下することなくそのような攻撃に堅牢であることが示されています。
論文参考訳（メタデータ） (2021-01-10T01:32:57Z)
Are Some Words Worth More than Others? [3.5598388686985354]
簡単な単語予測タスクの枠組み内での2つの本質的な評価手法を提案する。提案手法を用いて,広く使用されている大規模英語モデルの評価を行った。
論文参考訳（メタデータ） (2020-10-12T23:12:11Z)
Exemplar-Controllable Paraphrasing and Translation using Bitext [57.92051459102902]
私たちは、バイリンガルテキスト(bitext)からのみ学ぶことができるように、以前の作業からモデルを適用する。提案した1つのモデルでは、両言語で制御されたパラフレーズ生成と、両言語で制御された機械翻訳の4つのタスクを実行することができる。
論文参考訳（メタデータ） (2020-10-12T17:02:50Z)
Latent Tree Learning with Ordered Neurons: What Parses Does It Produce? [2.025491206574996]
潜在木学習モデルは、人間に注釈を付けた木構造に触れることなく、選挙区解析を学習することができる。 ON-LSTMは言語モデリングのトレーニングを受けており、教師なし構文解析の最先端性能を持つ。私たちは、異なる再起動でモデルを複製し、それらのパースを調べます。
論文参考訳（メタデータ） (2020-10-10T07:12:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。