論文の概要: Self-Generated Text Recognition: Quality Heuristics, Cross-Task Transfer, and Downstream Bias in LLM Evaluation

• arxiv url: http://arxiv.org/abs/2608.26159v2
• Date: Fri, 28 Aug 2026 10:04:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.369913
• Title: Self-Generated Text Recognition: Quality Heuristics, Cross-Task Transfer, and Downstream Bias in LLM Evaluation
• Title（参考訳）: 自己生成テキスト認識:LLM評価における品質ヒューリスティックス、クロスタスク転送、下流バイアス
• Abstract要約: 自己生成テキスト認識(SGTR)は、評価者やモニターに依存するAIセーフガードにリスクをもたらす。 6つのプレゼンテーション運用と4つのタスクドメイン運用にまたがる13-21モデルの評価を行った。
• 参考スコア（独自算出の注目度）: 6.648307320049219
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-Generated Text Recognition (SGTR)--the ability of an LLM to identify its own outputs--poses risks to AI safeguards that rely on LLMs as evaluators or monitors: an LLM may recognize outputs from other copies of the same model and make biased judgments or collude outright. Prior work has drawn conflicting conclusions about whether current models possess significant SGTR capabilities. We explain these disagreements by identifying key experimental design choices--which we term operationalizations--that drive divergent results. Evaluating 13-21 models across six presentation operationalizations and four task-domain operationalizations, we find that accuracy varies substantially with evaluation format (pairwise vs individual assessments of text), conversation format (presenting candidate text in user tags vs assistant tags), and the domain of the task used to generate candidate text (e.g., coding vs summarization). We corroborate previous observations that a quality heuristic--models attributing authorship to text they perceive as higher quality--is a dominant confound. We also find that improving a model's SGTR performance via supervised fine-tuning (SFT) on one operationalization can generalize to others, and can increase the model's preference for its own outputs when it acts as a judge in the AlpacaEval framework. Our results suggest that, despite confounds, some models possess practical SGTR capabilities, and that SGTR should be monitored and considered in the design of safety-critical AI applications.
• Abstract（参考訳）: 自己生成テキスト認識(Self-Generated Text Recognition、SGTR) - LLMが自身の出力を識別する能力 - LLMを評価対象またはモニターとして依存するAIセーフガードにリスクを与える。 以前の研究は、現在のモデルが重要なSGTR能力を持っているかどうかに関して矛盾する結論を導いた。 これらの相違点を、実験的な設計の鍵となる選択(運用化と呼ぶ)を特定することで説明する。 6つのプレゼンテーション運用と4つのタスクドメイン運用にまたがる13-21モデルを評価したところ、精度は評価形式(テキストの個別評価)、会話形式(ユーザタグとアシスタントタグの候補テキストを表す)、候補テキストを生成するタスクのドメイン(例えば、コーディングと要約)によって大きく異なることがわかった。 我々は、品質ヒューリスティックなモデルが著者がより高い品質と認識するテキストに寄与しているという過去の観察を裏付ける。 また,1つのオペレーテーション上での教師付き微調整(SFT)によるモデルSGTRの性能向上は他者への一般化が可能であり,AlpacaEvalフレームワークの審査員として機能する場合には,モデルが独自の出力を優先的に好むことも見出した。 これらの結果から,SGTRの実用的機能を持つモデルもあれば,安全クリティカルなAIアプリケーションの設計において,SGTRを監視・検討すべきモデルもあることが示唆された。

関連論文リスト

• Latent Performance Profiling of Large Language Models [47.009623327601226]
  隠れたアクティベーションと出力分布からタスクに依存しない診断を導出するフレームワークであるLatent Performance Profiling(LPP)を紹介する。 静的精度スコアとは異なり、LPPは同様のサイズのモデル間で安定でアーキテクチャに敏感なシグネチャを提供する。 類似のベンチマークスコアを持つモデルは、エントロピーや適応性の違いなど、対照的なプロファイルを示すことができることを示す。
  論文  参考訳（メタデータ） (2026-05-28T14:41:26Z)
• Addressing Explainability of Generative AI using SMILE (Statistical Model-agnostic Interpretability with Local Explanations) [0.0]
  この論文では、生成モデルの説明可能性のための統一的なフレームワークであるgSMILEを紹介している。 gSMILEはテキスト入力の制御された摂動、ワッサーシュタイン距離測定、重み付き代理モデリングを採用している。 頑丈で人間に順応した属性を生成し、最先端のジェネレーティブモデルで効果的に一般化する。
  論文  参考訳（メタデータ） (2026-02-01T12:54:51Z)
• A Comparative Benchmark of Large Language Models for Labelling Wind Turbine Maintenance Logs [0.0]
  本稿では,複雑な産業記録を分類する作業において,LLM(Large Language Models)をベンチマークするためのフレームワークを提案する。 透明性を促進し、さらなる研究を促進するため、このフレームワークはオープンソースツールとして公開されている。 明確なパフォーマンス階層を定量化し、ベンチマーク標準と高い整合性を示すトップモデルを特定します。
  論文  参考訳（メタデータ） (2025-09-08T15:48:17Z)
• Skewed Score: A statistical framework to assess autograders [2.9645858732618238]
  LLM-as-a-judge"あるいはオートグラファーは、人間の評価に代わるスケーラブルな代替手段を提供する。 彼らは様々な信頼性を示し、体系的なバイアスを示すかもしれない。 そこで本稿では,研究者が自動分解器を同時に評価できる統計フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-04T18:45:10Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• Generative Judge for Evaluating Alignment [84.09815387884753]
  本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。 我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。 実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
  論文  参考訳（メタデータ） (2023-10-09T07:27:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。