論文の概要: A Universal Cliff and a Design Fingerprint: Cross-Section Defect Detection Under LLM Orchestration
- arxiv url: http://arxiv.org/abs/2605.26174v1
- Date: Mon, 25 May 2026 05:09:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-27 17:51:41.2693
- Title: A Universal Cliff and a Design Fingerprint: Cross-Section Defect Detection Under LLM Orchestration
- Title（参考訳）: ユニバーサルクリフとデザインフィンガープリント:LLM手術における断面欠陥検出
- Authors: Hiroki Fukui,
- Abstract要約: 生産言語モデルシステムは、労働者エージェントの目に見えないオーケストレーションにまたがってそれを拡大する要求に答える。
これは、単一のワーカーが見ることができない欠陥のクラスに何をもたらすか尋ねる。
1人の開発者から5世代にわたる10のシステムと、異なるアライメントパラダイムからの5つのプロバイダのみです。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Production language-model systems answer a request by partitioning it across an invisible orchestration of worker agents that recompose one integrated report. We ask what this does to a class of defect no single worker can see: a contradiction in the relation between two distant sections of a document. Holding the documents, defects, mechanism, scoring, and seed fixed, we vary only the model -- ten systems across five generations from one developer and five providers from distinct alignment paradigms. Two layers separate. First, a universal detection cliff: every model that finds these cross-section defects under a single agent loses that ability under orchestration, detection falling two-thirds or more across every paradigm tested. The cliff is mechanism-derived and not closed by scale or extended reasoning. Second, how models behave once fallen. A signal-detection decomposition shows that, among the six models discriminating above chance, only one developer's generations move along the reporting-criterion axis: as alignment is strengthened, the model misses fewer defects yet raises more false alarms on clean documents -- two faces of one criterion shift, scaling with generation within that developer (p < 0.001) and near-absent elsewhere. At the floor the missed defect is often not out of view: the model's private record reconstructs the structural fault accurately, while the integrated report signs off on its soundness, its concern spent on the artifact and an absent collaborator. This resists quantification -- an automated judge is unstable (precision 17-50%) and keywords cannot separate it from ordinary agreement -- a resistance we report as a finding. We release all runs, probes, defect keys, scorer prompts, and scripts. An integrated report's confidence is uninformative about partition-spanning defects, the most aligned systems are not the safest, and the cliff is structural.
- Abstract（参考訳）: 生産言語モデルシステムは、ひとつの統合レポートを再構成するワーカエージェントの不可視的なオーケストレーションに分割することで、要求に応答する。
これは、単一の作業者が見ることができない欠陥のクラスに何をもたらすのかを問う。
ドキュメント、欠陥、メカニズム、スコアリング、シードフィックスを保持することで、私たちはモデルだけを変えます -- 1人の開発者から5世代にわたる10のシステムと、異なるアライメントパラダイムから5つのプロバイダ。
2層に分かれている。
まず、普遍的な検出崖: 単一のエージェントの下でこれらの断面積欠陥を見つけるすべてのモデルは、オーケストレーションの下でその能力を失い、テストされたすべてのパラダイムで3分の2以上の低下を検知する。
崖はメカニズムに由来するもので、スケールや拡張された推論によって閉じられません。
第二に、モデルがどのように振る舞うか。
シグナル検出分解は、上記の機会を識別する6つのモデルの中で、報告基準軸に沿って移動する開発者の世代は1つしかないことを示している。
モデルのプライベートレコードは構造上の欠陥を正確に再構築し、統合されたレポートはその健全性、アーチファクトに費やされた関心事、そして不在の協力者についてサインする。
これは量子化に抵抗する -- 自動判断器は不安定であり(精度は17～50%)、キーワードは通常の合意と区別できない -- 発見として報告した抵抗である。
すべての実行、プローブ、欠陥キー、スコアラプロンプト、スクリプトをリリースします。
統合レポートの信頼性はパーティションスパンニングの欠陥に非形式的であり、最も整列したシステムは最も安全ではなく、崖は構造的である。
関連論文リスト
- AuthTrace: Diagnosing Evidence Construction in Thematically Dense Single-Author Corpora [6.956097396264084]
AuthTraceは,主題的に密集した単一著者コーパスに基づいて構築された診断ベンチマークである。
AuthTraceは明示的な引用されたエビデンス、正確なファンインアノテーション、エビデンスリコール、エビデンス精度、答えの正当性を測定する統一パックレベルのプロトコルを提供する。
論文 参考訳（メタデータ） (2026-05-25T03:10:52Z) - Coordination as an Architectural Layer for LLM-Based Multi-Agent Systems [0.0]
マルチエージェントLLMシステムは41%から87%の速度で生産に失敗する。
コーディネーションは、エージェントロジックと情報アクセスから分離可能なアーキテクチャ層として扱われるべきである、と我々は主張する。
我々はこれを予測市場における情報制御設計でインスタンス化する。
論文 参考訳（メタデータ） (2026-05-05T02:56:44Z) - Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。
アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。
ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
論文 参考訳（メタデータ） (2026-04-21T15:05:58Z) - Silent Commitment Failure in Instruction-Tuned Language Models: Evidence of Governability Divergence Across Architectures [0.0]
我々は、モデルのエラーが出力コミット前に検出可能で、一度検出されると修正できる程度、統治性を導入します。
ベンチマーク精度は支配可能性を予測するものではなく、補正能力は検出と独立に異なり、同一のガバナンス足場はモデル間で逆の効果をもたらす。
本稿では,モデルとタスクの組み合わせをGovernable, Monitor Only, Steer Blind, Ungovernableの4つに分類する。
論文 参考訳（メタデータ） (2026-03-22T21:50:28Z) - Retrieval-Infused Reasoning Sandbox: A Benchmark for Decoupling Retrieval and Reasoning Capabilities [32.76303717104482]
DeR2(DeR2)は、ドキュメント基底推論を分離する制御されたディープ検索サンドボックスである。
DeR2は、推論から4つのレシエーション(命令のみ、概念のみ、関連のみ、フルセット)を通じてアクセスする証拠を分離する。
さまざまな最先端の基礎モデルに対する実験は、かなりのバリエーションと重要なヘッドルームを明らかにしている。
論文 参考訳（メタデータ） (2026-01-29T16:26:19Z) - From Feature Interaction to Feature Generation: A Generative Paradigm of CTR Prediction Models [81.43473418572567]
CTR(Click-Through Rate)予測は、レコメンデーションシステムにおける中核的なタスクである。
本稿では,埋め込み次元の崩壊と情報冗長性に対処する新しい生成フレームワークを提案する。
SFGは埋没崩壊を緩和し,情報冗長性を低減し,性能向上を図っている。
論文 参考訳（メタデータ） (2025-12-16T03:17:18Z) - Noise & pattern: identity-anchored Tikhonov regularization for robust structural anomaly detection [58.535473924035365]
異常検出は自動産業検査において重要な役割を担い、他の均一な視覚パターンの微妙な欠陥や稀な欠陥を識別することを目的としている。
自己教師型オートエンコーダを用いて, 破損した入力の修復を学習する構造的異常検出に取り組む。
構造欠陥を模倣した画像に人工的破壊を注入する汚職モデルを導入する。
論文 参考訳（メタデータ） (2025-11-10T15:48:50Z) - Metacognitive Self-Correction for Multi-Agent System via Prototype-Guided Next-Execution Reconstruction [58.51530390018909]
大規模言語モデルに基づくマルチエージェントシステムは、協調的な問題解決において優れているが、エラーのカスケードには脆弱である。
我々は,MASにリアルタイム,教師なし,ステップレベルの誤り検出と自己補正を付与するメタ認知フレームワークMASCを提案する。
論文 参考訳（メタデータ） (2025-10-16T05:35:37Z) - Unsupervised Model Diagnosis [49.36194740479798]
本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。
提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
論文 参考訳（メタデータ） (2024-10-08T17:59:03Z) - Understanding Factual Errors in Summarization: Errors, Summarizers,
Datasets, Error Detectors [105.12462629663757]
本研究では、既存の9つのデータセットから事実性エラーアノテーションを集約し、基礎となる要約モデルに従ってそれらを階層化する。
本稿では,この階層化ベンチマークにおいて,最近のChatGPTベースの指標を含む最先端の事実性指標の性能を比較し,その性能が様々な種類の要約モデルで大きく異なることを示す。
論文 参考訳（メタデータ） (2022-05-25T15:26:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。