論文の概要: Response drift across frontier large language models

• arxiv url: http://arxiv.org/abs/2607.20454v1
• Date: Thu, 14 May 2026 21:06:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.177753
• Title: Response drift across frontier large language models
• Title（参考訳）: フロンティア大言語モデルにおける応答ドリフト
• Abstract要約: すべてのフロンティア大言語モデル(LLM)は、専門家が検証した参照から逸脱した出力を生成する。 本報告では,47名の地理的に多様な参加者が62の多領域質問すべてを評価した完全横断的評価を報告する。
• 参考スコア（独自算出の注目度）: 1.2831438500648245
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: All frontier large language models (LLMs) exhibit response drift -- producing outputs that deviate from expert-validated references -- yet the magnitude and structure of this drift remain uncharacterised by systematic human evaluation. Here we report a fully crossed evaluation in which 47 geographically diverse participants each assessed all 62 multidomain questions across ten frontier LLMs under blinded conditions, yielding 29,140 independent assessments. Every model drifts, but drift magnitude varies substantially: eight models converge on a statistically indistinguishable ceiling (78-81% deviation), while two achieve lower deviation (47-49%). Drift profiles differ across six domains and 62 questions, with pairwise correlations among ceiling models exceeding r = 0.85. Automated similarity metrics explain less than 2% of variance in human judgements. These findings reveal that response drift is universal across frontier LLMs, domain- and question-dependent in structure, and accessible only through human-centred evaluation.
• Abstract（参考訳）: あらゆるフロンティア大言語モデル(LLM)は、専門家が検証した基準から逸脱した出力を生成する応答ドリフトを示すが、このドリフトの大きさと構造は、体系的な人間の評価によって達成されないままである。 本報告では, 地理的に多様性のある47人の被験者が, 視覚障害のある10のフロンティア LLM の62の多ドメイン質問を全て評価し, 29140の独立性評価を得た。 8つのモデルが統計的に区別できない天井(78-81%の偏差)に収束し、2つのモデルが低い偏差(47-49%)を得る。 ドリフトプロファイルは6つの領域と62の質問で異なり、それぞれがr = 0.85を超える天井モデルの間に相関関係がある。 自動類似度測定は、人間の判断における差異の2%未満を説明する。 これらの結果から, 応答ドリフトはフロンティアLSM全体で普遍的であり, ドメインおよび質問依存構造であり, 人中心評価によってのみアクセス可能であることが明らかとなった。

関連論文リスト

• Beyond the Name: Demographic Leakage in De-Identified Résumés and Evaluation Artifacts in LLM Bias Audits [4.736836688901646]
  本研究では,9つのオープンウェイトモデルと620レサムモデルにおいて,言語フィールドの除去がリークを解消するか否かを検討する。 5つの民族的条件と3つのクエー・サリエンス層にまたがる非構造的散文を分離した。 目標グループの回復平均は0.757であり、高塩分下では1.000で飽和する。
  論文  参考訳（メタデータ） (2026-09-15T01:48:44Z)
• CUSP: Decomposable Collective Uncertainty for Multi-Agent Multimodal Reasoning [6.428392127849263]
  本稿では,複数のVLM応答を共有意味応答空間にマッピングする訓練不要不確実性フレームワークCUSPを提案する。 本稿では,集合的不確実性,プール化意見の分散,ジェンセン・シャノン発散(JSD)の2つの相補的システムレベル信号について報告する。 静的なマルチVLMアンサンブルでは、集合的不確実性は小モデル状態において最強の信号である。
  論文  参考訳（メタデータ） (2026-09-04T20:27:47Z)
• From Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix [55.08143827481755]
  200以上の内部アプリケーションから1つのモデルにトラフィックを集約します。 我々は、各軸ごとに別々のGRPOエキスパートを訓練し、2段階のSLERPを介してそれらをマージする。 このモデルは、プラットフォームトラフィックの50%、月1億6600万リクエストをサービスコストのごく一部で吸収する。
  論文  参考訳（メタデータ） (2026-09-01T17:39:26Z)
• The Personalization Mirage: How LLMs Fabricate User Profiles, and Why Self-Monitoring Misleads [0.9743693761871391]
  ステレオタイプ,反ステレオタイプ,中立プロファイル間でバランスの取れた150人の人物からなるMirrageBenchを紹介した。 オーバー推論は広範に行われており、12モデルのうち1モデルがオーバー推論の35%から49%を占めている。 MirageBenchは、信頼性の高い個人化のための信頼性の高い基盤として、モデル自己報告ではなく、外部検証を位置付けている。
  論文  参考訳（メタデータ） (2026-08-05T08:00:54Z)
• Before the Action: Benchmarking LLMs on Prospective Hypothesis Discovery [95.44432473367836]
  大規模言語モデル(LLM)は、事前に特定された質問に答える能力に優れるが、未解決の未解決段階をナビゲートする能力はほとんど測定されていない。 仮説探索(PHD)を導入し,不確定な証拠から,仮説空間を自律的に構築することをモデルに求める。 本稿では,6つの科学的・分析的領域にわたる988ケースのベンチマークであるHypoArenaと,オープンエンド仮説セットの評価フレームワークであるHypoEvalを紹介する。
  論文  参考訳（メタデータ） (2026-07-17T08:56:43Z)
• CoDMD: Copula-aware Distribution Matching Distillation for Fast Video Generation [50.353919095724315]
  実世界のシナリオにおける効率的な展開の急激な需要により,ビデオ拡散モデルの蒸留が注目されている。 我々は,凍結教師とオンライン偽モデルによって既に生成されているスコア推定を再利用し,対関係行列を構成する軽量リレーショナルレギュレータであるCopula-Aware DMD(CoDMD)を提案する。 1.3Bと14BスケールのWan-2.1-T2Vモデルシリーズで、CoDMDは50ステップの教師を4ステップの学生に蒸留し、VBenchスコア84.46と84.87を達成しながら、およそ25$times$ Speed-upを達成した。
  論文  参考訳（メタデータ） (2026-06-20T10:33:14Z)
• Beyond Localization: A Comprehensive Diagnosis of Perspective-Conditioned Spatial Reasoning in MLLMs from Omnidirectional Images [52.50752250573993]
  MLLM(Multimodal Large Language Models)は、視覚的知覚が強いが、視点の変化による空間の推論には限界がある。 本研究では、この課題を全方位360度画像におけるパースペクティブ・コンディションド・スペース・推論(PCSR)として検討する。 我々は2,600全方位画像から84,373組の質問応答対の診断ベンチマークであるPCSR-Benchを紹介する。
  論文  参考訳（メタデータ） (2026-05-12T17:11:17Z)
• Models Recall What They Violate: Constraint Adherence in Multi-Turn LLM Ideation [0.0]
  DriftBenchは、科学的思考における制約の順守を評価するためのベンチマークである。 繰り返し圧力は構造的複雑さを確実に増加させ、しばしば元の制約への固執を減少させる。 オープンベンチマークとして、すべてのブリーフ、プロンプト、ルックス、書き起こし、スコアをリリースします。
  論文  参考訳（メタデータ） (2026-04-30T15:46:33Z)
• CORE: Comprehensive Ontological Relation Evaluation for Large Language Models [0.9668495520241466]
  大規模言語モデル(LLM)は多くの推論ベンチマークでよく機能するが、既存の評価では意味のある意味的関係と真の非関連性を区別する能力を評価することは滅多にない。 74の分野にまたがる225万質問のデータセットであるCORE(Comprehensive Ontological Relation Evaluation, 総合オントロジー関係評価)を紹介する。 1000人以上の参加者のヒトのベースラインは92.6%の精度(関係のないペアの95.1%)を達成する
  論文  参考訳（メタデータ） (2026-02-06T07:16:33Z)
• RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
  本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。 ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。 これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
  論文  参考訳（メタデータ） (2025-11-27T07:20:52Z)
• A Confidence-Diversity Framework for Calibrating AI Judgement in Accessible Qualitative Coding Tasks [0.0]
  信頼性の多様性の校正は、アクセス可能なコーディングタスクの品質評価フレームワークである。 8つの最先端のLCMから5,680のコーディング決定を分析すると、自信はモデル間の合意を密接に追跡する。
  論文  参考訳（メタデータ） (2025-08-04T03:47:10Z)
• SLEEPYLAND: trust begins with fair evaluation of automatic sleep staging models [0.0]
  本稿では,オープンソースの睡眠ステージ評価フレームワークであるSLEEPYLANDを紹介する。 ドメイン内睡眠記録(ID)は220万時間以上、ドメイン外睡眠記録(OOD)は84万時間以上である。 本稿では,SoMNUSを紹介する。SoMNUSは,ソフト投票によるアーキテクチャとチャネル設定のモデルを組み合わせたアンサンブルである。
  論文  参考訳（メタデータ） (2025-06-10T08:46:19Z)
• MR-GSM8K: A Meta-Reasoning Benchmark for Large Language Model Evaluation [60.65820977963331]
  大規模言語モデル(LLM)のための新しい評価パラダイムを導入する。 このパラダイムは、しばしば推論プロセスを無視する結果指向の評価から、より包括的な評価へと重点を移す。 GSM8Kデータセットにこのパラダイムを適用し,MR-GSM8Kベンチマークを開発した。
  論文  参考訳（メタデータ） (2023-12-28T15:49:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。