論文の概要: Inferred Generative-Process Diversity Predicts Correlated Failure Across Language Models
- arxiv url: http://arxiv.org/abs/2609.03422v1
- Date: Thu, 03 Sep 2026 06:27:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-04 18:28:38.945379
- Title: Inferred Generative-Process Diversity Predicts Correlated Failure Across Language Models
- Title（参考訳）: 言語モデル全体の失敗を予測した予測生成過程の多様性
- Abstract要約: 生成過程の多様性は、意味的類似性や能力に起因しないモデルペアにおける相関障害の減少と関連していることを示す。
推定生成過程の多様性は、安全関連文脈におけるマルチモデルシステムの多様性を調査するための、新しく実践的なアプローチを提供する。
- 参考スコア（独自算出の注目度）: 1.4323566945483497
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diversity is a widely observed factor in the resilient function of collective systems, yet the type of diversity that matters depends on the properties and failure modes of the system. This distinction is important for systems composed of multiple language models. Different models may be treated as independent components even when their behaviour and failures remain strongly correlated. Assessments of language-model populations using semantic similarity demonstrate limited semantic diversity, but this captures only differences in the meaning of observed outputs. We argue that a more fundamental notion of model diversity is generative-process diversity, the differences between processes capable of generating the observed outputs. Drawing from Algorithmic Information Theory, we use Normalised Compression Distance between raw model outputs, residualised against a permutation control, as a measure of inferred generative-process diversity. Across 38 language models, this measure identifies population structure missed by semantic similarity and predicts cross-task variation in chance-corrected correlated failure among model pairs across ten disjoint benchmark families, beyond semantic similarity and model-pair capability. The cross-benchmark partial rank association is $-0.216$ with a 95% interval of $[-0.309,-0.122]$, and the estimate is negative on all ten benchmarks. These results indicate that increased generative-process diversity is associated with reduced correlated failure in model pairs that is not attributable to semantic similarity or capability. Inferred generative-process diversity offers a novel and practical approach for investigating diversity of multi-model systems in safety-relevant contexts.
- Abstract（参考訳）: 多様性は集団システムのレジリエントな機能において広く観察される要因であるが、重要な多様性のタイプはシステムの特性と障害モードに依存する。
この区別は、複数の言語モデルからなるシステムにとって重要である。
異なるモデルは、その振る舞いと失敗が強く相関したままであっても、独立したコンポーネントとして扱われる。
意味的類似性を用いた言語モデル集団の評価では、意味的多様性は限られているが、これは観察された出力の意味の違いのみを捉えている。
モデル多様性のより基本的な概念は、観測された出力を生成するプロセス間の差異である生成過程の多様性である。
アルゴリズム情報理論から, 原モデル出力間の正規圧縮距離を, 置換制御に対する残留化を推定生成過程の多様性の指標として用いた。
38の言語モデルにわたって、この尺度は意味的類似性によって欠落した集団構造を特定し、意味的類似性やモデルペア能力を超えた10の非結合ベンチマークファミリ間のモデルペア間の確率補正相関故障のクロスタスク変動を予測する。
クロスベンチマーク部分ランクアソシエーションは、95%間隔が$[-0.309,-0.122]$で$-0.216$であり、見積もりは10ベンチマークすべてで負である。
これらの結果から, 生成過程の多様性の増大は, 意味的類似性や能力に起因しないモデルペアにおける相関障害の減少と関連していることが明らかとなった。
推定生成過程の多様性は、安全関連文脈におけるマルチモデルシステムの多様性を調査するための、新しく実践的なアプローチを提供する。
関連論文リスト
- Sixteen models, fewer than two voices: measuring ensemble dispersion where no answer is uniquely correct [37.64799781700206]
平均して10の家系から抽出された16の言語モデルでは、精神療法ケースの1.69の異なる定式化のセマンティック多様性が生み出された。
アウトプットの分散は多様性と不確実性の両方として測定される。
論文 参考訳（メタデータ） (2026-07-31T20:42:53Z) - CASL-VAE: Learning Structured Latent Variables from Unpaired Data for Semi-supervised Clustering and Paired Sample Generation [16.737784124258898]
基準人口に対する対象人口の変動の定量化は多くの科学的・臨床的問題の中心である。
提案するTextitCASL-VAEは,非ペアデータから構造付き遅延生成因子を学習する,深いコントラスト付き潜在変数モデルである。
論文 参考訳（メタデータ） (2026-07-09T08:58:44Z) - Evaluating the Diversity and Quality of LLM Generated Content [72.84945252821908]
品質閾値を満たす出力間の効果的な意味的多様性を測定するための枠組みを導入する。
嗜好調整モデルでは語彙的および構文的多様性が低下するが、SFTやベースモデルよりも効果的な意味的多様性が得られる。
これらの発見は、多種多様な高品質な出力を必要とするアプリケーションに重要な意味を持つ。
論文 参考訳（メタデータ） (2025-04-16T23:02:23Z) - Bayesian Additive Main Effects and Multiplicative Interaction Models using Tensor Regression for Multi-environmental Trials [0.0]
本稿では,複数の因子が表現型予測に与える影響を考慮したベイズテンソル回帰モデルを提案する。
我々は、モデルのパラメータ間で生じる可能性のある識別可能性の問題を解決するための、事前分布のセットを採用する。
また、線形予測器にどの相互作用が関係するかを識別するスパイク・アンド・スラブ構造も組み込んだ。
論文 参考訳（メタデータ） (2023-01-09T19:54:50Z) - A comprehensive comparative evaluation and analysis of Distributional
Semantic Models [61.41800660636555]
我々は、静的DSMによって生成されたり、BERTによって生成された文脈化されたベクトルを平均化して得られるような、型分布ベクトルの包括的評価を行う。
その結果、予測ベースモデルの優越性は現実よりも明らかであり、ユビキタスではないことが明らかとなった。
我々は認知神経科学からRepresentational similarity Analysis(RSA)の方法論を借りて、分布モデルによって生成された意味空間を検査する。
論文 参考訳（メタデータ） (2021-05-20T15:18:06Z) - Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。
提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。
分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
論文 参考訳（メタデータ） (2020-11-13T10:53:27Z) - Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。
本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。
次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文 参考訳（メタデータ） (2020-10-25T18:51:15Z) - Learning from Aggregate Observations [82.44304647051243]
本研究では,一組のインスタンスに監視信号が与えられる集合観察から学習する問題について検討する。
本稿では,多種多様な集合観測に適合する一般的な確率的枠組みを提案する。
単純な極大解は様々な微分可能なモデルに適用できる。
論文 参考訳（メタデータ） (2020-04-14T06:18:50Z) - Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。
これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。
おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
論文 参考訳（メタデータ） (2020-02-17T19:23:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。