論文の概要: Automated Generation of Complexity-Validated Decision Scenarios Using Large Language Models
- arxiv url: http://arxiv.org/abs/2608.08822v1
- Date: Sun, 09 Aug 2026 17:12:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.962996
- Title: Automated Generation of Complexity-Validated Decision Scenarios Using Large Language Models
- Title（参考訳）: 大規模言語モデルを用いた複雑性変数決定シナリオの自動生成
- Abstract要約: 意思決定の研究は、注意深く制御された複雑さを持つ多様なシナリオに依存します。
LLmsを使って構造化決定シナリオを生成する自動パイプラインを開発した。
我々は、複数のドメインと複雑性層にわたる4,238のシナリオを評価した。
- 参考スコア（独自算出の注目度）: 1.6249267147413524
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cognitive decision-making research depends on diverse scenarios with carefully controlled complexity, yet manual production is slow, inconsistent, and biased. We developed an automated pipeline that uses LLms to generate structured decision scenarios and validates their complexity through a composite framework rooted in established task-complexity theory. We evaluated 4,238 scenarios across multiple domains and complexity tiers. Measurement validation met rigorous psychometric standards. Agreement among five independent model families was nearly perfect, with an intraclass correlation coefficient of 0.997 and a kappa of 0.971. Known-groups validity demonstrated large separation between tiers, with an eta-squared of 0.587 and all pairwise comparisons significant at p less than .001. Factor analysis revealed a dominant complexity construct, with loadings between 0.87 and 0.96 across three frameworks, while interactivity formed a weaker secondary dimension at 0.34. Discriminant validity was limited by a strong relationship between complexity and text length that persisted after controlling for tier, yielding a partial correlation of 0.86. This constrains construct purity but does not undermine the instrument's tier-grading function. Model analyses showed a negative association between throughput and schema pass rate (r = -0.967, p = .007, n = 5), suggesting a speed-quality trade-off, though largely driven by one high-throughput model. Llama 4 Maverick generated scenarios fastest at 134 per minute versus 25 for DeepSeek Chat V3.2, but underproduced complex-tier scenarios, whereas DeepSeek Chat V3.2 balanced domain coverage with high schema compliance. The system demonstrated strong psychometric properties, enabling reliable classification into Simple, Moderate, and Complex tiers and providing the measurement infrastructure needed for downstream cognitive assessment of AI systems
- Abstract（参考訳）: 認知的意思決定の研究は、注意深く制御された複雑さを持つ多様なシナリオに依存しますが、手作業による生産は遅く、一貫性がなく、バイアスがあります。
我々は,LLmsを用いて構造化決定シナリオを生成し,その複雑性を,確立されたタスク・複雑性理論に根ざした複合フレームワークを通じて検証する自動パイプラインを開発した。
我々は、複数のドメインと複雑性層にわたる4,238のシナリオを評価した。
測定精度は厳格な精神測定基準を満たした。
5種類のモデル群間の一致はほぼ完全であり, クラス内相関係数0.997, カッパ0.971。
ノウン・グループの有効性は層間の大きな分離を示し、eta-squaredは0.587であり、全ての対比較は .001 未満で有意であった。
因子分析の結果,3つのフレームワーク間の負荷が0.87から0.96であり,相互作用性は0.34で弱い二次次元を形成した。
判別正当性は, 階層化制御後のテキスト長と複雑性の強い関係により制限され, 部分相関は0.86。
この制約は純粋性を構成するが、楽器の階層階調関数を損なうことはない。
モデル解析では、スループットとスキーマパスレート(r = -0.967, p = .007, n = 5)の間に負の相関がみられた。
Llama 4 Maverickは、DeepSeek Chat V3.2では1分134の速度でシナリオを生成するが、DeepSeek Chat V3.2では複雑なシナリオが不足しているのに対して、DeepSeek Chat V3.2では高スキーマ準拠でドメインカバレッジのバランスが取れている。
このシステムは強力な心理測定特性を示し、シンプル、適度、複雑な階層に信頼性の高い分類を可能にし、AIシステムの下流認知評価に必要な測定インフラを提供する。
関連論文リスト
- Modeling Normal Is All You Need: Joint Latent Clustering for Anomaly Detection in Multimodal Cyber-Physical Systems [47.027290803102666]
通常の行動は、多くの不均衡で、曲がりくねった、細い範囲の運営体制の結合である。
我々は正規法則を、共同学習された潜在表現と明示的なガウス混合モードクラスタリングでモデル化する。
ポイント調整のない生のポイントワイドメトリクス、自明な検出困難分割、頻度整合F1、列車正規化のみのキャリブレーションを意図的に評価する。
論文 参考訳（メタデータ） (2026-07-07T10:10:00Z) - Wisdom Of The (AI) Crowd: Investigating Artificial Swarm Intelligence In Large Language Models [0.0]
大規模言語モデル (LLM) が人工群による群知能効果を近似できるかどうかを検討する。
960個のプロンプトを3つのプロプライエタリモデルで手動で実行し,制御実験を行った。
その結果, モデル内およびモデル間アグリゲーションによる一貫した誤差低減が得られ, 最大37ポイントの誤差低減が得られた。
論文 参考訳（メタデータ） (2026-06-30T09:30:53Z) - ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
$textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。
Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
論文 参考訳（メタデータ） (2026-05-11T16:20:51Z) - Training-inference input alignment outweighs framework choice in longitudinal retinal image prediction [3.0602131532925436]
近年の手法は, 生成複雑性の増大に向かっているが, この複雑さが要求される条件はいまだ不明である。
生成複雑性は予測可能なタスクの条件付き後続成分のエントロピーと一致し,全てのレシスタンスでトレーニング・推論入力アライメントが要求される。
我々は,この枠組みを5つの構成を対比して,立方体自己蛍光データセット上で検証した。
論文 参考訳（メタデータ） (2026-04-18T10:28:00Z) - Quantum-Inspired Geometric Classification with Correlation Group Structures and VQC Decision Modeling [0.5039813366558307]
本稿では、相関群構造(CGR)、コンパクトなSWAPテストに基づく重複推定、選択的変分量子決定モデリングを統合した幾何駆動型量子インスピレーション型分類フレームワークを提案する。
CGRは特徴をアンカー中心の相関近傍に整理し、非線形で相関重み付き表現を生成する。
Credit Card Fraudデータセット(0.17%)では、Delta + VQCパイプラインが約0.85マイノリティリコールを約1.31%の警告レートで達成し、ROC-AUC 0.9249とPR-AUC 0.3251をフルデータセットで評価している。
論文 参考訳（メタデータ） (2026-04-02T11:50:29Z) - DiscoUQ: Structured Disagreement Analysis for Uncertainty Quantification in LLM Agent Ensembles [5.647839536820347]
著者間の不一致構造を抽出し活用し,信頼度を良好に推定するフレームワークであるDiscoUQを紹介する。
DiscoUQ-LLM の平均 AUROC は 0.802 であり、最高のベースラインを上回っている。
学習した機能は、ほぼゼロに近いパフォーマンス劣化を伴うベンチマークで一般化される。
論文 参考訳（メタデータ） (2026-03-21T23:24:12Z) - Deterministic Fuzzy Triage for Legal Compliance Classification and Evidence Retrieval [0.0]
法律チームはますます、大量の契約上の証拠をトリアージするために機械学習を使用している。
多くのモデルは不透明で非決定論的であり、HIPAAやNERC-CIPのようなフレームワークと整合するのは難しい。
決定論的双対エンコーダと透明なファジィトリアージバンドに基づく簡単な再現可能な代替法について検討する。
論文 参考訳（メタデータ） (2026-03-08T00:31:34Z) - Long-horizon Reasoning Agent for Olympiad-Level Mathematical Problem Solving [65.02106674311908]
本稿では,マルチラウンド階層的推論を行う長期水平数学エージェントであるIntern-S1-MOを紹介する。
コンパクトメモリをレムマの形で維持することにより、Intern-S1-MOはレムマリッチ推論空間をより自由に探索することができる。
実験の結果、インターンS1-MOはIMO2025の非幾何学的問題で35点中26点を得ることができ、銀メダリストのパフォーマンスに匹敵することがわかった。
論文 参考訳（メタデータ） (2025-12-11T15:26:28Z) - Towards a Science of Scaling Agent Systems [79.64446272302287]
エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。
協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。
ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
論文 参考訳（メタデータ） (2025-12-09T06:52:21Z) - Test-time Verification via Optimal Transport: Coverage, ROC, & Sub-optimality [53.03186946689658]
検証によるテストタイムのスケーリングは、大規模言語モデルのパフォーマンス向上を約束している。
検証の効果は、(i)ジェネレータのカバレッジ、(ii)検証器の収束領域(ROC)、(iii)サンプリングアルゴリズムの準最適性の3つの相互作用を通して現れる。
本稿では,輸送問題として検証可能なテストタイムスケーリングの枠組みを定め,カバレッジ,ROC,サブ最適性の相互作用を特徴付ける。
論文 参考訳（メタデータ） (2025-10-21T18:05:42Z) - Hybrid-Segmentor: A Hybrid Approach to Automated Fine-Grained Crack Segmentation in Civil Infrastructure [52.2025114590481]
エンコーダ・デコーダをベースとした手法であるHybrid-Segmentorを導入する。
これにより、モデルは、様々な種類の形状、表面、き裂の大きさを区別する一般化能力を向上させることができる。
提案モデルは,5つの測定基準(精度0.971,精度0.804,リコール0.744,F1スコア0.770,IoUスコア0.630)で既存ベンチマークモデルより優れ,最先端の状態を達成している。
論文 参考訳（メタデータ） (2024-09-04T16:47:16Z) - Explicit Tradeoffs between Adversarial and Natural Distributional
Robustness [48.44639585732391]
実際、モデルは信頼性を確保するために両方のタイプの堅牢さを享受する必要があります。
本研究では, 対角線と自然分布の強靭性の間には, 明らかなトレードオフが存在することを示す。
論文 参考訳（メタデータ） (2022-09-15T19:58:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。