論文の概要: Evaluating Nonuniform Dependability Across Response Conditions: A Conditional Generalizability Framework Illustrated in Automated Essay Scoring

• arxiv url: http://arxiv.org/abs/2607.11981v1
• Date: Mon, 13 Jul 2026 08:32:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-15 17:08:29.917759
• Title: Evaluating Nonuniform Dependability Across Response Conditions: A Conditional Generalizability Framework Illustrated in Automated Essay Scoring
• Title（参考訳）: 応答条件間の不均一依存性の評価:自動評価における条件付き一般化可能性フレームワーク
• Abstract要約: 本研究では,3成分の条件付き一般化可能性フレームワークを提案する。 第一に、自動スコアリング構成は許容可能な測定条件の宇宙として扱われる。 第二に、解析的D-スタディ・プロジェクションは有限スコアリングプール上の経験的構成スイープと比較される。
• 参考スコア（独自算出の注目度）: 1.2333280983346018
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Aggregate reliability estimates can obscure heterogeneity in measurement-design burden across response conditions, so a single G- or D-study may mischaracterize a design's adequacy for particular strata. This study introduces a conditional generalizability framework with three components. First, automated scoring configurations -- the encoder architectures and scoring-head families admissible within a fixed pipeline -- are treated as a universe of admissible measurement conditions rather than incidental modeling choices. Second, analytical D-study projections are compared with empirical configuration sweeps over a finite scoring pool, yielding two estimands of design adequacy whose agreement or divergence diagnoses the realized configuration universe. Third, evidence is conditioned on entropy-defined response strata, treating entropy as an operational stratification variable, not a construct claim about writing quality. Whereas recent generalizability-theory extensions address AI-generated item variants on the response side, this framework addresses the analogous scoring-side problem: AI-mediated scoring configurations. Demonstrated with automated essay scoring of timed L2 writing, the realized design was dependable in aggregate (Phi approx 0.76). Re-estimated within entropy strata, dependability stayed high but declined modestly and robustly (Phi = 0.88, 0.87, 0.84) -- a gradient implying different decision-study requirements, the highest-entropy stratum requiring the most crossed conditions. The framework offers a portable workflow for evaluating nonuniform dependability.
• Abstract（参考訳）: 集合的信頼性推定は、応答条件全体にわたる測定-設計の重荷の不均一性を引き起こすため、単一のG-またはD-スタディは特定の層に対する設計の妥当性を誤る可能性がある。 本研究では,3成分の条件付き一般化可能性フレームワークを提案する。 まず、自動スコアリング構成 -- 固定パイプライン内で許容できるエンコーダアーキテクチャとスコアヘッドファミリー -- は、偶発的なモデリング選択ではなく、許容可能な測定条件の宇宙として扱われる。 第二に、分析的なD-スタディ投影は有限のスコアリングプール上の経験的な構成スイープと比較され、実現された構成宇宙を一致またはばらばらに診断する設計精度の2つの推定値が得られる。 第三に、エントロピー定義の応答層にエビデンスを条件付け、エントロピーを書込み品質に関する構成的主張ではなく、運用的成層変数として扱う。 最近の一般化可能性理論拡張は、応答側のAI生成アイテムに対処するが、このフレームワークは、類似のスコアリング側の問題に対処する。 タイムドL2文字の自動エッセイスコアで示され、実現された設計は集合的に信頼性があった(Phi Approx 0.76)。 エントロピー層の中で再推定され、信頼性は高く保たれたが、緩やかかつ頑健に低下した(Phi = 0.88, 0.87, 0.84)。 このフレームワークは、一様でない信頼性を評価するためのポータブルなワークフローを提供する。

関連論文リスト

• CLAIM: Leading Open-domain Active Clarification of Large Language Models with Uncertainty Measurement [50.91045324738942]
  CLAIMは、オープンドメイン環境でのアクティブな明確化学習のための不確実性駆動フレームワークである。 本研究では,不確実性推定とセマンティッククラスタリングと推論に基づく判断を統合したエントロピー駆動型合成データ生成パイプラインを提案する。 実験の結果,手動でラベル付けしたデータに頼ることなく,CLAIMが安定かつ一般化可能な明確化戦略を学習できることが確認された。
  論文  参考訳（メタデータ） (2026-08-12T04:27:45Z)
• Position: It's Time to Optimize LLMs for Self-Consistency [50.68587056599734]
  多くの重要な障害は、事前および後トレーニングパイプラインの言語モデルに持続する。 これらの失敗は、パイプラインのすべての側面に浸透するモデリングの前提から生じます。 これらの失敗を理解するためのフレームワークとして,自己整合性を提案する。
  論文  参考訳（メタデータ） (2026-07-31T19:16:53Z)
• APO: Unsupervised Atomic Policy Optimization for 3D Structure Prediction of Atomic Systems [64.56252173115246]
  そこで本研究では, 基幹構造を不要とした非教師なしアライメントフレームワーク(Atomic Policy Optimization)を提案する。 APOは、新しい二重回帰機構を利用して、3次元原子環境にグループ相対的なポリシー最適化を適用する。 この結果から,本質的な物理的整合性は,ノイズや教師付き座標マッチングよりも優れたアライメントのガイドとなる可能性が示唆された。
  論文  参考訳（メタデータ） (2026-07-30T17:21:58Z)
• Gatekeepers and Hallucinations: A Layered Evaluation Framework for LLM-Driven Quantum Circuit Generation [0.0]
  材料インフォームド変分量子固有解器(VQE)回路生成のための階層評価フレームワークを提案する。 5つの異なるLCM障害モード(幾何学幻覚、存在しないAPI使用、統合障害、制約違反、検証不可能な出力)を分類する。 評価プラットフォーム自身のソースコードの法医学的な監査により、サイレントフォールバック・テンプレート置換によって、ハーネスに2つの明らかなモデル障害が生じたことが確認された。
  論文  参考訳（メタデータ） (2026-06-16T19:17:54Z)
• Quantifying Consistency in LLM Logical Reasoning via Structural Uncertainty [5.839104770457067]
  大規模な言語モデルは、不安定で矛盾し、一貫してランク付けするのが困難である推論パスを通じて、同じ答えに達することができる。 自己参照によるランク付けの安定性から導かれる一貫性を考慮した構造的不確実性を提案する。
  論文  参考訳（メタデータ） (2026-06-15T21:39:47Z)
• R-APS: Compositional Reasoning and In-Context Meta-Learning for Constrained Design via Reflective Adversarial Pareto Search [18.8323743697237]
  大規模言語モデル(LLM)は、オープンなタスクに精通しているが、エージェント設定では、信頼性の高いデリバリが保証されない。 エラーは局所化せずに伝播し、最悪の場合の摂動は未評価となり、蓄積された知識は決して無効にされない。 帰納的、反事実的、メタ帰納的、是正的、帰納的推論は、相容れない方向に共有コンテキストを引き出す。
  論文  参考訳（メタデータ） (2026-06-03T12:45:39Z)
• Multimodal Learning on Low-Quality Data with Conformal Predictive Self-Calibration [72.0672328514289]
  マルチモーダル学習は、しばしば低品質データの課題に悩まされる。 コンフォーマル予測自己校正(Conformal Predictive Self-Calibration)と呼ばれる統合フレームワークを提案する。 私たちのフレームワークは、既存の最先端メソッドを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-05-05T14:48:52Z)
• From Perception to Autonomous Computational Modeling: A Multi-Agent Approach [0.0]
  本稿では,協調型大言語モデル(LLM)エージェントが完全計算力学ワークフローを自律的に実行する,解法に依存しないフレームワークを提案する。 エージェントは、パイプライン層間の条件付きイテレーションを導入する品質ゲートを備えた共有コンテキスト空間上の条件付き演算子として形式化される。
  論文  参考訳（メタデータ） (2026-04-08T07:56:34Z)
• Evaluating Robustness of Reasoning Models on Parameterized Logical Problems [20.78623024814435]
  LogicはLSMベースの推論を評価するための制御されたテストベッドを提供する。 SATスタイルの標準ベンチマークでは、表面の難易度(長さ、単語、節順)を実際に満足度を決定する構造現象と区別することが多い。 構造化2-CNF式をパラメータ化して構築した2-SATの診断ベンチマークを提案する。
  論文  参考訳（メタデータ） (2026-02-13T06:54:25Z)
• Dynamics Within Latent Chain-of-Thought: An Empirical Study of Causal Structure [58.89643769707751]
  表現空間における潜在連鎖を操作可能な因果過程として研究する。 遅延ステップの予算は、均質な余分な深さよりも、非局所的なルーティングを備えたステージ機能のように振る舞う。 これらの結果は、モード条件と安定性を意識した分析を、潜伏推論システムの解釈と改善のための信頼性の高いツールとして動機付けている。
  論文  参考訳（メタデータ） (2026-02-09T15:25:12Z)
• The Reasoning-Creativity Trade-off: Toward Creativity-Driven Problem Solving [57.652356955571065]
  最先端の大規模言語モデル(LLM)パイプラインは、ブートストラップの推論ループに依存している。 我々は、この設計選択が、推論経路上のモデルの分布の崩壊にどのように敏感であるかを分析する。 本稿では,分散創造推論(DCR)について紹介する。これは,解トレースの確率測定を通じて,トレーニングを勾配流としてキャストする,統一的な変分目的である。
  論文  参考訳（メタデータ） (2026-01-02T17:10:31Z)
• DISPROTBENCH: A Disorder-Aware, Task-Rich Benchmark for Evaluating Protein Structure Prediction in Realistic Biological Contexts [76.59606029593085]
  DisProtBenchは、構造障害および複雑な生物学的条件下でタンパク質構造予測モデル(PSPM)を評価するためのベンチマークである。 DisProtBenchはデータの複雑さ、タスクの多様性、解釈可能性という3つの重要な軸にまたがっている。 その結果,機能的予測障害と相関する低信頼領域を有する障害下でのモデルロバスト性に有意な変動が認められた。
  論文  参考訳（メタデータ） (2025-06-18T23:58:22Z)
• Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
  Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。 RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。 批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。 AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
  論文  参考訳（メタデータ） (2025-04-21T04:56:47Z)
• Robust Self-Supervised LiDAR Odometry via Representative Structure Discovery and 3D Inherent Error Modeling [67.75095378830694]
  そこで我々は,2段階のオドメトリ推定ネットワークを構築し,一連の部分領域変換を推定してエゴモーメントを求める。 本稿では,トレーニング,推論,マッピングフェーズにおける信頼できない構造の影響を軽減することを目的とする。 我々の2フレームのオードメトリーは、翻訳/回転誤差の点で、過去の芸術の状態を16%/12%上回っている。
  論文  参考訳（メタデータ） (2022-02-27T12:52:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。