論文の概要: What Reaches Expert Review? Representation, Structural Screening, and Candidate-Form Dependence in AI-Assisted Item Development
- arxiv url: http://arxiv.org/abs/2608.23766v1
- Date: Mon, 24 Aug 2026 18:57:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-26 14:09:34.56335
- Title: What Reaches Expert Review? Representation, Structural Screening, and Candidate-Form Dependence in AI-Assisted Item Development
- Title（参考訳）: 専門家のレビュー : 表現、構造スクリーニング、AI支援項目開発における候補形式依存性
- Abstract要約: 表現、構造的縮小、選択政策は 精神科医がどの項目や証拠を 受け取ったかを決定する
32,000件のビッグファイブ項目を関連づけた2つのインサイリコ調査を行い, 構造的評価と候補形式構築を通じて, セマンティックな表現から固定された情報源群を追従した。
- 参考スコア（独自算出の注目度）: 0.7834978654423369
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Between AI-assisted item generation and expert review sits a computational evaluator whose decisions are usually treated as technical preliminaries. Yet representation, structural reduction, and selection policy determine which items and evidence psychometricians ever receive. Across two linked in-silico studies of 32,000 selected Big Five items, we followed fixed source populations from semantic representation through structural evaluation and candidate-form construction. Broad agreement in semantic geometry concealed consequential local differences: identical wording acquired different construct evidence, different items survived, and intended attributes could disappear even as community correspondence improved. These sensitivities also differed across generated source populations. At the final review boundary, both eligibility policies filled every content cell in every evaluable form, yet they presented different wording. Across embedding configurations, inclusive primary forms shared a median of only 6 of 40 items, reflecting the total downstream consequence of changing representation across structural evidence and ranking. The apparent stability of global summaries and complete forms therefore concealed instability in the content reaching psychometricians. The computational evaluator is not neutral infrastructure between generation and expertise; it is an inspectable and revisable part of measurement design.
- Abstract（参考訳）: AIによるアイテム生成と専門家によるレビューの間には、意思決定は通常、技術的な前提として扱われる計算評価器がある。
しかし、表現、構造的縮小、選択政策は、どのアイテムやエビデンスを精神科医が受け取るかを決定する。
32,000件のビッグファイブ項目を関連づけた2つのインサイリコ調査を行い, 構造的評価と候補形式構築を通じて, セマンティックな表現から固定された情報源群を追従した。
意味幾何学における広範な合意は、同じ言葉が異なる構成証拠を取得し、異なる項目が生き残り、コミュニティの対応が改善されても、意図された属性が消えてしまうという、連続した局所的な違いを隠蔽した。
これらの感度は発生源の個体群によって異なる。
最終レビューのバウンダリでは、両方の資格ポリシーがすべての評価可能な形式ですべてのコンテンツセルを満足させたが、異なるワードが提示された。
埋め込み構成全体では、包括的一次形式は40項目中6項目の中央値を共有しており、構造的証拠とランキングをまたいだ表現の変化による全体的なダウンストリームの結果を反映している。
したがって、グローバルな要約と完全な形態の明らかな安定性は、精神科医に届く内容の不安定性を隠蔽した。
計算評価器は、世代と専門知識の間の中立的なインフラではなく、測定設計の検査可能で修正可能な部分である。
関連論文リスト
- When Does an Interpretation Count as Established? The Formation, Evaluation, and Responsibility of Interpretation in Generative AI [0.0]
この論文は、社会技術プロセスの中でどのように解釈が認識されるのかを問うものである。
資料とバージョン、明確な役割、失敗、契約修正、責任に関する5つの公的な要件を提案している。
論文 参考訳（メタデータ） (2026-09-04T05:58:41Z) - Object Counting Across Modalities: Taxonomies, Benchmarks, Applications, and Open Challenges [3.1411048327150546]
本稿では,構成シーン理解,アクティブカウントエージェント,統合マルチモーダル評価プロトコルのロードマップを提案する。
主な目的は、オープンワールドの一般化とベンチマーク固有の最適化を区別するために、堅牢な評価基盤を構築することである。
論文 参考訳（メタデータ） (2026-08-24T21:32:56Z) - When benchmark inferences do not compose: Projectibility in AI evaluation [0.0]
AIベンチマークの結果が1ステップで連続的なクレームに達することはめったにない。
評価者はそれをさらなるケースに一般化し、能力の証拠として解釈し、新しいタスクに外挿し、他のシステムやサイトへ輸送する。
保証リンクは保証チェーンを自動的に作らない。
論文 参考訳（メタデータ） (2026-07-28T18:07:04Z) - HiEviDR-Bench: A Benchmark for Hierarchical Evidence Aggregation in Deep Research [52.87128503345243]
我々は,Deep Researchにおける階層的エビデンス・アグリゲーションを評価するためのベンチマークであるHiEviDR-Benchを紹介する。
HiEviDR-Benchは、エビデンスの選択、クロスソースリンク、アグリゲーションをキャプチャする明示的なエビデンスグラフを持つ各インスタンスを表す。
報告品質,エビデンストレーサビリティ,引用精度,クレーム検証,回答正当性という5次元のトレーサビリティ指向評価フレームワークを開発した。
論文 参考訳（メタデータ） (2026-07-27T23:50:46Z) - Representing Entity Importance in AI Knowledge Systems: A Dual-Signal Framework of Audience Evaluation and Structural Authority [0.0]
AI知識システムは、検索、レコメンデーション、エビデンスの選択、知識集約推論のために、エンティティの重要性の表現を必要とする。
本研究では,各実体がオーディエンス次元と構造的オーソリティ次元によって特徴づけられる解釈可能な二重信号表現を提案する。
その結果、観客の評価と構造的権威は非冗長な信号であり、自動的に重要性の単一の概念に分解するべきではないことがわかった。
論文 参考訳（メタデータ） (2026-07-23T05:06:09Z) - How Far Did They Go? The Persuasive Tactics of Covert LLM Agents in a Discontinued Field Experiment [12.686044001239708]
本研究では、Redditのr/ChangeMyViewにおけるフィールド実験の中止から、公開データセットを分析した。
この介入は、未知の外部研究者によって実施され、倫理的反発を受けて停止された。
公開公開後、Redditはモデレーターに対して、AI生成されたコメントのアーカイブをリリースすることを許可した。
論文 参考訳（メタデータ） (2026-06-03T15:58:32Z) - Interactive Evaluation Requires a Design Science [90.62695599188204]
大規模言語モデル(LLM)は、ツールや環境、ユーザ、その他のエージェントを通じて、時間とともに機能するシステムとして、ますます多くデプロイされている。
フィールドはインタラクティブなベンチマークを構築し始めたが、その結果のランドスケープは断片化されている。
本論では,対話的評価は原則的評価パラダイムとして扱うべきであると論じる。
論文 参考訳（メタデータ） (2026-05-18T04:03:18Z) - DeepSynth-Eval: Objectively Evaluating Information Consolidation in Deep Survey Writing [53.85037373860246]
本稿では,情報統合能力を客観的に評価するためのベンチマークであるDeep Synth-Evalを紹介する。
一般チェックリスト(実例)と制約チェックリスト(構造体)を用いたきめ細かい評価プロトコルを提案する。
その結果,エージェント型プラン・アンド・ライトは単ターン生成よりも大幅に優れていた。
論文 参考訳（メタデータ） (2026-01-07T03:07:52Z) - How Metacognitive Architectures Remember Their Own Thoughts: A Systematic Review [16.35521789216079]
メタ認知は、人工エージェントの自律性と適応性を高める可能性に大きな注目を集めている。
既存の概要は、基礎となるアルゴリズム、表現、そしてそれぞれの成功に気付かない概念レベルに留まっている。
論文 参考訳（メタデータ） (2025-02-28T08:48:41Z) - Detecting and Identifying Selection Structure in Sequential Data [53.24493902162797]
我々は,音楽のシーケンスなどの実践的な状況において,潜在目的に基づくデータポイントの選択的包摂が一般的である,と論じる。
選択構造はパラメトリックな仮定や介入実験なしで識別可能であることを示す。
また、他の種類の依存関係と同様に、選択構造を検知し、識別するための証明可能な正当性アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-06-29T20:56:34Z) - Deconstructing Self-Supervised Monocular Reconstruction: The Design
Decisions that Matter [63.5550818034739]
本稿では,自己教師付き単分子深度推定への最先端の貢献を評価するための枠組みを提案する。
事前トレーニング、バックボーン、アーキテクチャ設計の選択、損失関数が含まれる。
我々は16の最先端コントリビューションを再実装し、検証し、再評価し、新しいデータセットを導入します。
論文 参考訳（メタデータ） (2022-08-02T14:38:53Z) - Weakly-Supervised Aspect-Based Sentiment Analysis via Joint
Aspect-Sentiment Topic Embedding [71.2260967797055]
アスペクトベース感情分析のための弱教師付きアプローチを提案する。
We learn sentiment, aspects> joint topic embeddeds in the word embedding space。
次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
論文 参考訳（メタデータ） (2020-10-13T21:33:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。