Fugu-MT 論文翻訳(概要): A Dual-Dimensional LLM Framework for Automated Item Incidental Content Similarity Analysis in Large-Scale Assessments

論文の概要: A Dual-Dimensional LLM Framework for Automated Item Incidental Content Similarity Analysis in Large-Scale Assessments

arxiv url: http://arxiv.org/abs/2608.24825v1
Date: Tue, 25 Aug 2026 17:07:16 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-26 14:09:35.112528
Title: A Dual-Dimensional LLM Framework for Automated Item Incidental Content Similarity Analysis in Large-Scale Assessments
Title（参考訳）: 大規模評価における自動項目内容類似度分析のための2次元LLMフレームワーク
Abstract要約: 本研究では,Large Language Models (LLMs) を用いた項目類似度自動解析のための2次元フレームワークを提案する。 LLMは構造的分解と意味的関連性を通して類似性を運用する。心理学的検証は、LCM由来のメトリクスが構成非関連局所依存の指標とより密接に一致していることを示している。
参考スコア（独自算出の注目度）: 2.2404539130909376
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The rapid expansion of large-scale assessments and the growing adoption of automatic item generation have intensified concerns about incidental content redundancy, where construct-irrelevant elements such as wording or contextual framing become unintentionally repetitive across items. Traditional similarity metrics like BLEU or cosine similarity, often fail to capture the nuanced structural and semantic layers that drive perceived redundancy simultaneously. This study proposes a dual-dimensional framework for Automated Item Similarity Analysis (AISA) powered by Large Language Models (LLMs), operationalizing similarity through Structured Decomposition and Semantic Relatedness. Psychometric validation indicates that LLM-derived metrics align more closely with indicators of construct-irrelevant local dependence and yield more coherent item parameter groupings than traditional text-based measures. The framework is further evaluated through its application in Computerized Adaptive Testing (CAT). Simulations reveal that incorporating LLM-based similarity constraints into item selection improves estimation stability and reduces bias with minimal efficiency trade-offs, outperforming constraints based on conventional metrics. These findings highlight the potential of LLM-powered AISA to support scalable bank curation, content-aware test assembly, and experience-sensitive adaptive testing across diverse assessment contexts.
Abstract（参考訳）: 大規模評価の急激な拡大と自動項目生成の導入は、ワード処理やコンテキストフレーミングといった構成非関連要素が、項目間で意図しない反復的になるという、偶発的コンテンツ冗長性への懸念を強めている。 BLEUやコサイン類似といった従来の類似度メトリクスは、認識冗長性を同時に駆動するニュアンスのある構造層やセマンティック層をキャプチャできないことが多い。本研究では,Large Language Models (LLM) を用いたAISA(Automated Item similarity Analysis)のための2次元フレームワークを提案する。心理学的検証は、LCM由来のメトリクスは、構成非関連な局所依存の指標とより密接に一致し、従来のテキストベースの尺度よりも一貫性のある項目パラメータ群が得られていることを示している。このフレームワークはComputerized Adaptive Testing (CAT) でさらに評価されている。 LLMに基づく類似性制約を項目選択に組み込むことで、推定安定性が向上し、バイアスを最小限の効率トレードオフで低減し、従来の指標に基づく制約よりも優れた結果が得られた。これらの知見は、スケーラブルな銀行キュレーション、コンテンツ対応テストアセンブリ、各種評価コンテキストにおける経験適応テストをサポートするLLMベースのAISAの可能性を強調した。

関連論文リスト

The Illusion of Multi-Agent Advantage [63.92466143571383]
専門家が設計したマルチエージェントシステム(MAS)は、生の性能とコスト効率において、自動生成されたアーキテクチャを一貫して上回っていることを示す。既存の評価フレームワークは、計算コストの増加の限界効用を考慮せず、アーキテクチャ上の重要なギャップと非効率を隠蔽している。
論文参考訳（メタデータ） (2026-06-11T07:39:24Z)
On the Limitations of Large Language Models for Conceptual Database Modeling [0.0]
本稿では,関係データベースの概念モデリングを支援するため,Large Language Models (LLMs) の利用について分析する。このアプローチは、異なる言語モデルと迅速なエンジニアリング技術を組み合わせて、エンティティを識別する能力を評価する。
論文参考訳（メタデータ） (2026-05-12T11:35:59Z)
SimReg: Achieving Higher Performance in the Pretraining via Embedding Similarity Regularization [55.63565289584336]
SimRegは埋め込み類似性正規化損失であり、各シーケンス内で同じ基幹ラベルを持つトークン表現をより類似させる。分析の結果, この機構は多分類マージンを増大させ, より効率的な分類を可能にした。
論文参考訳（メタデータ） (2026-05-09T08:59:13Z)
Coordinates of Capability: A Unified MTMM-Geometric Framework for LLM Evaluation [2.464003792743989]
本稿では,Large Language Models (LLMs) 評価のための汎用多言語多手法(MTMM)フレームワークを提案する。パラフレーズ不安定度,ドリフトスコア,オーバートン幅,プラナリズムスコアの9つの評価指標を定式化し,共有潜在座標空間内の幾何的測度として解釈する。タスク非関連摂動を真の能力の範囲から体系的に分離することにより、このフレームワークは、堅牢で経験的に安定したベンチマーク設計のために理論的に基礎とドメインに依存しない分類を提供する。
論文参考訳（メタデータ） (2026-05-08T22:05:19Z)
SERE: Structural Example Retrieval for Enhancing LLMs in Event Causality Identification [50.174050426976514]
事象因果同定(ECI)は、ある文脈におけるある一対の事象が因果関係を示すかどうかを決定するモデルを必要とする。大規模言語モデル(LLM)は様々なNLPタスクに対して高い性能を示してきたが、因果推論のバイアスのため、ECIにおけるその有効性は制限されている。 LLMの少数ショット学習機能を活用した構造例検索フレームワークSEREを提案する。
論文参考訳（メタデータ） (2026-05-05T12:50:19Z)
Transforming External Knowledge into Triplets for Enhanced Retrieval in RAG of LLMs [55.78708003681562]
Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)における幻覚を、生成時に外部知識を取り入れることで緩和する。既存のRAGアプローチは通常、コンテキストとしてテキストフラグメントを検索し、非構造化する。本稿では,三重項に基づく検索フレームワークTri-RAGを提案する。
論文参考訳（メタデータ） (2026-04-14T11:36:29Z)
RPA-Check: A Multi-Stage Automated Framework for Evaluating Dynamic LLM-based Role-Playing Agents [4.07447364754644]
本稿では,LLM ベースの RPA の性能を客観的に評価する多段階自動評価フレームワーク RPA-Check を紹介する。我々は,この枠組みを,いくつかの定量化ローカルモデルを含む法医学的な訓練のための真剣なゲームであるLLM Courtに適用することで検証する。
論文参考訳（メタデータ） (2026-04-13T16:08:03Z)
Table-BiEval: A Self-Supervised, Dual-Track Framework for Decoupling Structure and Content in LLM Evaluation [11.450834626205676]
Table-BiEvalは、人間の自由で自己管理的な評価フレームワークに基づく、新しいアプローチである。コンテンツセマンティック精度と正規化ツリー編集距離を計算し、構造をコンテンツから切り離す。結果は大きな変動を示し、中規模のモデルが驚くほど大きなモデルよりも構造効率が優れていることを浮き彫りにしている。
論文参考訳（メタデータ） (2026-01-09T07:38:27Z)
Accelerate Speculative Decoding with Sparse Computation in Verification [49.74839681322316]
投機的復号化は、複数のドラフトトークンを並列に検証することにより、自動回帰言語モデル推論を加速する。既存のスペーシフィケーション方式は主にトークン・バイ・トーケンの自己回帰復号化のために設計されている。そこで本研究では,注目度,FFN,MoEを両立させるスパース検証フレームワークを提案する。
論文参考訳（メタデータ） (2025-12-26T07:53:41Z)
NDCG-Consistent Softmax Approximation with Accelerated Convergence [67.10365329542365]
本稿では,ランキングの指標と直接一致した新たな損失定式化を提案する。提案したRG損失を高効率な Alternating Least Squares (ALS) 最適化手法と統合する。実世界のデータセットに対する実証的な評価は、我々のアプローチが同等または上位のパフォーマンスを達成することを示す。
論文参考訳（メタデータ） (2025-06-11T06:59:17Z)
DCR-Consistency: Divide-Conquer-Reasoning for Consistency Evaluation and Improvement of Large Language Models [4.953092503184905]
この研究は、LLM(Large Language Models)生成したテキストの一貫性を評価し改善する自動化フレームワークであるDCRを提案する。本稿では,DCEからの出力を解釈可能な数値スコアに変換する自動計量変換器(AMC)を提案する。また,本手法は出力不整合の90%近くを著しく低減し,効果的な幻覚緩和の可能性を示唆している。
論文参考訳（メタデータ） (2024-01-04T08:34:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。