論文の概要: MuTSE: A Human-in-the-Loop Multi-use Text Simplification Evaluator
- arxiv url: http://arxiv.org/abs/2604.08947v1
- Date: Fri, 10 Apr 2026 04:31:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-13 17:57:53.683244
- Title: MuTSE: A Human-in-the-Loop Multi-use Text Simplification Evaluator
- Title(参考訳): MuTSE: マルチユーステキスト簡易評価器
- Authors: Rares-Alexandru Roscan, Gabriel Petre1, Adrian-Marius Dumitran, Angela-Liliana Dumitran,
- Abstract要約: textbfMuTSEfootnoteは、大規模言語モデルの評価を合理化するために設計されたインタラクティブなヒューマン・イン・ザ・ループ・ウェブアプリケーションである。
このシステムは、P倍M$プロンプトモデル置換の同時実行をサポートし、リアルタイムに包括的な比較行列を生成する。
- 参考スコア(独自算出の注目度): 0.13048920509133807
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: As Large Language Models (LLMs) become increasingly prevalent in text simplification, systematically evaluating their outputs across diverse prompting strategies and architectures remains a critical methodological challenge in both NLP research and Intelligent Tutoring Systems (ITS). Developing robust prompts is often hindered by the absence of structured, visual frameworks for comparative text analysis. While researchers typically rely on static computational scripts, educators are constrained to standard conversational interfaces -- neither paradigm supports systematic multi-dimensional evaluation of prompt-model permutations. To address these limitations, we introduce \textbf{MuTSE}\footnote{The project code and the demo have been made available for peer review at the following anonymized URL. https://osf.io/njs43/overview?view_only=4b4655789f484110a942ebb7788cdf2a, an interactive human-in-the-loop web application designed to streamline the evaluation of LLM-generated text simplifications across arbitrary CEFR proficiency targets. The system supports concurrent execution of $P \times M$ prompt-model permutations, generating a comprehensive comparison matrix in real-time. By integrating a novel tiered semantic alignment engine augmented with a linearity bias heuristic ($λ$), MuTSE visually maps source sentences to their simplified counterparts, reducing the cognitive load associated with qualitative analysis and enabling reproducible, structured annotation for downstream NLP dataset construction.
- Abstract(参考訳): 大規模言語モデル (LLM) がテキストの単純化においてますます普及するにつれて、様々なプロンプト戦略やアーキテクチャにまたがるアウトプットを体系的に評価することは、NLP研究とインテリジェント・チューリング・システム (ITS) において重要な方法論的課題である。
堅牢なプロンプトの開発は、しばしば比較テキスト分析のための構造化された視覚的フレームワークが欠如していることによって妨げられる。
研究者は通常静的な計算スクリプトに頼っているが、教育者は標準的な会話インタフェースに制約されている。
これらの制限に対処するために、プロジェクトコードとデモが以下の匿名URLでピアレビューで利用可能になった。
https://osf.io/njs43/overview?
view_only=4b4655789f484110a942ebb7788cdf2aは、任意のCEFR習熟目標に対してLLM生成したテキストの簡易化の評価を合理化するために設計されたインタラクティブなヒューマン・イン・ザ・ループ・ウェブアプリケーションである。
このシステムは、$P \times M$ prompt-model permutationの同時実行をサポートし、リアルタイムに包括的な比較行列を生成する。
線形性バイアスヒューリスティック(λ$)を付加した新しい階層型セマンティックアライメントエンジンを統合することで、MutSEは、ソース文を単純化された文に視覚的にマッピングし、質的分析に関連する認知負荷を低減し、下流のNLPデータセット構築のための再現可能な構造化アノテーションを可能にする。
関連論文リスト
- UniT: Unified Multimodal Chain-of-Thought Test-time Scaling [85.590774707406]
統一モデルは単一のアーキテクチャ内でマルチモーダル理解と生成の両方を扱うことができるが、通常は出力を反復的に書き換えることなく単一のパスで操作する。
マルチモーダルなテストタイムスケーリングのためのフレームワークであるUniTを導入し、単一の統一モデルで複数のラウンドをまたいだ推論、検証、精査を可能にします。
論文 参考訳(メタデータ) (2026-02-12T18:59:49Z) - Simplify-This: A Comparative Analysis of Prompt-Based and Fine-Tuned LLMs [0.0]
大規模言語モデル(LLM)は強力なテキスト生成を可能にし、一般的には微調整と迅速なエンジニアリングのトレードオフがある。
本稿では,エンコーダ-デコーダ LLM を用いたテキスト単純化のパラダイムを比較検討する Simplify-This を紹介する。
微調整されたモデルは、常により強い構造的単純化をもたらすが、プロンプトはしばしば高い意味的類似度スコアを得るが、入力をコピーする傾向がある。
論文 参考訳(メタデータ) (2026-01-09T13:46:52Z) - Textual Self-attention Network: Test-Time Preference Optimization through Textual Gradient-based Attention [11.162559089998576]
本稿では,テスト時間優先最適化のための新しいパラダイムである Textual Self-Attention Network (TSAN) を提案する。
TSANは、このギャップを克服するために、自然言語で完全に自己注意をエミュレートする。
TSANは、ベースSFTモデルでわずか3回のテストタイムのイテレーションで、Llama-3.1-70B-Instructのような教師付きモデルを上回った。
論文 参考訳(メタデータ) (2025-11-10T04:01:46Z) - Chat-Driven Text Generation and Interaction for Person Retrieval [16.448356660477682]
我々は,Multi-Turn Text Generation(MTG)とMulti-Turn Text Interaction(MTI)の2つの補完モジュールを紹介する。
MTGはMLLMとのシミュレートされた対話を通じて豊かな擬似ラベルを生成し、手動による監督なしに細粒度で多様な視覚的記述を生成する。
MTIは動的対話に基づく推論を通じて推論時にユーザクエリを洗練し、曖昧で不完全、曖昧な記述をシステムが解釈し、解決できるようにする。
論文 参考訳(メタデータ) (2025-09-16T04:40:24Z) - Rethinking Testing for LLM Applications: Characteristics, Challenges, and a Lightweight Interaction Protocol [83.83217247686402]
大言語モデル(LLM)は、単純なテキストジェネレータから、検索強化、ツール呼び出し、マルチターンインタラクションを統合する複雑なソフトウェアシステムへと進化してきた。
その固有の非決定主義、ダイナミズム、文脈依存は品質保証に根本的な課題をもたらす。
本稿では,LLMアプリケーションを3層アーキテクチャに分解する: textbftextitSystem Shell Layer, textbftextitPrompt Orchestration Layer, textbftextitLLM Inference Core。
論文 参考訳(メタデータ) (2025-08-28T13:00:28Z) - Discrete Tokenization for Multimodal LLMs: A Comprehensive Survey [69.45421620616486]
本研究は、大規模言語モデル(LLM)用に設計された離散トークン化手法の最初の構造的分類と解析である。
古典的および近代的なパラダイムにまたがる8つの代表的なVQ変種を分類し、アルゴリズムの原理を分析し、力学を訓練し、LLMパイプラインとの統合に挑戦する。
コードブックの崩壊、不安定な勾配推定、モダリティ固有の符号化制約など、重要な課題を特定する。
論文 参考訳(メタデータ) (2025-07-21T10:52:14Z) - CSE-SFP: Enabling Unsupervised Sentence Representation Learning via a Single Forward Pass [3.0566617373924325]
プレトレーニング言語モデル(PLM)の最近の進歩は、この分野において顕著な進歩をもたらした。
CSE-SFPは,生成モデルの構造的特徴を利用する革新的な手法である。
CSE-SFPは高品質な埋め込みを実現するだけでなく、トレーニング時間とメモリ消費を著しく削減する。
論文 参考訳(メタデータ) (2025-05-01T08:27:14Z) - In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。
これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。
本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-10-04T03:39:28Z) - Thinking Fair and Slow: On the Efficacy of Structured Prompts for Debiasing Language Models [14.405446719317291]
既存のデバイアス技術はトレーニングベースまたはモデルの内部および出力分布へのアクセスを必要とするのが一般的である。
我々は,システム2の思考プロセスを適用し,論理的,反射的,批判的テキスト生成を誘導する,包括的エンドユーザー中心のデバイアスの反復的枠組みを評価する。
論文 参考訳(メタデータ) (2024-05-16T20:27:58Z) - Sequential Visual and Semantic Consistency for Semi-supervised Text
Recognition [56.968108142307976]
Scene Text Recognition (STR) は、大規模なアノテートデータを必要とする課題である。
既存のSTR法の多くは、STRモデルの性能を低下させ、ドメイン差を生じさせる合成データに頼っている。
本稿では,視覚的・意味的両面から単語レベルの整合性正則化を取り入れたSTRの半教師付き学習手法を提案する。
論文 参考訳(メタデータ) (2024-02-24T13:00:54Z) - MURMUR: Modular Multi-Step Reasoning for Semi-Structured Data-to-Text
Generation [102.20036684996248]
多段階推論を用いた半構造化データからテキストを生成するための,ニューロシンボリックなモジュラーアプローチであるMURMURを提案する。
WebNLG や LogicNLG のような2つのデータ・テキスト生成タスクについて実験を行った。
論文 参考訳(メタデータ) (2022-12-16T17:36:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。