論文の概要: Profiling German Text Simplification with Interpretable Model-Fingerprints

• arxiv url: http://arxiv.org/abs/2601.13050v1
• Date: Mon, 19 Jan 2026 13:39:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:22.915686
• Title: Profiling German Text Simplification with Interpretable Model-Fingerprints
• Title（参考訳）: 解釈可能なモデルフィンガープリントによるドイツ語テキストの簡易化
• Authors: Lars Klöser, Mika Beele, Bodo Kraft,
• Abstract要約: 本稿では,簡易テキストの多次元的解釈可能な指紋を生成する診断ツールキットであるSimplification Profilerを紹介する。 我々の完全な特徴集合は、F1スコアの分類を71.9%まで達成し、単純なベースラインを48ポイント以上改善する。
• 参考スコア（独自算出の注目度）: 0.10705399532413612
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: While Large Language Models (LLMs) produce highly nuanced text simplifications, developers currently lack tools for a holistic, efficient, and reproducible diagnosis of their behavior. This paper introduces the Simplification Profiler, a diagnostic toolkit that generates a multidimensional, interpretable fingerprint of simplified texts. Multiple aggregated simplifications of a model result in a model's fingerprint. This novel evaluation paradigm is particularly vital for languages, where the data scarcity problem is magnified when creating flexible models for diverse target groups rather than a single, fixed simplification style. We propose that measuring a model's unique behavioral signature is more relevant in this context as an alternative to correlating metrics with human preferences. We operationalize this with a practical meta-evaluation of our fingerprints' descriptive power, which bypasses the need for large, human-rated datasets. This test measures if a simple linear classifier can reliably identify various model configurations by their created simplifications, confirming that our metrics are sensitive to a model's specific characteristics. The Profiler can distinguish high-level behavioral variations between prompting strategies and fine-grained changes from prompt engineering, including few-shot examples. Our complete feature set achieves classification F1-scores up to 71.9 %, improving upon simple baselines by over 48 percentage points. The Simplification Profiler thus offers developers a granular, actionable analysis to build more effective and truly adaptive text simplification systems.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、高度にニュアンスのあるテキストの単純化を生成するが、開発者は現在、その振る舞いの総体的、効率的、再現可能な診断のためのツールを欠いている。 本稿では,簡易テキストの多次元的解釈可能な指紋を生成する診断ツールキットであるSimplification Profilerを紹介する。 モデルの複数の集約された単純化により、モデルの指紋が生成される。 この新たな評価パラダイムは、単一で固定化された単純化スタイルではなく、多様なターゲットグループに対して柔軟なモデルを作成する際に、データ不足の問題を拡大する言語において特に不可欠である。 この文脈では、モデルのユニークな行動シグネチャを測定することが、人間の嗜好とメトリクスを関連付ける代替手段としてより重要となる。 我々は、大規模な人格データセットの必要性を回避し、指紋の記述力の実用的なメタ評価でこれを運用する。 このテストは、単純な線形分類器が生成した単純化によって様々なモデル構成を確実に識別できるかどうかを測定し、我々のメトリクスがモデルの特定の特性に敏感であることを確認します。 Profilerは、プロンプト戦略とプロンプトエンジニアリングからのきめ細かい変更の間の高レベルの振る舞いのバリエーションを区別することができる。 我々の完全な特徴集合は、F1スコアの分類を71.9%まで達成し、単純なベースラインを48ポイント以上改善する。 従って、Simplification Profilerは、より効率的で真に適応的なテキスト単純化システムを構築するために、開発者に粒度があり、実行可能な分析を提供する。

関連論文リスト

• Simplify-This: A Comparative Analysis of Prompt-Based and Fine-Tuned LLMs [0.0]
  大規模言語モデル(LLM)は強力なテキスト生成を可能にし、一般的には微調整と迅速なエンジニアリングのトレードオフがある。 本稿では,エンコーダ-デコーダ LLM を用いたテキスト単純化のパラダイムを比較検討する Simplify-This を紹介する。 微調整されたモデルは、常により強い構造的単純化をもたらすが、プロンプトはしばしば高い意味的類似度スコアを得るが、入力をコピーする傾向がある。
  論文  参考訳（メタデータ） (2026-01-09T13:46:52Z)
• Measuring and Analyzing Intelligence via Contextual Uncertainty in Large Language Models using Information-Theoretic Metrics [0.0]
  本稿では,任意のモデルに対して定量的な認知プロファイルを構築するタスク非依存手法を提案する。 このプロファイルはエントロピー・ディケー・カーブ(Entropy Decay Curve)を中心に構築されている。 また,情報ゲイン・スパン (IGS) を1つの指標として提案する。
  論文  参考訳（メタデータ） (2025-07-21T20:14:25Z)
• Retrieval is Accurate Generation [99.24267226311157]
  本稿では,支援文書の集合からコンテキスト認識句を選択する新しい手法を提案する。 本モデルでは,検索対象のベースラインの中で,最高の性能と低レイテンシを実現する。
  論文  参考訳（メタデータ） (2024-02-27T14:16:19Z)
• Quantifying Language Models' Sensitivity to Spurious Features in Prompt Design or: How I learned to start worrying about prompt formatting [68.19544657508509]
  言語モデル(LLM)は、言語技術の基本コンポーネントとして採用されている。 いくつかの広く使われているオープンソースLLMは、数ショット設定でプロンプトフォーマットの微妙な変更に対して非常に敏感であることがわかった。 本稿では,与えられたタスクに対して有効なプロンプトフォーマットのサンプルセットを迅速に評価するアルゴリズムを提案し,モデル重み付けにアクセスせずに期待性能の間隔を報告する。
  論文  参考訳（メタデータ） (2023-10-17T15:03:30Z)
• Document-Level Text Simplification: Dataset, Criteria and Baseline [75.58761130635824]
  文書レベルのテキスト単純化の新しいタスクを定義し,検討する。 Wikipediaダンプに基づいて、我々はまずD-Wikipediaという大規模なデータセットを構築した。 本稿では,文書レベルの単純化作業に適したD-SARIと呼ばれる新しい自動評価指標を提案する。
  論文  参考訳（メタデータ） (2021-10-11T08:15:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。