論文の概要: Coherence-Aware Distributional Evaluation of Open-Ended Text Generation

• arxiv url: http://arxiv.org/abs/2609.34240v2
• Date: Tue, 29 Sep 2026 05:03:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.725642
• Title: Coherence-Aware Distributional Evaluation of Open-Ended Text Generation
• Title（参考訳）: オープンエンディングテキスト生成におけるコヒーレンスを考慮した分布評価
• Abstract要約: グローバル・コヒーレンス・失敗の 中心的ボトルネックとしての表現です CHORD (Coherence-aware Hidden-state Open- Generation Reference Distance) は生成されたコーパスと人書きコーパスを符号化する。 結果は、信頼性の高い分布評価の中心として表現設計を確立する。
• 参考スコア（独自算出の注目度）: 4.3363673706639885
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing open-ended generation metrics measure likelihood, lexical diversity, or distributional similarity in generic representation space, yet can miss fundamental dimensions of quality. A prominent blind spot is global coherence: a generated passage may be locally fluent while remaining globally contradictory, causally inconsistent, or topically disconnected. We identify representation as a central bottleneck in detecting these failures and introduce CHORD (Coherence-aware Hidden-state Open-generation Reference Distance), a coherence-sensitive distributional metric. CHORD encodes generated and human-written corpora in the hidden-state space of a frozen LLM using a coherence-eliciting prompt, and compares the resulting distributions using RBF-MMD. To test coherence sensitivity and selectivity, we construct a counterfactual evaluation suite pairing graded coherence-degrading perturbations with meaning-preserving controls. CHORD selectively detects relation, discourse, structural, and mixture failures that perplexity, entropy, MAUVE, FBD, and MMD-based baselines either miss or cannot separate from benign rewriting. Factorial ablations show that representation is the primary source of coherence sensitivity, while RBF-MMD improves sample efficiency. Larger backbones capture finer-grained distinctions, but coherence prompting improves selectivity only when the backbone can follow the prompt. On unconditional generation and prefix continuation, CHORD yields model rankings that strongly align with human judgments of whether outputs make sense and appear human-written. Together, these results establish representation design as central to reliable distributional evaluation. Code: https://github.com/MAPS-research/CHORD. Experiments: https://github.com/MAPS-research/CHORD-Experiment.
• Abstract（参考訳）: 既存のオープン・エンド・ジェネレーション・メトリクスは、一般的な表現空間における可能性、語彙的多様性、あるいは分布的類似度を測定するが、品質の基本的な次元を見逃すことがある。 生成された通路は、グローバルに矛盾する、因果的に矛盾しない、あるいは位相的に不連結なまま、局所的に流動的である。 我々は,これらの障害を検出する上で,表現が中心的なボトルネックであると認識し,コヒーレンスに敏感な分布指標であるCHORD(Coherence-aware Hidden-state Reference Distance)を導入する。 CHORDは、コヒーレンス消去プロンプトを用いて凍結LDMの隠れ状態空間における生成および人文コーパスを符号化し、RBF-MMDを用いて結果の分布を比較する。 コヒーレンス感度と選択性をテストするために,コヒーレンス劣化摂動と意味保存制御を組み合わせた対実的評価スイートを構築した。 CHORDは、複雑度、エントロピー、MAUVE、FBD、MDDベースのベースラインなどの関係、談話、構造、混合障害を選択的に検出する。 因子的アブレーションは、表現がコヒーレンス感受性の主要な源であることを示し、RBF-MMDはサンプル効率を改善する。 より大きなバックボーンはより微細な区別を捉えるが、コヒーレンス・プロンプトはバックボーンがプロンプトに従う場合にのみ選択性が向上する。 条件のない生成とプレフィックスの継続について、CHORDは、アウトプットが理にかなっているかどうかの人間の判断と強く一致するモデルランキングを出力する。 これらの結果とともに、表現設計を信頼性の高い分布評価の中心として確立する。 コード:https://github.com/MAPS-research/CHORD。 実験:https://github.com/MAPS-research/CHORD-experiment。

関連論文リスト

• GLIDE: Generalized Layer-wise Intrinsic Distributional Evaluation for Heterogeneous LLM Agents [11.225427879489155]
  LLMエージェントは、候補分岐を比較し、計算を効果的に割り当てるために、信頼性の高いステップレベルの評価を必要とする。 LLMエージェントに対するtextbf Generalized textbfLayer-wise textbfIntrinsic textbfDistributional textbfEvaluation (textbfGLIDE)を提案する。
  論文  参考訳（メタデータ） (2026-09-26T06:37:41Z)
• Localizing Global Discrepancies: Marginal Contributions and Contextual Anomaly Detection [0.9688708385192246]
  グローバル・グッド・オブ・フィットと不一致の統計は、サンプルが基準分布から出発し、どの観測結果が出発を駆動するかを特定することなく決定することができる。 本研究では, ランダムな統計的文脈にまたがる条件あるいは限界的な寄与を各観測者に割り当てることにより, この局所化問題の枠組みを構築する。 共有ラテント玩具モデルにおいて、コンテキストがイベント自身の機能以外の情報を含むかどうかを問う。
  論文  参考訳（メタデータ） (2026-08-28T14:27:33Z)
• Structuring Semantic Embeddings for Principle Evaluation: A Prototype-Guided Contrastive Learning Approach [58.15427952222424]
  汎用的なテキスト埋め込みはそのようなタスクに広くデプロイされているが、意味的類似性は意味的に似ているがタスク固有の例を示すことができる。 本稿では,凍結したテキスト埋め込み上に構築された幾何正規化モジュールであるPGCL(Prototype-Guided Contrastive Learning)を紹介する。
  論文  参考訳（メタデータ） (2026-08-15T13:19:25Z)
• The Attribution Blind Spot: Detecting When Language Models Rely on Memory Rather Than Retrieved Context [22.202409807556517]
  帰属盲点に対処するために,計算現実モニタリングを導入する。 CRMは、認知科学の現実監視フレームワークから適応した原則を運用する。 プレトレーニングされた露光が測定可能な内部軌道シグネチャを残すかどうかを検出する。
  論文  参考訳（メタデータ） (2026-05-26T09:48:51Z)
• K$α$LOS finds Consensus: A Meta-Algorithm for Evaluating Inter-Annotator Agreement in Complex Vision Tasks [4.297070083645049]
  本稿では,「ローカライゼーションファースト」の原理を一般化した統一メタアルゴリズムであるK$LOSを提案する。 合意を査定する前に空間対応を解消することにより,複雑な分類問題を名目上の信頼性に変換する。
  論文  参考訳（メタデータ） (2026-03-28T08:54:05Z)
• Reasoning-Driven Amodal Completion: Collaborative Agents and Perceptual Evaluation [17.405818788700234]
  本稿では,視覚合成から意味的計画を明確に分離する協調的マルチエージェント推論フレームワークを提案する。 提案手法は,画素生成前の構造的,明示的なプランを生成し,視覚的,意味的に整合した単一パス合成を可能にする。 従来の評価基準の限界に対処し,新しい人間対応評価指標MAC-Scoreを導入する。
  論文  参考訳（メタデータ） (2025-12-24T04:39:45Z)
• Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
  Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。 RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。 批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。 AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
  論文  参考訳（メタデータ） (2025-04-21T04:56:47Z)
• AMRFact: Enhancing Summarization Factuality Evaluation with AMR-Driven Negative Samples Generation [57.8363998797433]
  抽象的意味表現(AMR)を用いた摂動要約を生成するフレームワークであるAMRFactを提案する。 提案手法は,AMRグラフに一貫した要約を解析し,制御された事実不整合を注入して負の例を生成し,一貫性のない事実不整合要約を高い誤差型カバレッジで生成する。
  論文  参考訳（メタデータ） (2023-11-16T02:56:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。