論文の概要: "I've Seen How This Goes": Characterizing Diversity via Progressive Conditional Surprise

• arxiv url: http://arxiv.org/abs/2606.01811v1
• Date: Mon, 01 Jun 2026 07:27:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:31.492454
• Title: "I've Seen How This Goes": Characterizing Diversity via Progressive Conditional Surprise
• Title（参考訳）: こうなったか」:「進行的条件」による多様性の特質
• Authors: Matthew Khoriaty, David Williams-King, Shi Feng,
• Abstract要約: そこで本研究では,文脈内学習を用いた多様性測定手法を提案する。 バイト単位のスコアは、ベースモデルのトークン単位のログ確率を読み取る。 OLMo-2-7Bのポストトレーニングパイプラインでは、$D_Ca_n$がベース$to$SFT $to$DPO $to$RLVRステージに散りばめられ、クリエイティブなアプリケーションにとって関心のある多様性損失の種類を検出する。
• 参考スコア（独自算出の注目度）: 6.707563964399177
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Measuring the diversity of creative outputs is central to evaluating post-training mode collapse, comparing decoding strategies, and quantifying creative behavior in both AI and human writing. We propose a new approach to measuring diversity using in-context learning, of which the ``Decan'' metric, $D_{Ca_n} = C \times a_n$, is the working instance we evaluate: a per-byte score read off the per-token log-probabilities of a base model $θ$ in a \emph{single forward pass} per permutation, with no embedding model, no reference corpus, and no human labels. This approach is grounded in information theory, makes use of language model in-context learning to detect a wide range of similarities between any number of inputs, and obviates the need to train a special-purpose model. The same pipeline scores AI samples and human-written response sets, with diversity treated as a property of (responses, prompt, scoring model). On Tevet and Berant's human-grounded McDiv benchmark, $D_{Ca_n}$ reaches OCA 0.846 on the McDiv prompt\_gen set where it performs best, behind the strongest neural baseline reported in Tevet and Berant (SentBERT, 0.897). On the OLMo-2-7B post-training pipeline, $D_{Ca_n}$ drops monotonically across the base $\to$ SFT $\to$ DPO $\to$ RLVR stages, detecting the type of diversity loss that creative-writing applications care about.
• Abstract（参考訳）: 創造的なアウトプットの多様性を測定することは、トレーニング後のモードの崩壊を評価し、デコード戦略を比較し、AIと人文の両方で創造的な振る舞いを定量化する上で、中心となる。 In-context Learning, which which the `D_{Ca_n} = C \times a_n$, is the working instance: a perbyte score read off the per-token log-probabilities of a base model $θ$ in a \emph{single forward pass} permutation with no embeddedding model, no reference corpus, and no human labels。 このアプローチは情報理論に基づいており、言語モデルを用いたコンテキスト内学習を用いて任意の入力間の幅広い類似性を検知し、特別な目的のモデルを訓練する必要性を回避している。 同じパイプラインはAIサンプルと人書きの応答セットをスコアし、多様性は(応答、プロンプト、スコアリングモデル)プロパティとして扱われる。 Tevet and Berant's human-grounded McDiv benchmarkでは、$D_{Ca_n}$がMcDivのプロンプト\_genセットでOCA 0.846に達し、Tevet and Berant(SentBERT, 0.897)で報告されている最強の神経ベースラインの背後で、最もパフォーマンスが良い。 OLMo-2-7Bのポストトレーニングパイプラインでは、$D_{Ca_n}$が単調にベース全体に$\to$ SFT $\to$ DPO $\to$ RLVRステージをドロップし、クリエイティブなアプリケーションにとって関心のある多様性損失の種類を検出する。

関連論文リスト

• Catch Your Breath: Adaptive Computation for Self-Paced Sequence Production [55.76222360698305]
  我々は,言語モデルが入力トークン毎に使用する計算ステップの数を動的かつ自律的に拡張できるような,教師付きトレーニング目標のクラスを探索する。 任意のトークンに対して、モデルは don't know> 出力を出力することで、追加の計算ステップを要求できる。 CYBモデルでは精度が向上し,トークンレベルの複雑性とコンテキストに処理時間を適用することができる。
  論文  参考訳（メタデータ） (2025-10-13T21:07:05Z)
• DISCO: Diversifying Sample Condensation for Efficient Model Evaluation [59.01400190971061]
  コスト評価は傾向を低下させ、イノベーションのサイクルを遅くし、環境への影響を悪化させる。 モデル応答の多様性を最大化するサンプルを選択することが重要となる。 我々のメソッドである$textbfDiversifying Sample Condensation (DISCO)$は、最も大きなモデル不一致を持つトップkサンプルを選択します。
  論文  参考訳（メタデータ） (2025-10-09T08:53:59Z)
• Reliability, Embeddedness, and Agency: A Utility-Driven Mathematical Framework for Agent-Centric AI Adoption [0.0]
  我々は,マルチステップタスクを実行するエージェント中心のAIシステムの採用を継続するための3つの公理を定式化する。 我々は、崩壊するノベルティ用語と成長するユーティリティ用語の和として、採用をモデル化する。
  論文  参考訳（メタデータ） (2025-08-18T12:53:38Z)
• Certifiably Robust Model Evaluation in Federated Learning under Meta-Distributional Shifts [8.700087812420687]
  異なるネットワーク "B" 上でモデルの性能を保証する。 我々は、原則付きバニラDKWバウンダリが、同じ(ソース)ネットワーク内の未確認クライアント上で、モデルの真のパフォーマンスの認証を可能にする方法を示す。
  論文  参考訳（メタデータ） (2024-10-26T18:45:15Z)
• Differentially Private Reward Estimation with Preference Feedback [15.943664678210146]
  嗜好に基づくフィードバックから学ぶことは最近、生成モデルと人間の関心を結びつけるための有望なアプローチとして、かなりの注目を集めている。 上記のパイプラインの任意のステップにおける敵攻撃は、人間のラベルのプライベートで機密性の高い情報を明らかにする可能性がある。 我々は、各ラベルのプライバシーを保護しつつ、嗜好に基づくフィードバックからの報酬推定の問題に焦点をあてる。
  論文  参考訳（メタデータ） (2023-10-30T16:58:30Z)
• Label-Retrieval-Augmented Diffusion Models for Learning from Noisy Labels [61.97359362447732]
  ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。 本稿では,生成モデルの観点からラベルノイズ問題を再構成する。 我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
  論文  参考訳（メタデータ） (2023-05-31T03:01:36Z)
• Improving Robustness and Generality of NLP Models Using Disentangled Representations [62.08794500431367]
  スーパービジョンニューラルネットワークはまず入力$x$を単一の表現$z$にマップし、次に出力ラベル$y$にマッピングする。 本研究では,非交叉表現学習の観点から,NLPモデルの堅牢性と汎用性を改善する手法を提案する。 提案した基準でトレーニングしたモデルは、広範囲の教師付き学習タスクにおいて、より堅牢性とドメイン適応性を向上することを示す。
  論文  参考訳（メタデータ） (2020-09-21T02:48:46Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。