論文の概要: The Neighbour's Label: Opposite Subgroup Effects of Same-Dialogue Exposure in Next-Act Evaluation
- arxiv url: http://arxiv.org/abs/2611.15194v1
- Date: Wed, 11 Nov 2026 08:41:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.084659
- Title: The Neighbour's Label: Opposite Subgroup Effects of Same-Dialogue Exposure in Next-Act Evaluation
- Title(参考訳): 近隣住民のラベル--次世代評価における同ダイアログ曝露の肯定的サブグループ効果
- Abstract要約: 次に実施される評価は、対話間の一般化を測ることが目的であることが多い。
オーバーラップするウィンドウと類似性検索は、テストダイアログからラベル付き例を公開します。
我々は、SGD、STAR、AMIの制御された設計の下で、この露光を誘導する。
- 参考スコア(独自算出の注目度): 0.6808838765425994
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Window-based next-act evaluation often aims to measure generalisation across dialogues, yet overlapping windows and similarity retrieval can expose labelled examples from the test dialogue. The nearest such example is the target's labelled predecessor, whose act is correct when the target continues it and wrong when the target changes act; a model that copies it can gain and lose in two subgroups that one aggregate averages. We induce this exposure under controlled designs on SGD, STAR and AMI, whose official splits are clean. Randomly including the predecessor's row in training raises a lexical classifier's continuation scores and lowers its transition scores in all three corpora, and purging the adjacent rows removes most of the gain. With TF-IDF-retrieved demonstrations, two 7B instruction-tuned models show the same opposite pattern in all eight model-corpus-sample arms (some single-cell intervals include zero; one replication is partial), while natural-weight accuracy changes by only -0.05 to +0.04. Exposure frequency depends on the retrieval pipeline. We evaluate two diagnostic comparisons without model retraining and find that excluding the test dialogue does not detectably reduce accuracy on SGD. All exposure is induced; no published system was re-evaluated.
- Abstract(参考訳): ウィンドウベースの次世代評価は、しばしばダイアログ間の一般化を測定することを目的としているが、重なり合うウィンドウと類似性検索は、テストダイアログからラベル付き例を公開することができる。
最寄りの例は、目標のラベル付き前者であり、その行為は、目標が変更した時に、その動作が継続して誤っているときに正しい;それをコピーするモデルは、平均を1つ集める2つのサブグループで獲得し、失うことができる。
我々は、SGD、STAR、AMIの制御された設計の下でこの露光を誘導する。
前者の行を含むランダムなトレーニングでは、語彙分類器の継続スコアが上昇し、3つのコーパスすべてで遷移スコアが低下し、隣接する行が削除されることにより、ほとんどの利得が取り除かれる。
TF-IDF-recovered demosでは、2つの7B命令で調整されたモデルが8つのモデル-コーパス-サンプルアームで同じパターンを示す(いくつかのシングルセル間隔はゼロであり、1つのレプリケーションは部分的である)が、自然重量の精度は-0.05から+0.04に変化している。
露光周波数は、検索パイプラインに依存する。
モデル再トレーニングを伴わない2つの診断比較を行い,テストダイアログを除くとSGDの精度が著しく低下しないことを確認した。
すべての露光は誘発され、公表されたシステムは再評価されなかった。
関連論文リスト
- Auditing VLM Benchmarks from Existing Evaluation Runs [0.0]
視覚検出器モデル(VLM)のすべての評価実行によって生成される1回の探究アーチファクト
追加の監査層 VLMEvalKit: 6つの検出器が保存出力上の後処理検出器として動作する。
追加のテキストのみのテキストのみの再実行で、クエスト毎のレポートを出力する視覚的な入力が削除された。
論文 参考訳(メタデータ) (2026-10-09T13:05:22Z) - Gated Graph Neural Networks for Learning Hidden Independent Cascade Dynamics [50.02140519922548]
情報や伝染病はソーシャルネットワークを通じて広まっていますが、ノードごとのアクティベーション時間なしでは予測が難しいのです。
本研究では,Hydden Independent Cascade(HIC)モデルの下で,この逆問題について検討する。
本研究では,個々の潜伏カスケードを再構成することなく,ノードレベルのパラメータベクトルを復元するシミュレーションベースの補正推定器を提案する。
論文 参考訳(メタデータ) (2026-10-02T20:36:22Z) - When Residualization Helps an Audit: Format Effects, Slice Gains, and Their Limits [0.7734726150561088]
LLMシステムで使用される評価スコアは、測定する品質ではなく、表面形状を追跡することができる。
観測的NLIおよびQA設定では、不随伴アノテータのラベルを用いて評価する前に、保持された複製を凍結し、再評価する。
完全な人口合意は、報告された正のスライスゲインを持つすべての観測条件に該当し、要求内ランキングはそのようなQA設定すべてに該当する。
論文 参考訳(メタデータ) (2026-09-21T07:06:37Z) - Evaluating Model Retraining under Drift: Paired Comparisons of Cumulative Subgroup Disparity [0.0]
我々は、スケジュール、損失トリガー、サブグループギャップトリガーされたポリシーを、同じ観測と遅延ラベルに対する初期モデルを維持することで比較する。
これら3つの政策は平均累積差が低く、ウィンドウごとの平均ギャップにおける0.04から0.88ポイントの減少に相当する。
サブグループ特異的なドリフトでは, 両者の感度が低下し, より小さな真正レートギャップが認められた。
論文 参考訳(メタデータ) (2026-09-09T06:39:03Z) - Back to All-Entity Ranking: Sampler-Dependent Evaluation in Continuous-Time Dynamic Graphs [0.0]
CTDGsの次の決定予測は、サンプルされた負の目的地に対する観測された相互作用をランク付けする。
非均一な負の分布がベイズ最適ランクを変化させることを示す。
本機構は, 観察・未知の陰性に対する繰り返し陽性, 新規陽性の因子的評価を用いて検討した。
論文 参考訳(メタデータ) (2026-07-30T08:37:43Z) - DriftScope: Measuring The Hidden Effects of Diffusion Model Adaptation [50.584834483403675]
新しい視覚概念を学習するか、望ましくないものを消去するか、事前学習したテキスト・画像拡散モデルに適応させることは、意図した効果だけで日常的に評価される。
適応が意味論的に無関係な概念を、構造的にメトリクスを集約することができない方法で体系的に損なうことを実証する。
DriftScopeは、任意の2つのモデルチェックポイントを取り込み、視覚的概念が最も移行したトークンのランクリストを返す、プロンプトレベルの診断ツールである。
論文 参考訳(メタデータ) (2026-06-30T20:57:51Z) - When LLM Reward Design Fails: Diagnostic-Driven Refinement for Sparse Structured RL [10.399451281089318]
我々はMiniGridをコア評価として,MuJoCoを境界応力試験として用いたPPO訓練剤について検討した。
私たちの監査では、報酬の洪水とセマンティック/API誤解という、2つの主要なワンショット障害モードを見つけました。
本稿では,トレーニング診断と障害モード分類ガイドが報酬関数の修正を対象とする,診断駆動反復改善法を提案する。
論文 参考訳(メタデータ) (2026-05-27T17:57:43Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳(メタデータ) (2025-12-22T16:34:21Z) - BURN: Backdoor Unlearning via Adversarial Boundary Analysis [73.14147934175604]
Backdoor Unlearningは、モデル本来の機能を保持しながら、バックドア関連の情報を削除することを目的としている。
本稿では, 偽相関疎結合, プログレッシブデータリファインメント, モデル浄化を統合した新しい防御フレームワーク, BURNによるバックドア・アンラーニングを提案する。
論文 参考訳(メタデータ) (2025-07-14T17:13:06Z) - ELODI: Ensemble Logit Difference Inhibition for Positive-Congruent Training [110.52785254565518]
負のフリップ率(NFR)を減少させる既存の方法は、新しいモデルに古いモデルを模倣させたり、アンサンブルを使用したりすることで、全体的な精度を犠牲にしている。
我々は、NFRの低減におけるアンサンブルの役割を分析し、通常決定境界に近くない負のフリップを取り除くことを観察する。
本稿では,誤り率とNFRの両方でパラゴン性能を実現する分類システムを訓練するためのELODI(Ensemble Logit Difference Inhibition)を提案する。
論文 参考訳(メタデータ) (2022-05-12T17:59:56Z) - Visualizing Classifier Adjacency Relations: A Case Study in Speaker
Verification and Voice Anti-Spoofing [72.4445825335561]
任意のバイナリ分類器によって生成される検出スコアから2次元表現を導出する簡単な方法を提案する。
ランク相関に基づいて,任意のスコアを用いた分類器の視覚的比較を容易にする。
提案手法は完全に汎用的であり,任意の検出タスクに適用可能だが,自動話者検証と音声アンチスプーフィングシステムによるスコアを用いた手法を実証する。
論文 参考訳(メタデータ) (2021-06-11T13:03:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。