論文の概要: Boundaries Agree, Labels Do Not: Intra-Annotator Dynamics as a Kind of Training Data
- arxiv url: http://arxiv.org/abs/2610.04370v1
- Date: Sat, 03 Oct 2026 08:09:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-12 11:03:45.820068
- Title: Boundaries Agree, Labels Do Not: Intra-Annotator Dynamics as a Kind of Training Data
- Title（参考訳）: 境界アグリー、ラベルはしない:訓練データの一種としてのアノテーション内ダイナミクス
- Abstract要約: トレーニングデータの多くは、人間のテキストアノテーションから得られます。
アノテーションを"地上の真実"に結合し、お互いがいかにうまく一致しているかを測定する。
私たちは、ある読者が同じテキストの読み書きを時間をかけていかにうまく再現するか、他の何かを測定する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Data quality now matters as much as compute for training language models. Much training data comes from human annotation of text, and interpretive annotation has no ground truth that could settle what is "accurate". Two lines of work respond to this. One combines annotators into a "ground truth" and measures how well they agree with each other; the other treats their disagreement as a signal. Both compare different people at one point in time. We measure something else: how well one reader reproduces their own reading of the same text over time. One expert human reader and three LLM families segmented three Sumerian myths and labelled the causal function of each segment with one of seven states. Across runs months apart, the human cut the text in much the same places but named the segments differently, in every myth. The models show no such consistent pattern: their gap between the two layers is positive in some myths and negative in others, and its size varies. The human's label changes are not random: the runs go through much the same functions but start them one step apart, while model runs start them at the same places. We argue that this pattern is a usable measure of data quality and a contamination check: a "human" annotation whose labels are as stable as its boundaries, and whose functions start in sync, looks like a model's.
- Abstract（参考訳）: データ品質は今や、トレーニング言語モデルの計算と同じくらい重要なのです。
多くのトレーニングデータはテキストの人間のアノテーションから得られており、解釈的アノテーションは「正確な」ことを解決できる基礎的な真実を持っていない。
2行の作業がこれに反応します。
アノテータを「地上の真実」に組み合わせて、互いがいかにうまく一致しているかを測り、もう一方は彼らの不一致を信号として扱う。
両者は、ある時点で異なる人々を比較します。
私たちは、ある読者が同じテキストの読み書きを時間をかけていかにうまく再現するか、他の何かを測定する。
1人の専門家と3人のLLMファミリーが3つのシュメール神話を分類し、各セグメントの因果関数を7つの状態の1つにラベル付けした。
アクロスは数ヶ月を隔てて、人間はテキストをほとんど同じ場所で切り取ったが、すべての神話においてセグメントを異なる形で命名した。
モデルにはこのような一貫したパターンはなく、2つの層の間のギャップはいくつかの神話では肯定的であり、他では否定的であり、そのサイズは様々である。
人間のラベルの変更はランダムではない: 実行は、ほとんど同じ関数を通り抜けるが、1ステップ離れて開始するが、モデルの実行は同じ場所で開始する。
我々は、このパターンがデータ品質の有用な尺度であり、汚染チェックであると主張している。
関連論文リスト
- Verifiable, Articulable, and Tacit Components of Preference [115.39287436225764]
317万人の嗜好判断によってラベル付けされた2.8万のテキストを含む、大規模でラベル付き選好データセットCreativePreferencesを導入する。
VAT-VA, 検証可能性ギャップ, 検証可能性ギャップ, VAT-Vを観測し, 新たな測定手法により各ギャップの上下境界を推定した。
1)人間の世代において、完全なモデルは人間の嗜好とより密接な一致を示し、しばしば明瞭な基準に相容れないこと、(2)グッドハートの法則に類似して、嗜好を暗黙の次元から切り離すこと、である。
論文 参考訳（メタデータ） (2026-10-02T09:01:07Z) - Detectable Only Where It Is Confounded: What Verified Duplication Counts Say About Membership Evidence in Language Models [0.0]
言語モデルが予測する文章を異常に安価に見つけると、その文章が訓練データに含まれていたと結論付ける傾向があることが示される。
ほぼ全ての公開テストでは、どの文章がトレーニングデータ、メンバー、どれがそうでなかったかを推測する必要があった。
本稿では,OLMo-2とPythiaの2つのモデルファミリーが事前学習コーパスを公開し,各コーパスに現れる文の正確な回数を公開インデックスとして返却する。
答えは2つの側面から閉じてピンサーを形成する。
論文 参考訳（メタデータ） (2026-09-09T21:01:56Z) - TraceML: An Empirical Analysis of Human-Agent Planning in Machine Learning Development [37.08099664563133]
TraceMLは、人間とエージェントのペアで、1つのバージョンレベルのスキーマの下で同じ競合に取り組みます。
すべてのコードバージョンはスコア、タイムスタンプ、アクションのラベル、意図、編集サイズ、スコア効果を持っている。
論文 参考訳（メタデータ） (2026-08-26T17:50:13Z) - Language Models Agree With Each Other, Not With Readers [1.8620637029128544]
我々は、その目的のために構築された誰もいない人間の参照に対する収束を測定する。
120のWebドキュメントに2,523のリードマークがある。
読者が読むものよりも確実に読者に同意するモデルはない。
論文 参考訳（メタデータ） (2026-07-31T10:44:10Z) - Metaphor Tracer: A Theory-Informed Analysis of Hidden States [0.0]
1つのフォワードパスからトレーニングなしで、2つのプロパティですべてのトークン位置をスコア付けします。
aggregator*は、位置がテキスト全体を安定した構成に集約するかどうかを測定する。
differentiator* は、他のトークンがモデルが読み込むように、そのサブ空間に過渡的に変換されるかどうかを判断する。
論文 参考訳（メタデータ） (2026-07-30T16:12:13Z) - Do Large Language Models Always Tell The Same Stories? [2.4779770815686444]
物語類似性の枠組みを用いて,大規模言語モデルが生成する物語の多様性について検討する。
LLM生成の物語は、人間が書いた物語よりも一貫して似ています。
我々は、負のプロンプトや温度スケーリングを含む一般的な緩和戦略が、この均一性に有意に対処できないことを示す。
論文 参考訳（メタデータ） (2026-06-15T22:52:02Z) - DeltaScore: Fine-Grained Story Evaluation with Perturbations [69.33536214124878]
DELTASCOREは,ニュアンスストーリーの側面の評価に摂動技術を用いた新しい手法である。
私たちの中心的な命題は、物語が特定の側面(例えば、流感)で興奮する程度は、特定の摂動に対するその感受性の大きさと相関している、と仮定している。
事前学習言語モデルを用いて,前摂動状態と後摂動状態の確率差を計算することにより,アスペクトの品質を測定する。
論文 参考訳（メタデータ） (2023-03-15T23:45:54Z) - Learning signatures of decision making from many individuals playing the
same game [54.33783158658077]
我々は、個人の「行動スタイル」を符号化する表現を学習する予測フレームワークを設計する。
我々は,3本腕のバンディットタスクを行う1,000人の人間による大規模行動データセットに本手法を適用した。
論文 参考訳（メタデータ） (2023-02-21T21:41:53Z) - Mine yOur owN Anatomy: Revisiting Medical Image Segmentation with Extremely Limited Labels [54.58539616385138]
我々は、Mine yOur owN Anatomy (MONA) と呼ばれる、新しい半教師付き2次元医用画像セグメンテーションフレームワークを紹介する。
まず、先行研究では、すべてのピクセルがモデルトレーニングに等しく重要であると論じており、我々はこの1つだけで意味のある解剖学的特徴を定義できないことを経験的に観察している。
第2に,医療画像を解剖学的特徴の集合に分解できるモデルを構築する。
論文 参考訳（メタデータ） (2022-09-27T15:50:31Z) - CharacterGAN: Few-Shot Keypoint Character Animation and Reposing [64.19520387536741]
本稿では,与えられた文字の少数のサンプルに対してのみトレーニング可能な生成モデルである characterGAN を紹介する。
我々のモデルはキーポイント位置に基づいて新しいポーズを生成し、インタラクティブなフィードバックを提供しながらリアルタイムで修正することができる。
提案手法は,近年のベースラインよりも優れており,多様なキャラクタに対してリアルなアニメーションを生成する。
論文 参考訳（メタデータ） (2021-02-05T12:38:15Z) - Hidden Footprints: Learning Contextual Walkability from 3D Human Trails [70.01257397390361]
現在のデータセットは、人々がどこにいるか、どこにいるかを教えてくれません。
まず、画像間で人の観察を伝播させ、3D情報を利用して、私たちが「隠れ足跡」と呼ぶものを作成することで、有効なラベル付き歩行可能領域の集合を拡大する。
このようなスパースラベルのために設計されたトレーニング戦略を考案し、クラスバランスの分類損失と文脈逆転損失を組み合わせた。
論文 参考訳（メタデータ） (2020-08-19T23:19:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。