論文の概要: Un-Attributability: Computing Novelty From Retrieval & Semantic Similarity

• arxiv url: http://arxiv.org/abs/2510.27313v1
• Date: Fri, 31 Oct 2025 09:39:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-03 17:52:16.050983
• Title: Un-Attributability: Computing Novelty From Retrieval & Semantic Similarity
• Title（参考訳）: Un-Attributability: 検索と意味的類似性による計算の新規性
• Authors: Philipp Davydov, Ameya Prabhu, Matthias Bethge, Elisa Nguyen, Seong Joon Oh,
• Abstract要約: セマンティックノベルティの操作尺度として非帰属性を導入する。 SmolLMとSmolLM2について検討し,3つの知見を報告する。
• 参考スコア（独自算出の注目度）: 36.7885061055424
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding how language-model outputs relate to the pretraining corpus is central to studying model behavior. Most training data attribution (TDA) methods ask which training examples causally influence a given output, often using leave-one-out tests. We invert the question: which outputs cannot be attributed to any pretraining example? We introduce un-attributability as an operational measure of semantic novelty: an output is novel if the pretraining corpus contains no semantically similar context. We approximate this with a simple two-stage retrieval pipeline: index the corpus with lightweight GIST embeddings, retrieve the top-n candidates, then rerank with ColBERTv2. If the nearest corpus item is less attributable than a human-generated text reference, we consider the output of the model as novel. We evaluate on SmolLM and SmolLM2 and report three findings: (1) models draw on pretraining data across much longer spans than previously reported; (2) some domains systematically promote or suppress novelty; and (3) instruction tuning not only alters style but also increases novelty. Reframing novelty assessment around un-attributability enables efficient analysis at pretraining scale. We release ~20 TB of corpus chunks and index artifacts to support replication and large-scale extension of our analysis at https://huggingface.co/datasets/stai-tuebingen/faiss-smollm
• Abstract（参考訳）: 言語モデルアウトプットが事前学習コーパスとどのように関係しているかを理解することは、モデル行動の研究の中心である。 ほとんどのトレーニングデータ属性(TDA)メソッドは、どのトレーニング例が与えられたアウトプットに因果的に影響するかを問う。 どのアウトプットが事前学習済みの例に当てはまらないのか? 事前学習コーパスが意味論的に類似した文脈を含まない場合、出力は新規である。 コーパスを軽量なGIST埋め込みでインデックスし、トップn候補を検索し、ColBERTv2で再帰する。 最寄りのコーパス項目が人為的なテキスト参照よりも帰属的でない場合、モデルの出力を新しいものとみなす。 SmolLM と SmolLM2 について評価し,(1) これまで報告したよりもずっと長い範囲で事前学習データを引き出すモデル,(2) 体系的に新規性を促進または抑制する領域,(3) スタイルを変えるだけでなく,新規性も向上する領域,の3つの知見を報告する。 非帰属性に関する新規性評価は、事前学習スケールでの効率的な分析を可能にする。 約20TBのコーパスチャンクとインデックスアーティファクトをリリースし、レプリケーションと大規模な解析の拡張をサポートします。

関連論文リスト

• Cite Pretrain: Retrieval-Free Knowledge Attribution for Large Language Models [44.31597857713689]
  最初の段階でActive Indexingを導入し、一般化可能なソースアンコールバインディングを作成します。 Qwen-2.5-7B&3Bの実験は、アクティブインデックスがパッシブインデックスのベースラインを一貫して上回っていることを示している。 内部の引用は、モデルを検索ノイズに対してより堅牢にすることで、外部の引用を補完する。
  論文  参考訳（メタデータ） (2025-06-21T04:48:05Z)
• Pretraining Language Models to Ponder in Continuous Space [50.52734567589996]
  単一のトークン生成ステップ内で,前処理を繰り返し呼び出すことによって,この思考プロセスを言語モデルに導入する。 人間のアノテーションを使わずに、自己教師付き学習を通じて、この方法でモデルを学習できることが示される。
  論文  参考訳（メタデータ） (2025-05-27T03:47:33Z)
• Efficient and Flexible Topic Modeling using Pretrained Embeddings and Bag of Sentences [1.8592384822257952]
  本稿では,新しいトピックモデリングと推論アルゴリズムを提案する。 我々は,生成過程モデルとクラスタリングを組み合わせることで,事前学習文の埋め込みを活用する。 The Tailor の評価は,本手法が比較的少ない計算要求で最先端の成果をもたらすことを示している。
  論文  参考訳（メタデータ） (2023-02-06T20:13:11Z)
• Reweighting Strategy based on Synthetic Data Identification for Sentence Similarity [30.647497555295974]
  機械で書かれた文章を識別する分類器を訓練し、機械で書かれた文章の言語的特徴が人間の文章と大きく異なることを観察する。 次に、分類器からの蒸留情報を用いて、信頼性のある文埋め込みモデルを訓練する。 合成データに基づいてトレーニングしたモデルでは,既存のベースラインよりも良く一般化し,性能が向上する。
  論文  参考訳（メタデータ） (2022-08-29T05:42:22Z)
• An Explanation of In-context Learning as Implicit Bayesian Inference [117.19809377740188]
  In-context Learning の出現における事前学習分布の役割について検討した。 本研究では,潜在概念のベイズ的推論を通じて,文脈内学習が暗黙的に起こることを証明した。 我々は,事前学習損失が同じであっても,スケーリングモデルのサイズがコンテキスト内精度を向上させることを実証的に見出した。
  論文  参考訳（メタデータ） (2021-11-03T09:12:33Z)
• Unsupervised Extractive Summarization by Pre-training Hierarchical Transformers [107.12125265675483]
  教師なし抽出文書要約は、訓練中にラベル付き要約を用いることなく、文書から重要な文章を選択することを目的としている。 既存の手法は主にグラフベースで、文をノードとして、エッジの重みは文の類似性によって測定される。 教師なし抽出要約のための文のランク付けにはトランスフォーマーの注意が利用できることがわかった。
  論文  参考訳（メタデータ） (2020-10-16T08:44:09Z)
• Pre-training for Abstractive Document Summarization by Reinstating Source Text [105.77348528847337]
  本稿では,Seq2Seqに基づく非ラベルテキストによる抽象要約モデルの事前学習を可能にする3つの事前学習目標を提案する。 2つのベンチマーク要約データセットの実験では、3つの目的がすべてベースラインでパフォーマンスを向上させることが示されている。
  論文  参考訳（メタデータ） (2020-04-04T05:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。