論文の概要: What Carries Forward? Pretraining Disclosure Across Language Model Releases

• arxiv url: http://arxiv.org/abs/2610.37465v1
• Date: Tue, 27 Oct 2026 16:00:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-29 04:15:49.274793
• Title: What Carries Forward? Pretraining Disclosure Across Language Model Releases
• Title（参考訳）: 言語モデルリリースにおける公開の事前管理
• Abstract要約: 2025 Foundation Model Transparency Index(FMTI)の事前学習関連指標を用いた17家族41モデルエントリーの文書ベース監査 本研究は, 総合得点, 指標プロファイル, 追跡利得, 損失, 保持開示を, 隣り合う24家系の10家族を対象に検討した。
• 参考スコア（独自算出の注目度）: 1.315564533300561
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding how language models were pretrained requires information about their data, processing procedures, and computational resources. However, it remains unclear whether successive releases preserve or expand earlier disclosure. We conduct a document-based audit of 41 model entries from 17 families using 24 pretraining-related indicators from the 2025 Foundation Model Transparency Index (FMTI). We examine overall scores and indicator profiles, tracking gains, losses, and retained disclosures across 24 adjacent comparisons in ten families. Scores decrease in 11 comparisons, increase in six, and remain unchanged in seven, with 38 indicator losses and 28 gains overall. Stable or improving scores can conceal losses: OLMo-2 and OLMo-3 receive identical totals despite three gains and three losses, while Llama-3.1 improves over Llama-2 while losing credit for two data-related criteria. Gaps also persist in corpus composition and training compute. These findings show that later releases do not consistently preserve earlier pretraining disclosure and motivate documentation that explicitly identifies changes and the applicability of inherited information.
• Abstract（参考訳）: 言語モデルがどのように事前訓練されたかを理解するには、データ、処理手順、計算資源に関する情報が必要である。 しかし、その後のリリースが初期の開示を保存または拡張するかどうかは不明だ。 2025 ファンデーションモデル透明性指数 (FMTI) の事前学習関連指標を 24 件使用し、17 世帯から41 件のモデル項目を文書ベースで監査した。 本研究は, 総合得点, 指標プロファイル, 追跡利得, 損失, 保持開示を, 隣り合う24家系の10家族を対象に検討した。 スコアは11つの比較で減少し、6つに増加し、7つに変化はない。 OLMo-2とOLMo-3は3つの利得と3つの損失にもかかわらず同じ合計を受け取っており、Llama-3.1は2つのデータ関連基準の信用を失い、Llama-2よりも改善されている。 ギャップはコーパスの構成やトレーニング計算にも持続する。 これらの結果から、後日のリリースでは、事前の事前学習の開示を一貫して保持せず、変更と継承情報の適用性を明確に識別するドキュメントをモチベートしていることが明らかとなった。

関連論文リスト

• Writability and the Pathway: A Controlled Study of Knowledge Injection into Addressed Memory [5.679081499318451]
  アドレス付き条件記憶は、ホック後の知識注入のための局所的な表面を提供する。 この研究は、制御されたGPT-2とQwen3.8-Flash-Next-FP8とDeepSeek-V4.1-Flashのプロダクションメモリ実験を組み合わせる。
  論文  参考訳（メタデータ） (2026-10-15T09:14:29Z)
• Historical-Feature Residual Adaptation for Sequential Screening [4.656188767198098]
  収集時間残差適応について検討する: 固定された歴史的特徴から構築され、フィードバックが発覚する前に記録されたベーススコアに固定された小さなランキング補正を行う。 その結果, 基礎モデルに依存した利得を有する独立非線形ベースへの効果的な事前学習・政策適応と有効移行が示された。
  論文  参考訳（メタデータ） (2026-10-13T23:57:28Z)
• FinGREAT: Evaluating LLMs on Financial Graph-guided Retrieval And Typing [1.4717403705761436]
  オープンウェイトLSMが予め定義された二重エントリー会計関係に対応する証拠を抽出・分類できるかどうかを検討する。 SEC 10-K Item 7の申請件数1300件にまたがる5つのオープンウェイト・ファミリーから,26年間の中規模モデルを評価した。 その結果,抽出量,エッジ分布,モデル間合意の相違が明らかとなった。
  論文  参考訳（メタデータ） (2026-10-13T21:57:50Z)
• REER-PT: Reverse-Engineered Reasoning for Perplexity-Guided Pre-training Data Augmentation [64.84437332310516]
  我々は,Reverse-Engineered Reasoning (REER) を生の事前学習データに拡張するスケーラブルなフレームワークである textbfREER-PT を紹介する。 REER-PTは予測が難しいが、それ以前のコンテキストから推論できる継続を識別し、コンテキストと継続の間の欠落した接続を再構築する簡潔な推論アノテーションを挿入する。 このスパース変換は、ソーステキストを保存し、トレーニング前のオンライン推論ロールアウトを避けることで、標準的な次世代の予測と互換性を維持します。
  論文  参考訳（メタデータ） (2026-08-31T11:34:19Z)
• The Limits of Obliviate: Evaluating Unlearning in LLMs via Stimulus-Knowledge Entanglement-Behavior Framework [10.710084443802897]
  提案手法は,未学習の大規模言語モデルから現実的な知識を想起できるかどうかを考察する。 我々は,知識活性化パターンを定量化し,実感,非実感,幻覚を出力として評価するための絡み合い尺度を開発した。
  論文  参考訳（メタデータ） (2025-10-29T17:37:50Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• Fact or Facsimile? Evaluating the Factual Robustness of Modern Retrievers [34.31192184496381]
  デンスレトリバーとリランカーは、検索強化世代(RAG)パイプラインの中心である。 我々は,これらのコンポーネントがベースとする大規模言語モデル(LLM)をどの程度の事実的能力で継承するか,あるいは失うかを評価する。 全ての埋め込みモデルにおいて、クエリと正しい完了の間のコサイン類似度スコアは、間違ったものよりも著しく高い。
  論文  参考訳（メタデータ） (2025-08-28T04:13:51Z)
• Refactoring $\neq$ Bug-Inducing: Improving Defect Prediction with Code Change Tactics Analysis [54.361900378970134]
  Just-in-time defect prediction (JIT-DP) は、早期にソフトウェア欠陥を引き起こすコード変更の可能性を予測することを目的としている。 これまでの研究は、その頻度にもかかわらず、評価フェーズと方法論フェーズの両方でコードを無視してきた。 JIT-Defects4Jデータセットのラベリング精度を13.7%向上させるコードと伝播を分類するためのCode chAnge Tactics (CAT)解析を提案する。
  論文  参考訳（メタデータ） (2025-07-25T23:29:25Z)
• Verifying the Verifiers: Unveiling Pitfalls and Potentials in Fact Verifiers [59.168391398830515]
  我々は,14のファクトチェックベンチマークのサンプルを用いて,12の事前学習LDMと1つの特殊ファクト検証器を評価した。 データセットにおけるアノテーションエラーとあいまいさに対処することの重要性を強調します。 最上位のパフォーマンスを実現するために、前作でしばしば見落とされがちな、数ショットのインコンテキストの例を持つフロンティアLSM。
  論文  参考訳（メタデータ） (2025-06-16T10:32:10Z)
• Erasing Without Remembering: Implicit Knowledge Forgetting in Large Language Models [81.62767292169225]
  我々は,その一般化に着目して,大規模言語モデルにおける知識の忘れについて検討する。 確率摂動に基づく新しいアンラーニングパラダイムであるPerMUを提案する。 TOFU、Harry Potter、ZsRE、WMDP、MUSEなど、さまざまなデータセットで実験が行われている。
  論文  参考訳（メタデータ） (2025-02-27T11:03:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。