論文の概要: Quantifying Error Tolerance in Synthetic Data: An Atomic-level Operand vs. Operator Perturbation Study

• arxiv url: http://arxiv.org/abs/2608.29144v1
• Date: Sat, 29 Aug 2026 08:41:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.86058
• Title: Quantifying Error Tolerance in Synthetic Data: An Atomic-level Operand vs. Operator Perturbation Study
• Title（参考訳）: 合成データにおける誤差耐性の定量化:原子レベル演算子対演算子摂動の研究
• Abstract要約: 本稿では,データを機能単位に分解するフレームワークであるAtomic Tree Operation Modeling (ATOM)を紹介する。 ATOM は Benign Operand $x$ 摂動と致命的な Operator $f$ 摂動とを区別する。 モデルは操作的摂動に対して堅牢であるが、操作的摂動の下では崩壊する。
• 参考スコア（独自算出の注目度）: 30.020775977689308
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Synthetic data generation has become a cornerstone for advancing large language models. However, the lack of the quantitative analysis for error tolerance became a critical bottleneck. Consequently, current filtering strategies fluctuate between two extremes: they are either overly aggressive, risking the exclusion of potentially valuable samples, or overly permissive, failing to eliminate erroneous samples effectively. To bridge this gap, this paper introduces Atomic Tree Operation Modeling (ATOM), a framework that decomposes data into functional units ($f(x)\rightarrow y$). ATOM distinguishes benign Operand $x$ perturbations from fatal Operator $f$ perturbations. The former are needlessly discarded by aggressive filtering, while the latter slip through permissive filtering. Our experiments reveal a double dissociation: models are robust to operand perturbations but collapse under operator perturbations. By prioritizing operator over aggressive operand precision, our ATOM-synthesized data outperforms rigorous baselines (e.g., +3.1% gain over LIMA), suggesting that operator diversity matters more than operand precision. Our code is available at https://github.com/Lut-hub/ATOM.
• Abstract（参考訳）: 合成データ生成は、大規模言語モデルの進化の基盤となっている。 しかし, 誤り耐性の定量的解析が欠如していることは, 重大なボトルネックとなった。 その結果、現在のフィルタリング戦略は2つの極端の間で変動し、それらは過度に攻撃的であり、潜在的に価値のあるサンプルの排除を危険にさらすか、過度に寛容であり、誤ったサンプルを効果的に除去することができない。 このギャップを埋めるために、この記事では、データを機能単位(f(x)\rightarrow y$)に分解するフレームワークであるAtomic Tree Operation Modeling (ATOM)を紹介します。 ATOM は Benign Operand $x$ 摂動と致命的な Operator $f$ 摂動とを区別する。 前者はアグレッシブ・フィルタリングによって不必要に破棄され、後者はパーミッシブ・フィルタリングによってスリップされる。 モデルは操作的摂動に対して堅牢であるが、操作的摂動の下では崩壊する。 アグレッシブなオペランド精度よりも演算子を優先することにより、ATOM合成データは厳密なベースライン(例えば、+3.1%はLIMAよりも優れている)を上回り、演算子の多様性がオペランド精度よりも重要であることを示唆している。 私たちのコードはhttps://github.com/Lut-hub/ATOM.comで公開されています。

関連論文リスト

• Nexus: Same Pretraining Loss, Better Downstream Generalization via Common Minima [47.1662602024628]
  事前学習はLarge Language Models(LLMs)の基盤となる。 LLMはその能力の主要なエンジンとなる計算予算とデータの大半を支配している。
  論文  参考訳（メタデータ） (2026-04-10T12:17:18Z)
• Dynamic analysis enhances issue resolution [53.50448142467294]
  DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。 テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。 Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
  論文  参考訳（メタデータ） (2026-03-23T14:48:54Z)
• TRACE: Theoretical Risk Attribution under Covariate-shift Effects [4.211510706776732]
  ソースをトレーニングしたモデル$Q$を、シフトしたデータに基づいてトレーニングされたモデル$tildeQ$に置き換えると、ソースドメインのパフォーマンスは予測不能に変化する可能性がある。 TRACEは$|R|$を解釈可能な上界に分解するフレームワークである。
  論文  参考訳（メタデータ） (2026-02-11T07:22:33Z)
• Where Did It Go Wrong? Attributing Undesirable LLM Behaviors via Representation Gradient Tracing [12.835224376066769]
  大きな言語モデル(LLM)は目覚ましい機能を示しているが、そのデプロイメントは望ましくない振る舞いによってしばしば損なわれている。 本稿では,表現とその勾配を解析することによって,望ましくないLCMの挙動を診断する,新しい,効率的なフレームワークを提案する。 本手法は,有害な内容の追跡,バックドア中毒の検出,知識汚染の同定などのタスクに対して,系統的に評価する。
  論文  参考訳（メタデータ） (2025-09-26T12:07:47Z)
• Byzantine Failures Harm the Generalization of Robust Distributed Learning Algorithms More Than Data Poisoning [19.624245500772027]
  頑健な分散学習アルゴリズムは、労働者の不在にもかかわらず信頼性の高い性能を維持することを目的としている。 このような誤動作は、通常、$textitByzantine failures$としてモデル化され、任意に破損した通信を可能にするか、あるいはローカルなトレーニングデータに制限された、より弱い形式の汚職である$textitdata poisoning$としてモデル化される。 ビザンチンの失敗は、データ中毒で達成可能なものよりも、はるかに悪い速度で発生します。
  論文  参考訳（メタデータ） (2025-06-22T12:59:15Z)
• Towards Model Resistant to Transferable Adversarial Examples via Trigger Activation [95.3977252782181]
  知覚不能な摂動によって特徴づけられる敵対的な例は、彼らの予測を誤解させることで、ディープニューラルネットワークに重大な脅威をもたらす。 本稿では,移動可能な敵例(TAE)に対して,より効率的かつ効果的に堅牢性を高めることを目的とした,新たなトレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2025-04-20T09:07:10Z)
• Beyond Model Collapse: Scaling Up with Synthesized Data Requires Verification [11.6055501181235]
  モデル崩壊防止のための合成データに対する検証手法について検討する。 検証器は、たとえ不完全なものであっても、モデル崩壊を防ぐために実際に活用できることが示される。
  論文  参考訳（メタデータ） (2024-06-11T17:46:16Z)
• Breaking Boundaries: Balancing Performance and Robustness in Deep Wireless Traffic Forecasting [11.029214459961114]
  正確性と堅牢性の間のトレードオフのバランスをとることは、時系列予測における長年の課題である。 本研究では,様々な摂動シナリオを考察し,実世界の通信データを用いた敵攻撃に対する防御機構を提案する。
  論文  参考訳（メタデータ） (2023-11-16T11:10:38Z)
• Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
  生成過程が下流MLタスクにどのように影響するかを示す。 本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
  論文  参考訳（メタデータ） (2023-05-16T07:30:29Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Tesseract: Tensorised Actors for Multi-Agent Reinforcement Learning [92.05556163518999]
  MARLは、コミュニケーションと可観測性に様々な制約を課すことによって、問題を悪化させる。 値ベースの手法では、最適な値関数を正確に表現することが課題となる。 政策勾配法では、批判者の訓練を困難にし、遅れる批判者の問題を悪化させる。 学習理論の観点からは、関連するアクション値関数を正確に表現することで、両方の問題に対処できることが示される。
  論文  参考訳（メタデータ） (2021-05-31T23:08:05Z)
• Hard-label Manifolds: Unexpected Advantages of Query Efficiency for Finding On-manifold Adversarial Examples [67.23103682776049]
  画像分類モデルに対する最近のゼロオーダーのハードラベル攻撃は、ファーストオーダーのグラデーションレベルの代替品に匹敵する性能を示している。 最近、グラデーションレベルの設定では、通常の敵対的な例がデータ多様体から離れ、オンマニホールドの例が実際には一般化エラーであることが示されている。 雑音の多い多様体距離オラクルに基づく情報理論論的議論を提案し、敵の勾配推定を通じて多様体情報を漏洩させる。
  論文  参考訳（メタデータ） (2021-03-04T20:53:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。