論文の概要: Pretrain on Small Synthetic Data, Scale Large for Free: Symmetry-Aware Foundation Model for Logic Rule Induction
- arxiv url: http://arxiv.org/abs/2608.00383v1
- Date: Sat, 01 Aug 2026 01:49:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:24.621669
- Title: Pretrain on Small Synthetic Data, Scale Large for Free: Symmetry-Aware Foundation Model for Logic Rule Induction
- Title（参考訳）: 小合成データの事前学習:論理規則誘導のための対称性を考慮した基礎モデル
- Abstract要約: 論理規則帰納法は命題スキーマ間で伝達される解釈可能な規則を求める。
私たちの中心的な貢献は、リテラルスコアから離散ルールをデコードする標準エクスポートです。
アーキテクチャ、推論、トレーニングを通じて残りの対称性を復元します。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Logical rule induction seeks interpretable rules that transfer across propositional schemas. This requires respecting symmetries: atom naming, example order, polarity flips, and label swap. Enforcing exact symmetry by construction lets one trained inducer scale beyond its training schemas. Our central contribution is a canonical export that decodes a discrete rule from literal scores. It needs no retraining and is exactly equivariant whenever those scores respect the symmetries. We instantiate it on the Neural Rule Inducer, a disjunctive-normal-form (DNF) foundation model that natively respects only example order. We restore the remaining symmetries through architecture, inference, and training. On synthetic stress tests, accuracy on the support labels stays stable at much larger schemas, and rule fidelity on fresh inputs remains above the unmodified model. On real data, accuracy improves most on larger schemas. The exported rule is exact on synthetic full-group tests and on schema-valid real-data tests. This is a mathematical property of the export rather than of a specific model, and we validate it empirically only on the NRI. Enforcing symmetry by construction turns this small-data pretrained model into a reusable, interpretable inducer that transfers to larger schemas.
- Abstract（参考訳）: 論理規則帰納法は命題スキーマ間で伝達される解釈可能な規則を求める。
原子命名、例順、極性フリップ、ラベルスワップなどである。
構成による正確な対称性の強制は、訓練されたインデューサを訓練スキーマを超えてスケールさせる。
私たちの中心的な貢献は、リテラルスコアから離散ルールをデコードする標準エクスポートです。
再訓練は必要とせず、これらのスコアが対称性を尊重するたびに完全に同変である。
直交正規形式(DNF)基礎モデルであるニューラルルールインデューサ(Neural Rule Inducer)でインスタンス化する。
アーキテクチャ、推論、トレーニングを通じて残りの対称性を復元します。
合成ストレステストでは、サポートラベルの精度はずっと大きなスキーマで安定しており、新鮮な入力の規則忠実度は修正されていないモデルよりも高いままである。
実際のデータでは、より大規模なスキーマで精度が向上する。
エクスポートされたルールは、合成フルグループテストとスキーマ価の実データテストに正確に依存する。
これは特定のモデルではなく輸出の数学的性質であり、NRIでのみ実証的に検証する。
構成による対称性の強制は、この小さなデータ事前訓練されたモデルを、より大きなスキーマに転送する再利用可能な解釈可能なインデューサに変換する。
関連論文リスト
- PriFT: Prior-Support Guided Supervised Fine-Tuning [74.65198014829393]
Supervised Fine-tuning (SFT) は、下流タスク適応のための効率的なアプローチである。
SFTはトークン単位で固定されたデモトークンに適合する。
凍結した事前訓練参照からトークン重みを導出し、微調整の影響を受けない安定した再重み付け信号を得るPriFTを提案する。
論文 参考訳（メタデータ） (2026-06-08T12:14:06Z) - Aligning Network Equivariance with Data Symmetry: A Theoretical Framework and Adaptive Approach for Image Restoration [71.51826063983434]
画像復元は本質的に逆問題である。
非厳密対称性を制約として、復元逆問題を定式化する。
最適復元演算子の等値誤差はデータ対称性誤差と離散化メッシュサイズによって厳密に制限されていることを示す。
論文 参考訳（メタデータ） (2026-05-13T16:22:19Z) - A Foundation Model for Zero-Shot Logical Rule Induction [0.0]
ゼロショットルール誘導のための事前訓練モデルであるニューラルルールインデューサ(NRI)を導入する。
NRIはリテラルIDを符号化するのではなく、ドメインに依存しない統計特性を用いてリテラルを表現する。
製品Tノルム緩和はルール実行を差別化可能にし、予測精度だけでエンドツーエンドのトレーニングを可能にする。
論文 参考訳（メタデータ） (2026-05-06T13:45:31Z) - Balancing Symmetry and Efficiency in Graph Flow Matching [33.80974796363154]
厳密な等式と制御可能な対称性変調の間のグラフ生成モデルのトレードオフについて検討する。
対称性信号の適切な変調は収束を加速しながらオーバーフィッティングを遅らせることを示す。
論文 参考訳（メタデータ） (2026-02-20T09:17:57Z) - Equivariant Deep Equilibrium Models for Imaging Inverse Problems [50.91616288661183]
等変イメージング(EI)は、地上の真実データを必要とせず、信号再構成モデルを訓練することができる。
バックプロパゲーションはモジュール的に実装でき、トレーニングが簡単になる。
EI で訓練された DEQ が以前の不変量の近位写像に近似する証拠が見つかる。
論文 参考訳（メタデータ） (2025-11-24T00:43:54Z) - Symmetry Discovery for Different Data Types [52.2614860099811]
等価ニューラルネットワークは、そのアーキテクチャに対称性を取り入れ、より高度な一般化性能を実現する。
本稿では,タスクの入出力マッピングを近似したトレーニングニューラルネットワークによる対称性発見手法であるLieSDを提案する。
我々は,2体問題,慣性行列予測のモーメント,トップクォークタグ付けといった課題におけるLieSDの性能を検証した。
論文 参考訳（メタデータ） (2024-10-13T13:39:39Z) - Noether's razor: Learning Conserved Quantities [16.81984465529089]
我々は対称性を学習可能な保存量としてパラメータ化する。
次に、保存された量と関連する対称性を直接列車データから学ぶことを許す。
この手法は正しい保存量と U($n$) および SE($n$) 対称性群を正しく同定する。
論文 参考訳（メタデータ） (2024-10-10T16:29:49Z) - Disperse-Then-Merge: Pushing the Limits of Instruction Tuning via Alignment Tax Reduction [75.25114727856861]
大規模言語モデル(LLM)は、スーパービジョンされた微調整プロセスの後半で劣化する傾向にある。
この問題に対処するための単純な分散結合フレームワークを導入する。
我々のフレームワークは、一連の標準知識と推論ベンチマークに基づいて、データキュレーションや正規化の訓練など、様々な高度な手法より優れています。
論文 参考訳（メタデータ） (2024-05-22T08:18:19Z) - Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳（メタデータ） (2023-05-28T06:30:29Z) - Imbalance Trouble: Revisiting Neural-Collapse Geometry [27.21274327569783]
本稿では, 神経崩壊現象の不変性として, Simplex-Encoded-Labels Interpolation (SELI) を導入する。
我々は,UFMのクロスエントロピー損失と正規化の消失を証明した。
我々はSELI幾何への収束を確かめる合成データセットと実データセットについて実験を行った。
論文 参考訳（メタデータ） (2022-08-10T18:10:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。