論文の概要: The FIL Hypothesis: Inductive Biases Help with Kernel Engineering

• arxiv url: http://arxiv.org/abs/2606.30442v1
• Date: Mon, 29 Jun 2026 15:16:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.298818
• Title: The FIL Hypothesis: Inductive Biases Help with Kernel Engineering
• Title（参考訳）: FIL仮説: インダクティブビアーゼはカーネル工学に役立つ
• Authors: Nikolai Rozanov, Subhabrata Dutta, Preslav Nakov, Iryna Gurevych,
• Abstract要約: 計算とデータでスケールする汎用的手法は、最終的には人間の知識を組み込んだ方法よりも優れている。 フィードバック情報ループ(FIL)の期間という,新しい,重要なスケーリングの次元を観察することで,この原則を再考する。 科学と物理の世界における未来のAI応用には、本質的に数時間から数週間にわたるFILが関与する、と私たちは主張する。
• 参考スコア（独自算出の注目度）: 88.25617363280156
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The Bitter Lesson, which posits that general-purpose methods that scale with computation and data ultimately outperform those with built-in human knowledge, has become a dominant paradigm in the era of Large Language Models. We revisit this principle by observing a new and critical scaling dimension: the duration of the Feedback Information Loop (FIL), the time required for a system to receive a verification signal after generating a prediction. Most historic successes in Artificial Intelligence (AI) have benefited from near instantaneous feedback (e.g., games or classification tasks), but we argue that future AI applications in science and the physical world will inherently involve FILs ranging from hours to weeks. This trend poses a fundamental scaling limit, as obtaining enough verification steps required by purely data-driven methods becomes practically impossible. Additionally, we propose a method that is orthogonal to purely data-driven approaches, based on human-inspired expert knowledge. The method relies on inductive biases and constraining the solution space. We provide an initial validation of the hypothesis and the method, by studying the real-world GPU programming task, a domain with non-trivial FIL, and demonstrate that incorporating inductive biases yields superior performance over data-driven approaches. The code is released under: https://github.com/ai-nikolai/robust_kernelbench
• Abstract（参考訳）: Bitter Lessonは、計算とデータでスケールする汎用的手法が、最終的に人間の知識を組み込んだ方法よりも優れていると仮定し、大規模言語モデルの時代において支配的なパラダイムとなっている。 フィードバック情報ループ (FIL) の持続時間, 予測生成後の検証信号の受信に要する時間, という, 新たな, 重要なスケーリングの次元を観察することによって, この原則を再検討する。 人工知能(AI)の歴史的成功のほとんどは、ほぼ瞬間的なフィードバック(ゲームや分類タスクなど)の恩恵を受けているが、科学と物理の世界における将来のAI応用は、本質的に数時間から数週間にわたるFILを伴っている、と私たちは主張する。 この傾向は、純粋にデータ駆動の手法で必要とされる十分な検証ステップを得ることが事実上不可能になるため、基本的なスケーリング制限となる。 また,人間に触発された専門家の知識に基づいて,純粋にデータ駆動アプローチに直交する手法を提案する。 この方法は帰納バイアスと解空間の制約に依存する。 本稿では、実世界のGPUプログラミングタスク、非自明なFILを持つドメインについて研究し、帰納的バイアスを組み込むことで、データ駆動方式よりも優れた性能が得られることを示す。 https://github.com/ai-nikolai/robust_kernelbench

関連論文リスト

• Can In-Context Learning Support Intrinsic Curiosity? [25.43664318918942]
  本稿では,このボトルネックを解消できるかどうかを考察する。 具体的には,学習の進展を最大化するために,探索政策を訓練できるかどうかを評価する。 非時間的設定の幅広いサブクラスに対して肯定的な結果を示す。
  論文  参考訳（メタデータ） (2026-06-17T18:11:06Z)
• AI Agents as Universal Task Solvers [94.49762121230042]
  我々は,過去のデータを用いて,普遍的な解法が達成できる最適なスピードアップが,アルゴリズム情報と密接な関係があることを示す。 我々は、推論モデルをスケールする際に最適化する重要な量は時間であり、学習における重要な役割は、これまでは間接的にのみ考慮されてきたと論じている。
  論文  参考訳（メタデータ） (2025-10-14T02:17:54Z)
• Reasoning to Learn from Latent Thoughts [61.2395150828168]
  本研究では,テキスト生成プロセスの根底にある表現的思考を明示的にモデル化し,推論することにより,事前学習データの効率を大幅に向上させることができることを示す。 1B LMは、少なくとも3回の反復でその性能をブートストラップし、生データに基づいてトレーニングされたベースラインを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2025-03-24T16:41:23Z)
• Evaluation of Artificial Intelligence Methods for Lead Time Prediction in Non-Cycled Areas of Automotive Production [1.3499500088995464]
  本研究では,自動車生産環境における人工知能適用の有効性について検討した。 データ構造は、コンテキストの特徴を識別するために分析され、ワンホット符号化を使用して前処理される。 この研究は、高度に可変された生産データにAIメソッドを効果的に適用し、ビジネス価値を付加できることを実証している。
  論文  参考訳（メタデータ） (2025-01-13T13:28:03Z)
• Informed Spectral Normalized Gaussian Processes for Trajectory Prediction [0.0]
  本稿では,SNGPの正規化に基づく連続学習手法を提案する。 提案手法は確立された手法に基づいており,リハーサルメモリやパラメータ拡張を必要としない。 本研究では, 自律運転における軌道予測問題に対する情報SNGPモデルの適用について検討した。
  論文  参考訳（メタデータ） (2024-03-18T17:05:24Z)
• Adversarial Auto-Augment with Label Preservation: A Representation Learning Principle Guided Approach [95.74102207187545]
  本研究では,事前自由な自律的データ拡張の目的が表現学習の原則から導出可能であることを示す。 そこで我々は,既存の手法にシームレスに最適化し,シームレスに統合できる目的に対して,実用的なサロゲートを提案する。
  論文  参考訳（メタデータ） (2022-11-02T02:02:51Z)
• Principled Knowledge Extrapolation with GANs [92.62635018136476]
  我々は,知識外挿の新たな視点から,対実合成を研究する。 本稿では, 知識外挿問題に対処するために, クローズド形式判別器を用いた対角ゲームが利用可能であることを示す。 提案手法は,多くのシナリオにおいて,エレガントな理論的保証と優れた性能の両方を享受する。
  論文  参考訳（メタデータ） (2022-05-21T08:39:42Z)
• Value-driven Hindsight Modelling [68.658900923595]
  値推定は強化学習(RL)パラダイムの重要な構成要素である。 モデル学習は、観測系列に存在する豊富な遷移構造を利用することができるが、このアプローチは通常、報酬関数に敏感ではない。 この2つの極点の間に位置するRLにおける表現学習のアプローチを開発する。 これにより、タスクに直接関連し、値関数の学習を加速できる、抽出可能な予測ターゲットが提供される。
  論文  参考訳（メタデータ） (2020-02-19T18:10:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。