論文の概要: OraclePhys: A Systematic Framework for LLM Fine-Tuning on Structural Mechanics
- arxiv url: http://arxiv.org/abs/2608.17162v1
- Date: Mon, 17 Aug 2026 21:56:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 21:40:53.138284
- Title: OraclePhys: A Systematic Framework for LLM Fine-Tuning on Structural Mechanics
- Title（参考訳）: OraclePhys: 構造力学のLLMファインチューニングのためのシステムフレームワーク
- Abstract要約: OraclePhysは3つのコンポーネントからなる体系的な微調整フレームワークである。
OraclePhys-Benchは、完全にグレードされた構造力学ベンチマークである。
OraclePhys-30Kは、バイト単位の構造記述に対する7つの回答フォームのデータセットである。
- 参考スコア（独自算出の注目度）: 30.23918589040863
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: What a language model internalizes from fine-tuning is usually diagnosed after the fact. We make it an experimental variable. OraclePhys is a systematic fine-tuning framework with three components: OraclePhys-Bench, an exactly-graded structural-mechanics benchmark whose finite-element oracle scores every answer and counterfactual edit -- no human labels, no LLM judging; OraclePhys-30K, a supervision dataset of seven answer forms over byte-identical structure descriptions; and a controlled training study across the seven forms and three verifier roles. The study yields two findings. First, the label's answer form -- not its bit count -- causally determines what fine-tuning teaches: a ranking objective installs an out-of-distribution forward model where the untrained base sits at the guessing prior, a scalar objective at best a partial one, a boolean nothing detectable; the vector-scalar gulf survives a second physics domain, a second model family, and a paraphrased evaluation surface. Second, written or score-filtered answers install this capability, while advantage-weighted scores (GRPO) raise reward yet leave the model statistically equivalent to its start on held-out physics -- within the recipes and budgets tested -- sufficing only for routing. The trained 8B -- the first LLM on spatial structural response -- reaches the task's data-precision frontier: above a frontier LLM at zero- and 32-shot, at a specialist's level. What the label spells out about the target computation is what fine-tuning teaches; what you train on is what you route.
- Abstract（参考訳）: 言語モデルが微調整から内在化するものは、通常、その事実の後に診断される。
私たちはそれを実験変数にします。
OraclePhysは3つのコンポーネントからなる体系的な微調整フレームワークである。OraclePhys-Benchは、正確に階調された構造力学ベンチマークで、有限要素のオラクルがすべての回答と反ファクトの編集をスコア付けしている。
この研究は2つの結果をもたらす。
まず、ラベルの答え形式 -- ビット数ではなく -- は、微調整が何を教えるかを因果的に決定する: ランク付け対象は、未学習のベースが予想される前に座るアウト・オブ・ディストリビューション・フォワードモデル、スカラー対象が少なくとも部分的なもの、ブールが検出できないもの、ベクトルスカラー・ガルフが第2の物理領域、第2のモデルファミリー、パラフレーズ付き評価サーフェスをインストールする。
第2に,書面あるいはスコアフィルタによる回答がこの機能をインストールする一方で,メリット重み付けスコア(GRPO)は報奨を得られるが,保持物理学の開始と統計的に等価なモデル – テスト対象のレシピや予算 – は,ルーティングのみに充足する。
訓練された8B(空間構造応答に関する最初のLSM)は、そのタスクのデータ精度フロンティアに到達した。
ラベルがターゲットの計算についてスペルを言っているのは、微調整が教えるもの。
関連論文リスト
- Verification-Aware Training for Speculative Decoding [57.84976863792784]
VAT(Verification-Aware Training)は、トレーニングステップ毎に検証をシミュレートし、その結果の受け入れパターンと拒否パターンを監督するプラグインフレームワークである。
VATはトレーニング対象のみを変更するため、ドラフトアーキテクチャやターゲットモデル、推論手順を変更することなく、既存のメソッドの上にレイヤー化することができる。
VATは平均受理期間を最大11.4%改善し、ウォールクロックのスピードアップを最大8.7%向上させ、数学、コード、チャットベンチマークで一貫した利益を得ている。
論文 参考訳（メタデータ） (2026-08-31T01:42:10Z) - V-Rubrics: Visual Faithfulness via Rubric-Based Reinforcement Learning [59.47823383593251]
視覚サンプルモデルでは、視覚的証拠が不十分な流動的な答えを生み出すことができる。
本稿では,参照応答を原子命題に分解するVisuals-Based Reinforcement Learningを紹介する。
我々は,コンポーネントワイド,プレフィックスローカライズされたルーリッククレジットを用いて,同じSFTチェックポイントに基づいてモデルをトレーニングする。
論文 参考訳（メタデータ） (2026-08-26T09:40:46Z) - PhysElite: How Far Are LLMs from Solving Olympiad-Level Physics Problems? [3.7188197739781903]
PhysEliteはオリンピアードレベルの物理推論のための大規模なバイリンガルベンチマークである。
各問題に対して、対応する視覚図、ステップバイステップのバイリンガルな中国語-英語の解の導出、そして最終回答を提供する。
我々は18個のオープンソースおよびクローズドソースMLLMをベンチマークし、最強モデルでさえ33.7%の正解精度しか得られないことを発見した。
論文 参考訳（メタデータ） (2026-08-25T19:48:42Z) - Mechanistic Interpretability of Structure-Aware Numerical Reasoning in LLaMA 3.1 8B [51.10897657510313]
大規模言語モデル (LLM) は, 時系列予測において強い数値シーケンスモデリング能力を示し, 将来性を示す。
機械的解釈可能性の観点からLlama 3.1-8Bについて検討する。
Llamaはタスクに強いパフォーマンスを示し、基盤となる構造を拾えることを示唆しています。
論文 参考訳（メタデータ） (2026-08-19T01:09:51Z) - Physics Is All You Need? A Case Study in Physicist-Supervised AI Development of Scientific Software [0.304585143845864]
物理学者は、CLAX-PTを構築するために、12の作業日と57のセッションでAIコーディングエージェントを監督した。
エージェントは、託宣試験を繰り返すことで、自律的に10を解決した。
予防されたオラクル検出ができなかった3つは共通の性質を共有しており、症状の減少を根本原因の解決法として扱った。
論文 参考訳（メタデータ） (2026-05-28T17:59:59Z) - From Residuals to Reasons: LLM-Guided Mechanism Inference from Tabular Data [10.795877029195845]
科学的応用のための機械学習における永続的な課題は、予測と理解を共同で達成することである。
マルチエージェント残差文脈学習(MARICL)を導入する。
MARICLは、すべてのデータセットのベースモデルに対して一貫して改善されている。
論文 参考訳（メタデータ） (2026-05-21T15:34:08Z) - BeamPERL: Parameter-Efficient RL with Verifiable Rewards Specializes Compact LLMs for Structured Beam Mechanics Reasoning [1.1458853556386797]
厳密な物理報酬による強化学習は、支配方程式の内部化よりも手続き的な解テンプレートを誘導する。
以上の結果から,検証可能な報酬を構造化推論足場と組み合わせて,テンプレートマッチングを超えて堅牢な科学的推論に移行する必要がある可能性が示唆された。
論文 参考訳（メタデータ） (2026-03-04T14:42:43Z) - IPA: An Information-Preserving Input Projection Framework for Efficient Foundation Model Adaptation [56.72132739364876]
隠れた空間の情報を明示的に保存する特徴認識型プロジェクションフレームワークであるIPAを提案する。
IPAはLoRAとDoRAを一貫して改善し、平均1.5ポイントの精度でコモンセンス推論を行う。
論文 参考訳（メタデータ） (2025-09-04T17:10:01Z) - Migration as a Probe: A Generalizable Benchmark Framework for Specialist vs. Generalist Machine-Learned Force Fields [1.572216094651749]
機械学習力場(MLFF)は、分子動力学スケールでのアブ初期レベルの精度を実現することによって、計算材料科学を変革している。
研究者たちは、スペシャリストモデルをスクラッチから訓練するか、ファウンデーショナリストのファンデーションモデルを使うべきか、ハイブリッドアプローチを使うべきか?
本稿では, 弾性バンドトラジェクトリを用いて診断プローブとして評価する, 欠陥マイグレーション経路を用いたベンチマークフレームワークを提案する。
微調整モデルでは、運動特性に対するゼロショットおよびゼロショットのアプローチよりも大幅に優れるが、長距離物理学の部分的な損失を示す。
論文 参考訳（メタデータ） (2025-08-27T13:24:41Z) - Shadow-FT: Tuning Instruct Model via Training on Paired Base Model [67.20706292627106]
大規模言語モデル(LLM)は、様々なタスクのさらなる微調整の恩恵を一貫して受けている。
本稿では,対応するベースモデルを活用してインストラクタモデルをチューニングするための新しいシャドウ-FTフレームワークを提案する。
提案するShadow-FTは,追加パラメータを導入せず,実装が容易で,性能が大幅に向上する。
論文 参考訳（メタデータ） (2025-05-19T05:16:21Z) - S$^2$R: Teaching LLMs to Self-verify and Self-correct via Reinforcement Learning [51.84977135926156]
S$2$Rはモデルに推論時の自己検証と自己正当性を教えることによってLLM推論を強化する効率的なフレームワークである。
以上の結果から,Qwen2.5-math-7Bの精度は51.0%から81.6%に向上した。
論文 参考訳（メタデータ） (2025-02-18T13:40:22Z) - Beyond Scaling: Measuring and Predicting the Upper Bound of Knowledge Retention in Language Model Pre-Training [68.94373533768501]
我々は、知識保持をモデル化し、そのコーパスから事実情報を記憶するための事前学習言語モデルの能力を示し、学習前にそれを推定する原則的手法を導入する。
本稿では,知識周波数,知識特異度,モデルサイズを統合し,クローズドブック質問応答(QA)の精度を予測する情報理論予測器である,サイズ依存型相互情報(SMI)を提案する。
論文 参考訳（メタデータ） (2025-02-06T13:23:53Z) - CodeGen2: Lessons for Training LLMs on Programming and Natural Languages [116.74407069443895]
我々はエンコーダとデコーダベースのモデルを単一のプレフィックスLMに統一する。
学習方法は,「フリーランチ」仮説の主張を考察する。
データ配信においては,混合分布と多言語学習がモデル性能に及ぼす影響について検討した。
論文 参考訳（メタデータ） (2023-05-03T17:55:25Z) - Unifying Language Learning Paradigms [96.35981503087567]
データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。
本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。
また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
論文 参考訳（メタデータ） (2022-05-10T19:32:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。