論文の概要: BUSTA: Teaching Small Language Models to Reason About Binary Execution

• arxiv url: http://arxiv.org/abs/2610.36288v1
• Date: Mon, 26 Oct 2026 21:11:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.435613
• Title: BUSTA: Teaching Small Language Models to Reason About Binary Execution
• Title（参考訳）: BUSTA:小さな言語モデルにバイナリ実行について推論を教える
• Abstract要約: 大規模言語モデル(LLM)がリバースエンジニアリング(RE)にますます応用される 目的のLLMトレーニング手法が,逆基本ブロック実行によって異なるREスキルをオープンモデルに転送できるかどうかを検討する。
• 参考スコア（独自算出の注目度）: 1.8472148461613156
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large Language Models (LLM) are increasingly applied to Reverse Engineering (RE) workflows. RE, however, differs from common LLM coding tasks as it requires models to reason about low-level program behavior. Furthermore, the deployment of tooling in resource-constrained sandboxed RE environments limits the ability to use frontier-scale solutions. We examine whether a targeted LLM training approach can transfer distinct RE skills to open models via inverse basic-block execution: given an x86-64 basic block and a desired output register state, the model predicts the input register values that produce it. Fine-tuning \texttt{Qwen3-1.7B} and \texttt{Nemotron-3-Nano} with Group Relative Policy Optimization (GRPO) raises knowable-register prediction accuracy from 73.2\% to 85.3\% and from 63.3\% to 95.2\%, respectively. Frontier models still score highest (up to 99.2\%), but our fine-tuned \texttt{Nemotron-3-Nano} comes within four points at a fraction of the parameter count. We release both fine-tuned models and the training dataset.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、リバースエンジニアリング(RE)ワークフローにますます適用されています。 しかし、REは低レベルプログラムの振る舞いを推論するモデルを必要とするため、一般的なLLMコーディングタスクとは異なる。 さらに、リソース制約のサンドボックス化されたRE環境へのツーリングのデプロイは、フロンティアスケールのソリューションを使用する能力を制限します。 我々は、x86-64基本ブロックと所望の出力レジスタ状態が与えられた場合、そのモデルが生成する入力レジスタ値を予測し、異なるREスキルを逆基本ブロック実行を介してオープンモデルに転送できるかどうかを検討する。 グループ相対政策最適化 (GRPO) を用いたファインチューニングの \texttt{Qwen3-1.7B} と \texttt{Nemotron-3-Nano} は、それぞれ73.2\%から85.3\%、63.3\%から95.2\%に予測精度を上昇させる。 フロンティアモデルはまだ最高 (99.2\%) であるが、微調整された \texttt{Nemotron-3-Nano} はパラメータ数で4点以内である。 微調整されたモデルとトレーニングデータセットの両方をリリースします。

関連論文リスト

• Generating Workflow DAGs from Natural Language with Non-Reasoning LLMs [0.08537603362277842]
  ニューロシンボリックな分解により、より低コストで非合理的な大規模言語モデルにより複雑なワークフローDAGを生成することができることを示す。 本手法は,判定精度を24ポイント向上し,推論モデルのアウト・オブ・ザ・ボックス品質に対する統計的等価性を実現する。
  論文  参考訳（メタデータ） (2026-08-31T05:01:29Z)
• Solve the Loop: Attractor Models for Language and Reasoning [4.8720589853137435]
  Looped Transformerは、純粋にフィードフォワード計算に代わる有望な代替手段を提供する。 本稿では、まず、バックボーンモジュールが出力の埋め込みを提案し、次にアトラクターモジュールが固定点を解くことでそれらを洗練するAttractor Modelsを紹介する。 本研究では,Attractor Modelsが,大規模言語モデル事前学習と推論という2つのレシエーションにおいて,既存モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2026-05-12T17:51:26Z)
• Prompt-Level Distillation: A Non-Parametric Alternative to Model Fine-Tuning for Efficient Reasoning [0.0]
  Chain-of-Thoughtは遅延を禁止し、かなりのテスト時間推論コストを発生させる。 PLD(Prompt-Level Distillation)について紹介する。 PLDは、教師モデルからの明確な推論パターンを、学生モデルのシステムプロンプトのための表現的指示の構造化リストに整理する。
  論文  参考訳（メタデータ） (2026-02-24T17:03:21Z)
• Goedel-Prover-V2: Scaling Formal Theorem Proving with Scaffolded Data Synthesis and Self-Correction [95.91743732150233]
  一連のオープンソースの言語モデルであるGoedel-Prover-V2は、自動定理の新たな最先端を証明した。 我々は、より複雑な定理をマスターするためにモデルを訓練することの困難さを増す合成タスクを生成する。 Goedel-Prover-V2-32Bは、標準モードのpass@32でMiniF2Fの88.1%、自己補正モードの90.4%を達成する。
  論文  参考訳（メタデータ） (2025-08-05T16:28:22Z)
• Aligning Frozen LLMs by Reinforcement Learning: An Iterative Reweight-then-Optimize Approach [65.6966065843227]
  Iterative Reweight-then-IROは、凍結ベースモデルのRLスタイルアライメントを実行するフレームワークである。 テスト時には、値関数を使用して、検索ベースの最適化プロセスを介してベースモデル生成をガイドする。 特に、ユーザは、OpenAIの強化微調整(RFT)と同様、自身のデータセットにモデルをアライメントするためにIROを適用することができる。
  論文  参考訳（メタデータ） (2025-06-21T21:49:02Z)
• SLOT: Structuring the Output of Large Language Models [5.683327173793259]
  SLOT(Structured LLM Output Transformer)は,非構造化LCM出力を正確な構造化形式に変換するモデルに依存しない手法である。 この結果から,制約付き復号化による微調整Mistral-7Bモデルでは,ほぼ完全なスキーマ精度が得られた。 特に、Llama-3.2-1Bのようなコンパクトなモデルでさえ、はるかに大きなプロプライエタリなモデルの出力能力にマッチまたは超えることができる。
  論文  参考訳（メタデータ） (2025-05-06T23:29:43Z)
• DataComp-LM: In search of the next generation of training sets for language models [200.5293181577585]
  DataComp for Language Models (DCLM)は、制御されたデータセット実験のためのテストベッドであり、言語モデルを改善することを目的としている。 我々は、Common Crawlから抽出された240Tトークンの標準化コーパス、OpenLMフレームワークに基づく効果的な事前学習レシピ、53の下流評価スイートを提供する。 DCLMベンチマークの参加者は、412Mから7Bパラメータのモデルスケールでの重複、フィルタリング、データ混合などのデータキュレーション戦略を実験することができる。
  論文  参考訳（メタデータ） (2024-06-17T17:42:57Z)
• Robo-Instruct: Simulator-Augmented Instruction Alignment For Finetuning Code LLMs [34.16234805577773]
  プログラム実行中にタスク固有のシミュレーション環境をオンザフライで合成するROBO-INSTRUCTを提案する。 ROBO-INSTRUCT は LLM に支援された後処理の手順を統合し,ロボットプログラムとの整合性を向上する。
  論文  参考訳（メタデータ） (2024-05-30T15:47:54Z)
• Language Models are Super Mario: Absorbing Abilities from Homologous Models as a Free Lunch [72.97553348776425]
  スーパーバイザード・ファインチューニング (SFT) LMの能力に影響を与えることなく、ほとんどのデルタパラメータを設定するためにDAREを導入する。 次に、DAREを汎用プラグインとして使用し、複数のSFTモデルのデルタパラメータを分散し、それらを単一のモデルにマージする。 また、DAREを使用して、Open Leaderboardで70億のパラメータを持つモデルの中で、第1位にランクインした統合LMを作成します。
  論文  参考訳（メタデータ） (2023-11-06T13:43:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。