Fugu-MT 論文翻訳(概要): Specification Oracles

論文の概要: Specification Oracles

arxiv url: http://arxiv.org/abs/2609.13415v1
Date: Fri, 11 Sep 2026 18:24:24 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-16 07:15:05.30501
Title: Specification Oracles
Title（参考訳）: 仕様オラクル
Abstract要約: 言語モデルがコンパクトで生きた仕様のオラクルとして機能するかどうかを検討する。学習した事実を格納する2つの方法を比較する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Specifications face a basic tradeoff: leave details out, and important questions go unanswered; record every detail separately, and the specification becomes large and prolix. We investigate whether a language model can serve as a compact, living specification oracle by learning facts about a target and answering questions about it directly. We compare two ways of storing the learned facts: external text notes and changes to the model's weights. Across four families of 596-fact worlds and two Qwen2.5 model sizes, weight-only oracles benefited substantially more from structure: with the 7B model, their accuracy integrated across storage capacities was 18.5 percentage points higher on structured than unstructured worlds, compared with 1.1 points for note-sheet oracles. This advantage came at a substantial storage cost, with the smallest adapter requiring approximately 175 KiB compared with a maximum note budget of 16 KiB. Adapted weights therefore exploited latent structure more successfully, while external notes required substantially less object-specific storage.
Abstract（参考訳）: 仕様は基本的なトレードオフに直面します。詳細を除外し、重要な質問は未回答になります。ターゲットに関する事実を学習し,直接回答することで,言語モデルがコンパクトで生きた仕様書として機能するかどうかを検討する。学習した事実を格納する2つの方法を比較する。 596-fact Worldの4つのファミリーと2つのQwen2.5モデルサイズにまたがって、重量のみのオークルは構造からかなり恩恵を受けた: 7Bモデルでは、記憶容量全体での精度は、ノートシートのオークルでは1.1ポイントよりも18.5ポイント高い。この利点はストレージコストが大きくなり、最小のアダプタは175KiBで、ノートの予算は16KiBだった。そのため、適応重みは遅延構造をよりうまく利用し、外部ノートはオブジェクト固有のストレージを著しく少なくする必要があった。

関連論文リスト

Data Quality over Capacity: Internalizing Documents into LoRA Adapters for Closed-Book QA [0.0]
LoRAによる4ビットGemma-4-e4bモデルの重みを直接調査する。アダプタ容量が十分であれば、クローズドブックの精度において、トレーニングデータの品質が支配的なレバーであることが分かりました。
論文参考訳（メタデータ） (2026-07-23T23:14:59Z)
Models Can Model, But Can't Bind: Structured Grounding in Text-to-Optimization [54.749573452394664]
定式化自体が単純である場合でも、インスタンスデータが大きくなるにつれて精度が低下する。我々は, 数値データを構造化ファイルに外部化する単純な推論時アプローチであるBINDを用いて, モデルがプロンプトプロンプトからではなく, データをバインドする。我々は,モデルのみをバインディングのみに微調整することで仮説を検証し,3つの構造的に異なる最適化カテゴリにおいて,エンドツーエンドのSFTおよびRLよりも優れていることを示す。
論文参考訳（メタデータ） (2026-05-20T21:25:41Z)
Facts as First Class Objects: Knowledge Objects for Persistent LLM Memory [0.0]
我々は、知識オブジェクト(KO)に対してコンテキスト内メモリをベンチマークする。コンテキストウィンドウ内では、Claude Sonnet 4.5 は 10 から 7,000 の事実(200K ウィンドウの97.5%)から100%正確なマッチング精度を達成する。スイッチング機構として密度適応検索を導入し,ベンチマークスイートをリリースする。
論文参考訳（メタデータ） (2026-03-18T14:45:54Z)
BudgetMem: Learning Selective Memory Policies for Cost-Efficient Long-Context Processing in Language Models [0.0]
BudgetMemは、すべてを記憶するのではなく、何を記憶すべきかを学ぶ、新しいメモリ拡張アーキテクチャである。本システムでは,厳格な予算制約下での記憶にどのような価値があるかを決定するために,選択的メモリポリシーと特徴に基づくサリエンススコアを併用する。我々の研究は、高度な言語理解能力へのアクセスを民主化し、控えめなハードウェア上で有能な長期コンテキストシステムをデプロイするための実践的な経路を提供する。
論文参考訳（メタデータ） (2025-11-07T01:49:22Z)
The Digital Sous Chef -- A Comparative Study on Fine-Tuning Language Models for Recipe Generation [2.497854684676663]
本稿では,GPT-2大モデル(774M)とGPT-2小モデル(124M)と,RecipeDB 5-cuisineコーパス上の従来のLSTM/RNNベースラインとを比較検討した。キーとなるコントリビューションは、23個の共通分数トークンとカスタム構造マーカーで語彙を拡大するトークン化戦略です。
論文参考訳（メタデータ） (2025-08-20T13:53:13Z)
Physics of Language Models: Part 3.3, Knowledge Capacity Scaling Laws [51.68385617116854]
スケーリング法則は、言語モデルのサイズと能力の関係を記述している。我々は、ウィキペディアのページから(米国、首都ワシントンD.C.など)ドメインとして表される事実知識に焦点を当てる。 7Bモデルは、英語のウィキペディアと教科書を合わせた14Bビットの知識を保存できる。
論文参考訳（メタデータ） (2024-04-08T11:11:31Z)
StructLM: Towards Building Generalist Models for Structured Knowledge Grounding [49.10029030628653]
大規模言語モデル(LLM)では、最先端(SoTA)モデルの背後にある構造化データラグを平均35%処理できる。私たちは、MistralとCodeLlamaモデルファミリに基づいたStructLMと呼ばれる一連のモデルをトレーニングします。我々のStructLMシリーズは、評価された18のデータセットのうち16のタスク固有モデルを超え、8つのSKGタスクに新しいSoTAパフォーマンスを確立する。
論文参考訳（メタデータ） (2024-02-26T15:47:01Z)
Data Engineering for Scaling Language Models to 128K Context [98.41554785106902]
本研究では,言語モデルの文脈長を128Kまで拡張するための継続事前学習法について検討する。既存の作業の一般的な実践である書籍のような特定のドメインで、より長いデータを鼻でサンプリングすることで、パフォーマンスが最適以下であることが分かりました。我々のレシピは強力なオープンソース長文モデルより優れており、GPT-4 128Kのようなフロンティアモデルとのギャップを埋めている。
論文参考訳（メタデータ） (2024-02-15T18:19:16Z)
LLM2KB: Constructing Knowledge Bases using instruction tuned context aware Large Language Models [0.8702432681310401]
本稿では,大規模言語モデルを用いた知識ベース構築システム LLM2KB を提案する。 ISWC 2023で開かれたLM-KBCチャレンジでは,21関係の平均F1スコアが0.6185に達した。
論文参考訳（メタデータ） (2023-08-25T07:04:16Z)
Text Classification via Large Language Models [63.1874290788797]
テキスト分類に関わる複雑な言語現象に対処するために、Clue And Reasoning Prompting (CARP)を導入する。注目すべきは、CARPが5つの広く使用されているテキスト分類ベンチマークのうち4つで新しいSOTAパフォーマンスを得ることだ。さらに重要なのは、CARPが低リソースとドメイン適応のセットアップで素晴らしい能力を提供します。
論文参考訳（メタデータ） (2023-05-15T06:24:45Z)
Few-shot Learning with Multilingual Language Models [66.49496434282564]
多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
論文参考訳（メタデータ） (2021-12-20T16:52:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。