論文の概要: MSA-CITE: A Co-Adapted LoRA Specialist Ecology for Fixed-Budget Small-Model Inference

• arxiv url: http://arxiv.org/abs/2609.26217v1
• Date: Tue, 11 Aug 2026 10:26:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.925897
• Title: MSA-CITE: A Co-Adapted LoRA Specialist Ecology for Fixed-Budget Small-Model Inference
• Title（参考訳）: MSA-CITE:固定予算小モデル推論のための協調適応LoRAスペシャリストエコロジー
• Abstract要約: 複数の廃棄されたチェックポイントを、デプロイのための構成可能な資産として扱います。 4パスのポートフォリオは、200のホールドアウト数学アイテムに対して65.5%の精度を達成している。
• 参考スコア（独自算出の注目度）: 11.215813718564283
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Compact language models are typically deployed by retaining a single post-training checkpoint and sampling it repeatedly. In this work, we challenge this practice by treating multiple discarded checkpoints as composable assets for deployment. Starting from a single Qwen3-4B backbone, we preserve four frozen LoRA branches, each derived from a different post-training trajectory. stead of drawing four generations from one branch, we allocate a fixed four-generation budget by sampling one completion from each branch. Our method, Multi-path Specialist Adaptation with Calibrated Inference-Time Evidence (MSA-CITE), processes the resulting portfolio by grouping terminal answers into equivalence classes, scoring each class via summed calibration-derived source priors, and selecting a representative under deterministic tie-breaking rules. The readout stage does not learn from evaluation results, nor does it introduce additional generations, verifiers, or reranking steps. On 200 held-out mathematics items, the four-path portfolio achieves 65.5% accuracy, compared with 62.0% for the strongest single-branch baseline. On a 100-item subject-disjoint shift, it attains 42.0% versus 40.0%. Under in-distribution conditions, the improvements over homogeneous SFT and Online-OPD repetition are robust; results against the strongest baseline and under shifted conditions are not conclusive. Our findings offer a narrow but concrete contribution: post-training branches, even without co-training, can be collectively beneficial for deployment.
• Abstract（参考訳）: コンパクトな言語モデルは、通常、1つのトレーニング後のチェックポイントを保持し、繰り返しサンプリングすることでデプロイされる。 本研究では,複数の廃棄されたチェックポイントを,デプロイのための構成可能な資産として扱うことで,この実践に挑戦する。 1つのQwen3-4Bのバックボーンから始まり、4つの凍結したLoRA枝を保存し、それぞれ異なる訓練後の軌道から誘導する。 1つのブランチから4世代を描く代わりに、各ブランチから1つの完了をサンプリングすることで、固定された4世代予算を割り当てます。 提案手法は,MSA-CITE (Multi-path Specialist Adaptation with Calibrated Inference-Time Evidence) を用いて,端末応答を等価クラスにグループ化し,累積キャリブレーション由来のソースプリエントを用いて各クラスをスコア付けし,決定論的整合規則の下で代表を選択することにより,そのポートフォリオを処理している。 読み出し段階は評価結果から学ばず、追加の世代、検証者、または再ランクステップも導入しない。 200のホールドアウト数学アイテムでは、4パスのポートフォリオは65.5%の精度を達成しており、最強のシングルブランチベースラインでは62.0%である。 100等級の主観差シフトでは42.0%対40.0%となる。 分配条件下では、同種SFTとオンラインOPDの繰り返しに対する改善は堅牢であり、最強のベースラインに対する結果とシフト条件下での結果は決定的ではない。 トレーニング後のブランチは、共同トレーニングなしでも、デプロイに一括して有益である。

関連論文リスト

• Predictable Failure in Multi-Hop Retrieval: Score-Distributional Confidence Scoring and Abstention [0.0]
  マルチホップ検索障害はクエリに均一に分散しない。 CWAR(Confident-Wrong-Answer Rate)は、3つのマルチホップベンチマークで評価される。 MuSiQue では、RCS は 5 つの条件すべてにおいて最高の AUCAC または 最高の AUCAC を達成する。
  論文  参考訳（メタデータ） (2026-09-18T17:48:15Z)
• Predict Before You Deploy: Offline Prediction of Quantization-Induced Task Degradation for World Action Models [2.347191837057308]
  トレーニング後の量子化はメモリを削減するが、ビット幅、グループ化、および量子化器の選択は大きな構成空間を定義する。 オフライン動作偏差から量子化によるタスク劣化を予測するためのポリシ校正フレームワークであるPreDEを提案する。 独立に調整された2つのポリシーに対する450のフランカ・リサーチ3の試験では、試験前に高分解能グループに割り当てられた全ての構成が著しく劣化した。
  論文  参考訳（メタデータ） (2026-09-16T21:25:37Z)
• SCOPE-OPSD: Fisher-Conditioned Privileged Subspaces for On-Policy Self-Distillation [22.56867206175605]
  SCOPE-OPSDは、特権教師の残余を冷凍ランク64因子に投影する。 OPSDがすでに必要としているフォワードを再利用し、ロールアウトも推論時モジュールも追加しない。 Qwen3-1.7B、4B、8Bの完全な25/50/75/100ステップの軌道は、Structuredは純粋なOPSD以下ではない。
  論文  参考訳（メタデータ） (2026-09-11T08:33:52Z)
• Knowledge Index of Noah's Ark [63.143852586221534]
  KINAは,261分野にわたる899項目のベンチマークである。 ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。 トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
  論文  参考訳（メタデータ） (2026-06-03T17:06:49Z)
• ARBOR: Online Process Rewards via a Reusable Rubric Buffer for Search Agents [48.80766702702854]
  LLMベースの検索エージェントは、主に結果のみの報酬で訓練され、検索プロセス自体は監督されていない。 この信号は、全てのサンプル軌跡が同じ正当性を共有する結果同質な群に対して退化し、群内の優位性はゼロとなり、勾配は得られない。 ARBOR(Adaptive Buffer for Online Reward)は,クエリ間で共有されるルーリックメモリを維持する再利用可能なプロセス・リワードフレームワークである。
  論文  参考訳（メタデータ） (2026-06-02T06:58:54Z)
• Beyond Mode Collapse: Distribution Matching for Diverse Reasoning [69.88237286885065]
  GRPOのようなオンライン強化学習手法はモード崩壊に悩まされる。 このことは、逆KL最小化のモード探索行動に由来することを示す。 KL最小化の原理的近似によりモード崩壊を防止するDMPOを提案する。
  論文  参考訳（メタデータ） (2026-05-19T07:13:00Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Enhancing the Outcome Reward-based RL Training of MLLMs with Self-Consistency Sampling [90.87033586963828]
  マルチモーダル大言語モデル(MLLM)のステップ・バイ・ステップ推論を洗練させる手段としては,アウトカム・リワード強化学習(RL)が一般的であり,ますます重要になっている。 この問題を修正するために,自己整合サンプリング(SCS)を提案する。 Qwen2.5-VL-7B-インストラクトに基づいて、SCSは、無視できる余分な計算を伴う6つのマルチモーダルベンチマークにおいて、最大7.7ポイントの精度を向上する。
  論文  参考訳（メタデータ） (2025-11-13T18:59:57Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。