論文の概要: Parameter-Efficient Quality Estimation via Frozen Recursive Models

• arxiv url: http://arxiv.org/abs/2603.14593v1
• Date: Sun, 15 Mar 2026 20:35:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.907376
• Title: Parameter-Efficient Quality Estimation via Frozen Recursive Models
• Title（参考訳）: 凍結再帰モデルによるパラメータ効率の良い品質推定
• Abstract要約: 低リソース言語に対して,Tiny Recursive Models (TRM) は品質評価 (QE) に移行しないことを示す。 Hindi と Tamil では、凍った TRM-QE が MonoTransQuest (560M のパラメータ) より優れており、80$times$ のトレーニング可能なパラメータが少ない。
• 参考スコア（独自算出の注目度）: 10.714745516132384
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Tiny Recursive Models (TRM) achieve strong results on reasoning tasks through iterative refinement of a shared network. We investigate whether these recursive mechanisms transfer to Quality Estimation (QE) for low-resource languages using a three-phase methodology. Experiments on $8$ language pairs on a low-resource QE dataset reveal three findings. First, TRM's recursive mechanisms do not transfer to QE. External iteration hurts performance, and internal recursion offers only narrow benefits. Next, representation quality dominates architectural choices, and lastly, frozen pretrained embeddings match fine-tuned performance while reducing trainable parameters by 37$\times$ (7M vs 262M). TRM-QE with frozen XLM-R embeddings achieves a Spearman's correlation of 0.370, matching fine-tuned variants (0.369) and outperforming an equivalent-depth standard transformer (0.336). On Hindi and Tamil, frozen TRM-QE outperforms MonoTransQuest (560M parameters) with 80$\times$ fewer trainable parameters, suggesting that weight sharing combined with frozen embeddings enables parameter efficiency for QE. We release the code publicly for further research. Code is available at https://github.com/surrey-nlp/TRMQE.
• Abstract（参考訳）: Tiny Recursive Models (TRM) は、共用ネットワークの反復的洗練により、推論タスクにおいて強力な結果を得る。 これらの再帰的メカニズムが低リソース言語の品質推定(QE)に3段階の手法を用いて移行するかどうかを検討する。 低リソースのQEデータセット上での8ドルの言語ペアの実験では、3つの結果が明らかになった。 まず、TRMの再帰的機構はQEに転移しない。 外部イテレーションはパフォーマンスを損なう。 次に、表現品質がアーキテクチャ上の選択を支配し、最後に、凍結した事前トレーニングされた埋め込みは微調整されたパフォーマンスと一致し、トレーニング可能なパラメータを37$\times$ (7M vs 262M)削減する。 冷凍XLM-R埋め込みを用いたTRM-QEは、スピアマンの0.370の相関を達成し、微調整された変種(0.369)をマッチングし、等価深度標準変圧器(0.336)より優れている。 Hindi と Tamil では、凍った TRM-QE が MonoTransQuest (560M パラメータ) を 80$\times$ のトレーニング可能なパラメータで上回る。 さらなる研究のためにコードを公開しています。 コードはhttps://github.com/surrey-nlp/TRMQE.comで入手できる。

関連論文リスト

• Probabilistic Tiny Recursive Model [5.602735174786989]
  Tiny Recursive Models (TRM)は、現代の大規模言語モデル(LLM)のパラメータのごく一部で複雑な推論タスクを解決する。 本稿では,テスト時間計算スケーリングのためのタスク依存フレームワークであるProbabilistic TRMを紹介する。 PTRMは、それぞれの深い再帰ステップでガウスノイズを注入し、平行軌道が様々な溶液盆地を探索することを可能にする。
  論文  参考訳（メタデータ） (2026-05-19T15:00:38Z)
• What Matters for Grocery Product Retrieval with Open Source Vision Language Models [0.0]
  本稿では,GroceryVision Challenge の MPR タスクにおいて,190個のオープンソース VLM のゼロショット評価を行った。 生のWebスクレイプからフィルタリングデータセットへの切り替えは、最大16.6%の精度向上をもたらす。 最先端モデルは94.5%のRecall@5を達成するが、Recall@1では17.5%の低下を被り、対照的な埋め込みはクラスタカテゴリを効果的に活用するが、視覚的に類似したSKUをランク付けすることができないことが明らかになった。
  論文  参考訳（メタデータ） (2026-05-18T08:20:13Z)
• When Self-Reference Fails to Close: Matrix-Level Dynamics in Large Language Models [0.0]
  自己参照的ステートメントとメタ認知的プロンプトは、主要な崩壊関連メトリクスのパラドックス的自己参照よりも安定している。 我々は、NCTRが有限深度変圧器をこれらの問題に集中する力学系へ強制することを提案する。
  論文  参考訳（メタデータ） (2026-04-13T23:23:02Z)
• Dynamical Systems Theory Behind a Hierarchical Reasoning Model [0.0]
  契約マッピングモデル(CMM)は、離散的推論を連続的ニューラル正規および微分方程式(NODE/NSDE)に変換する新しいアーキテクチャである。 CMMは最先端の精度93.7%に達し、27M-Extremeベンチマークと85.4%のSudooku-Extremeベンチマークを上回っている。 結果は、数学的に厳密な潜在力学が、人工推論におけるブルートフォーススケーリングを効果的に置き換えることができることを証明し、極端なパラメータ効率のための新たなフロンティアを確立する。
  論文  参考訳（メタデータ） (2026-03-24T07:14:22Z)
• DiscoUQ: Structured Disagreement Analysis for Uncertainty Quantification in LLM Agent Ensembles [5.647839536820347]
  著者間の不一致構造を抽出し活用し,信頼度を良好に推定するフレームワークであるDiscoUQを紹介する。 DiscoUQ-LLM の平均 AUROC は 0.802 であり、最高のベースラインを上回っている。 学習した機能は、ほぼゼロに近いパフォーマンス劣化を伴うベンチマークで一般化される。
  論文  参考訳（メタデータ） (2026-03-21T23:24:12Z)
• CoT-X: An Adaptive Framework for Cross-Model Chain-of-Thought Transfer and Optimization [5.857877898558651]
  CoT(Chain-of-Thought)推論は、大規模言語モデル(LLM)の問題解決能力を高めるが、かなりの推論オーバーヘッドをもたらす。 本稿では、適応的推論要約フレームワークを用いて、異なるスケールとアーキテクチャのモデル間での効率的なCoT転送について検討する。
  論文  参考訳（メタデータ） (2025-11-07T22:35:31Z)
• Exploring the Hierarchical Reasoning Model for Small Natural-Image Classification Without Augmentation [51.56484100374058]
  MNIST、CIFAR-10、CIFAR-100で意図的に生の条件下で評価される。 拡張性のない小型画像分類では、HRMは単純な畳み込みアーキテクチャと競合するものではないと結論付けている。
  論文  参考訳（メタデータ） (2025-10-04T01:22:41Z)
• Mixture-of-Recursions: Learning Dynamic Recursive Depths for Adaptive Token-Level Computation [61.67090981767583]
  本研究では,Mixture-of-Recursions (MoR)を導入した。 MoRはパラメータ効率を達成するために再帰ステップをまたいだ共有レイヤのスタックを再利用し、軽量ルータは適応トークンレベルの思考を可能にする。 また、メモリフットプリントをさらに削減するために、KVペアを最初の再帰から再利用するKV共有変種を提案する。
  論文  参考訳（メタデータ） (2025-07-14T17:49:00Z)
• Reinforced Model Merging [53.84354455400038]
  本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。 評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
  論文  参考訳（メタデータ） (2025-03-27T08:52:41Z)
• START: Self-taught Reasoner with Tools [51.38785489790888]
  ツール統合長チェーン・オブ・シークレット(CoT)推論LSMであるSTART(Self-Taught Reasoner with Tools)を紹介する。 STARTは複雑な計算、自己チェック、多様な方法の探索、そして自己老化を行うことができる。 基礎となるQwQ-32Bを著しく上回り、最先端のオープンウェイトモデルR1-Distill-Qwen-32Bに匹敵する性能を達成する。
  論文  参考訳（メタデータ） (2025-03-06T17:11:51Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Pruning via Merging: Compressing LLMs via Manifold Alignment Based Layer Merging [14.123313596780726]
  我々は,MKA(Manifold-based Knowledge Alignment and Layer Merging Compression)を提案する。 MKAは、多様体学習と正規化ペアワイズ・インフォメーション・ボトルネック測定を使用して、類似したレイヤをマージし、本質的な性能を維持しながらモデルサイズを削減している。 以上の結果から,MKAはモデル性能を保ちつつ,圧縮率も大幅に向上し,従来のプルーニング法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-24T05:57:55Z)
• MixPHM: Redundancy-Aware Parameter-Efficient Tuning for Low-Resource Visual Question Answering [66.05768870785548]
  微調整事前学習型視覚言語モデル(VLM)は、視覚質問応答(VQA)における最先端性能を達成するための一般的なパラダイムである。 現在のパラメータ効率のチューニング手法は、チューニング可能なパラメータの数を劇的に削減するが、完全な微調整を伴う大きなパフォーマンスギャップは依然として残っている。 低リソースVQAにおける完全微調整よりも優れた冗長性を考慮したパラメータ効率調整法であるMixPHMを提案する。
  論文  参考訳（メタデータ） (2023-03-02T13:28:50Z)
• A conditional one-output likelihood formulation for multitask Gaussian processes [0.0]
  マルチタスクガウス過程(MTGP)は多出力回帰問題に対するガウスプロセスフレームワークの解である。 本稿では,マルチタスク学習を簡略化する新しい手法を提案する。 現状の美術品と計算的に競合していることが示される。
  論文  参考訳（メタデータ） (2020-06-05T14:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。