論文の概要: When Does Complexity Conditioning Help a Frozen Sentence Embedding? A Controlled Study of Per-Sentence and Pair-Level Difficulty Adaptation

• arxiv url: http://arxiv.org/abs/2606.03244v1
• Date: Tue, 02 Jun 2026 07:04:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:04.822946
• Title: When Does Complexity Conditioning Help a Frozen Sentence Embedding? A Controlled Study of Per-Sentence and Pair-Level Difficulty Adaptation
• Title（参考訳）: 複雑コンディショニングは凍結文の埋め込みに有効か? : パーセンテンスとペアレベル難易度適応の制御に関する研究
• Authors: Suhwan Hwang,
• Abstract要約: 一般的な直感では、文の埋め込みは入力の難易度に適応すべきである。 本研究では, 表面ベースの文間複雑性が, フリーズベースライン誤差とほとんど関係がないことを示す。 ホールドアウトクロスエンコーダ困難信号でゲートされた小さなペアレベル残差は、一貫した利得を得る。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A common intuition is that sentence embeddings should adapt to the difficulty of the input. We test this intuition in a controlled, multi-seed setting: a lightweight post-encoder adapter attaches to a frozen Qwen3-Embedding-0.6B encoder, accessing only its final pooled embedding, and is evaluated on four paraphrase and semantic-similarity tasks (PAWS, MRPC, QQP, STS-B). The naive form of the idea fails: surface-based per-sentence complexity is nearly uncorrelated with frozen-baseline error (Pearson approximately 0.05) and provides no advantage over constant or shuffled controls, while degrading a saturated baseline. Even when the target is aligned to a non-circular pair-difficulty signal, the per-sentence gate still cannot reliably capture difficulty because difficulty is primarily a property of the pair, not the individual sentence. In contrast, a small pair-level residual gated by a held-out cross-encoder difficulty signal yields consistent gains on the larger and graded tasks, including +0.022 Spearman on STS-B and +0.037 on QQP, while remaining anchored to the frozen baseline across all seeds. Because this useful form operates on sentence pairs rather than individual sentences, the resulting model is best understood as a lightweight re-ranker over cached frozen embeddings, not a replacement single-vector embedding; we make no state-of-the-art claim. Our contribution is a controlled account of when difficulty-aware adaptation helps and when it fails, together with a pre-training diagnostic that predicts the available headroom.
• Abstract（参考訳）: 一般的な直感では、文の埋め込みは入力の難易度に適応すべきである。 軽量なエンコーダアダプタを凍結したQwen3-Embedding-0.6Bエンコーダに取り付け、最終的なプール埋め込みのみにアクセスし、4つのパラフレーズおよび意味相似タスク(PAWS, MRPC, QQP, STS-B)で評価する。 表面ベースのパーセンス複雑性は、凍結されたベースライン誤差(ピアソン約0.05)とほとんど無関係であり、飽和したベースラインを劣化させながら、定数やシャッフル制御に勝るものではない。 ターゲットが非円形対微分信号にアライメントされている場合でも、個々の文ではなくペアの特性であるので、文ごとのゲートは困難を確実に捉えることができない。 対照的に、保持されたクロスエンコーダの難易度信号によってゲートされた小さなペアレベル残基は、STS-B上の+0.022 SpearmanとQQP上の+0.037を含む、より大きなおよびグレードされたタスクに対して一貫した利得を得る。 この有用な形式は、個々の文ではなく文対で動作するため、結果として得られるモデルは、キャッシュされた冷凍埋め込みよりも軽量な再ランカとして理解され、単一のベクトル埋め込みを置き換えるものではない。 我々の貢献は、難易度適応がいつ役に立つか、それが失敗したか、そして、利用可能なヘッドルームを予測する事前学習診断と共に、制御された説明である。

関連論文リスト

• Trajectory-Based Difficulty Scoring for Reliable Learning on Tabular Data [7.5841677529906795]
  Trajectory-based Difficulty Score (TDS) は、強化アンサンブルのためのインスタンスレベルの難易度推定器である。 本稿では,TDSが格付けの正確性や不確実性に高い相関性を示すことを示す。
  論文  参考訳（メタデータ） (2026-05-23T17:30:08Z)
• Survive or Collapse: The Asymmetric Roles of Data Gating and Reward Grounding in Self-Play RL [76.45061154544568]
  セルフプレイ強化学習は、言語モデルを独自の生成タスクで訓練し、人間ラベルなしでプロジェクタとソルバを共進化させる。 最近のシステムでは強い推理効果が報告されているが、崩壊と不安定性は広く観察され、理解されていない。 代わりに、自己プレイの安定性は、提案者生成タスクがトレーニングプールに入るかを判断するデータレベルゲートと、すでに認められたタスクに関するポリシーを更新する報酬信号の2つの異なるレバーによって管理されていると論じる。
  論文  参考訳（メタデータ） (2026-05-21T09:19:23Z)
• Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
  そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。 各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。 これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
  論文  参考訳（メタデータ） (2026-04-20T13:25:40Z)
• CODA: Difficulty-Aware Compute Allocation for Adaptive Reasoning [45.97014851622867]
  単純な問題において、推論は不当に高いコストで最小限の精度のゲインをもたらす。 これは適応推論を動機付け、動的に推論深度を困難に整合させる。 我々はCODA (Allocation by Difficulty) を提案する。 CODAは高い精度を維持しながらトークンコストを60%以上削減しますが、ハードタスクではパフォーマンスを最大化するためにより多くのロールアウトをインセンティブにします。
  論文  参考訳（メタデータ） (2026-03-09T17:37:15Z)
• Mitigating Homophily Disparity in Graph Anomaly Detection: A Scalable and Adaptive Approach [10.690844780930137]
  グラフ異常検出(GAD)は、構造や特徴の通常のパターンから逸脱するノードを特定することを目的としている。 最近のGNNベースのアプローチでは,1) ノードがクラスレベルとノードレベルで均質に変化するホモフィリティー,2) 拡張性に制限があるため,多くの手法がコストのかかるグラフ全体の操作に依存している。
  論文  参考訳（メタデータ） (2026-03-09T09:15:47Z)
• Softmax is not Enough (for Adaptive Conformal Classification) [5.184894950445513]
  コンフォーマル予測(CP)は不確実性定量化のための分布のないフレームワークである。 非整合性スコアはソフトマックス出力から導かれるもので、与えられた入力についてモデルが真に確実であるかの信頼性の低い指標となる。 本稿では,Helmholtz Free Energyをモデル不確実性とサンプルの難易度を指標として,ソフトマックス前のロジット空間の情報を活用する新しい手法を提案する。
  論文  参考訳（メタデータ） (2026-02-23T04:33:04Z)
• Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
  生成のための教師なし共形推論フレームワークを提案する。 我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。 その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
  論文  参考訳（メタデータ） (2025-09-26T23:40:47Z)
• Semi-DETR: Semi-Supervised Object Detection with Detection Transformers [105.45018934087076]
  半教師付き物体検出(SSOD)におけるDETRに基づくフレームワークの解析 本報告では,第1次変圧器を用いたエンド・ツー・エンド半教師対象検出器であるSemi-DETRについて述べる。 我々の手法は、最先端の手法をクリアマージンで上回る。
  論文  参考訳（メタデータ） (2023-07-16T16:32:14Z)
• Fact-aware Sentence Split and Rephrase with Permutation Invariant Training [93.66323661321113]
  Sentence Split と Rephrase は、複雑な文をいくつかの単純な文に分解し、その意味を保存することを目的としている。 従来の研究では、パラレル文対からのSeq2seq学習によってこの問題に対処する傾向があった。 本稿では,この課題に対するSeq2seq学習における順序分散の効果を検証するために,置換訓練を導入する。
  論文  参考訳（メタデータ） (2020-01-16T07:30:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。