論文の概要: Adapting Feature Attenuation to NLP

• arxiv url: http://arxiv.org/abs/2601.00965v1
• Date: Fri, 02 Jan 2026 19:28:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-06 16:25:21.884045
• Title: Adapting Feature Attenuation to NLP
• Title（参考訳）: NLPへの特徴減衰の適応
• Authors: Tianshuo Yang, Ryan Rabinowitz, Terrance E. Boult, Jugal Kalita,
• Abstract要約: 我々は,特徴減衰仮説をコンピュータビジョンからトランスフォーマーに移植することで,テキストのオープンセット認識(OSR)について検討する。 COSTARRフレームワークは、もともとコンピュータビジョンの分類用に設計されたもので、2つの控えめな言語モデルに適応する。 以上の結果より, COSTARRは再トレーニングなしでNLPに拡張するが, 統計的に有意な上昇は得られなかった。
• 参考スコア（独自算出の注目度）: 18.492407072924184
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer classifiers such as BERT deliver impressive closed-set accuracy, yet they remain brittle when confronted with inputs from unseen categories--a common scenario for deployed NLP systems. We investigate Open-Set Recognition (OSR) for text by porting the feature attenuation hypothesis from computer vision to transformers and by benchmarking it against state-of-the-art baselines. Concretely, we adapt the COSTARR framework--originally designed for classification in computer vision--to two modest language models (BERT (base) and GPT-2) trained to label 176 arXiv subject areas. Alongside COSTARR, we evaluate Maximum Softmax Probability (MSP), MaxLogit, and the temperature-scaled free-energy score under the OOSA and AUOSCR metrics. Our results show (i) COSTARR extends to NLP without retraining but yields no statistically significant gain over MaxLogit or MSP, and (ii) free-energy lags behind all other scores in this high-class-count setting. The study highlights both the promise and the current limitations of transplanting vision-centric OSR ideas to language models, and points toward the need for larger backbones and task-tailored attenuation strategies.
• Abstract（参考訳）: BERTのようなトランスフォーマー分類器は、驚くほどのクローズドセットの精度を提供するが、未知のカテゴリからの入力に直面すると不安定なままであり、NLPシステムの一般的なシナリオである。 コンピュータビジョンからトランスフォーマーに特徴減衰仮説を移植し、最先端のベースラインに対してベンチマークすることで、テキストのオープンセット認識(OSR)について検討する。 具体的には,COSTARRフレームワークを2つのモデスト言語モデル (BERT (base) と GPT-2) に分類するために設計した。 COSTARRとともに、最大ソフトマックス確率(MSP)、マックスロジット、温度スケールフリーエネルギースコアをOOSAおよびAUOSCR測定値で評価した。 私たちの結果は i) COSTARR は再訓練せずに NLP に拡張するが、MaxLogit や MSP よりも統計的に有意な利得は得られず、 (II)この高水準設定では、他のすべてのスコアに追随する自由エネルギーラグ。 この研究は、ビジョン中心のOSRアイデアを言語モデルに移植することの約束と現在の制限の両方を強調し、より大きなバックボーンとタスク調整の減衰戦略の必要性を指摘する。

関連論文リスト

• SoliReward: Mitigating Susceptibility to Reward Hacking and Annotation Noise in Video Generation Reward Models [53.19726629537694]
  ビデオ生成モデルと人間の好みのトレーニング後のアライメントは、重要な目標である。 現在のデータ収集パラダイムは、プロンプト内のペアワイズアノテーションに依存しており、ノイズのラベル付けに悩まされている。 ビデオRMトレーニングのための体系的フレームワークであるSoliRewardを提案する。
  論文  参考訳（メタデータ） (2025-12-17T14:28:23Z)
• Sample-Efficient Tabular Self-Play for Offline Robust Reinforcement Learning [29.063170235480317]
  オフライン設定では、ロバストな2プレイヤーゼロサムマルコフゲーム(TZMG)に焦点を当てる。 本稿では,オフラインRTZMGに対するモデルベースアルゴリズム(textitRTZ-VI-LCB)を提案する。 状態空間と動作空間の両方で最適である,我々のアルゴリズムのサンプル複雑性の厳密性を確認するために,情報理論の下界が開発された。
  論文  参考訳（メタデータ） (2025-11-29T06:45:00Z)
• Elastic ViTs from Pretrained Models without Retraining [74.5386166956142]
  ビジョンファウンデーションモデルは優れたパフォーマンスを達成するが、事前決定されたサイズの限られたセットでしか利用できない。 本稿では, プルーニングされた視覚変換器のためのシングルショットネットワーク近似であるSnapViTを紹介する。 提案手法は,進化的アルゴリズムを用いて近似した勾配情報とクロスネットワーク構造相関を効率的に結合する。
  論文  参考訳（メタデータ） (2025-10-20T16:15:03Z)
• Continual Action Quality Assessment via Adaptive Manifold-Aligned Graph Regularization [53.82400605816587]
  アクション品質アセスメント(AQA)は、ビデオにおける人間の行動を定量化し、スポーツスコアリング、リハビリテーション、スキル評価の応用を支援する。 大きな課題は、現実世界のシナリオにおける品質分布の非定常的な性質にある。 本稿では,進化する分布を扱うための連続学習機能を備えた連続AQA(Continuous AQA)を紹介する。
  論文  参考訳（メタデータ） (2025-10-08T10:09:47Z)
• Robust and Label-Efficient Deep Waste Detection [29.019461511410515]
  効率的な廃棄物のソートは持続可能なリサイクルには不可欠だが、この領域でのAI研究は商用システムに遅れを取っている。 本研究では,強力なベースラインを確立し,アンサンブルに基づく半教師付き学習フレームワークを導入することにより,AI駆動型廃棄物検出を推し進める。
  論文  参考訳（メタデータ） (2025-08-26T08:34:04Z)
• SCoRE: Streamlined Corpus-based Relation Extraction using Multi-Label Contrastive Learning and Bayesian kNN [0.2812395851874055]
  本稿では,モジュール型かつ費用対効果の高い文レベルの関係抽出システムであるSCoREを紹介する。 SCoREは簡単なPLMスイッチングを可能にし、微調整を必要とせず、多様なコーパスやKGにスムーズに適応する。 SCoREは, エネルギー消費を大幅に削減しつつ, 最先端の手法に適合するか, 超越しているかを示す。
  論文  参考訳（メタデータ） (2025-07-09T14:33:07Z)
• T2I-Eval-R1: Reinforcement Learning-Driven Reasoning for Interpretable Text-to-Image Evaluation [60.620408007636016]
  T2I-Eval-R1は,大まかな品質スコアのみを用いて,オープンソースのMLLMを訓練する新しい強化学習フレームワークである。 提案手法では,グループ相対政策最適化を命令調整プロセスに統合し,スカラースコアと解釈可能な推論チェーンの両方を生成する。
  論文  参考訳（メタデータ） (2025-05-23T13:44:59Z)
• Training Frozen Feature Pyramid DINOv2 for Eyelid Measurements with Infinite Encoding and Orthogonal Regularization [0.9065034043031668]
  眼のパラメータの正確な測定は、骨形成診断において重要であるが、手動、非一貫性の方法によって制限されている。 本研究は、SE-ResNet、EfficientNet、DINOv2といったディープラーニングモデルを用いて、スマートフォンで取得した画像を用いて、これらの測定を自動化する。 DINOv2は、特にモバイルデプロイメントに理想的な凍結条件下で、優れたスケーラビリティと堅牢性を示している。
  論文  参考訳（メタデータ） (2025-04-01T08:06:08Z)
• ACTRESS: Active Retraining for Semi-supervised Visual Grounding [52.08834188447851]
  前回の研究であるRefTeacherは、疑似自信と注意に基づく監督を提供するために教師学生の枠組みを採用することで、この課題に取り組むための最初の試みである。 このアプローチは、Transformerベースのパイプラインに従う現在の最先端のビジュアルグラウンドモデルと互換性がない。 本稿では, ACTRESS を略したセミスーパービジョン視覚グラウンドのためのアクティブ・リトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-07-03T16:33:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。