論文の概要: In-Context Learning Enhanced Credibility Transformer

• arxiv url: http://arxiv.org/abs/2509.08122v1
• Date: Tue, 09 Sep 2025 20:00:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-11 15:16:52.239842
• Title: In-Context Learning Enhanced Credibility Transformer
• Title（参考訳）: In-Context Learning-Enhanced Credibility Transformer
• Authors: Kishan Padayachy, Ronald Richman, Salvatore Scognamiglio, Mario V. Wüthrich,
• Abstract要約: 本稿では,テキスト内学習機構によってCredibility Transformerを拡張する新しいパラダイムを提案する。 我々は、この文脈内学習が、同様のリスクパターンに適応することによって予測精度を高めることを実証的に検証した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The starting point of our network architecture is the Credibility Transformer which extends the classical Transformer architecture by a credibility mechanism to improve model learning and predictive performance. This Credibility Transformer learns credibilitized CLS tokens that serve as learned representations of the original input features. In this paper we present a new paradigm that augments this architecture by an in-context learning mechanism, i.e., we increase the information set by a context batch consisting of similar instances. This allows the model to enhance the CLS token representations of the instances by additional in-context information and fine-tuning. We empirically verify that this in-context learning enhances predictive accuracy by adapting to similar risk patterns. Moreover, this in-context learning also allows the model to generalize to new instances which, e.g., have feature levels in the categorical covariates that have not been present when the model was trained -- for a relevant example, think of a new vehicle model which has just been developed by a car manufacturer.
• Abstract（参考訳）: ネットワークアーキテクチャの出発点であるCredibility Transformerは、モデル学習と予測性能を改善するための信頼性メカニズムによって古典的なTransformerアーキテクチャを拡張します。 信頼度変換器は、元の入力特徴の学習表現として機能する、信頼性の高いCLSトークンを学習する。 本稿では、このアーキテクチャをコンテキスト内学習機構によって強化する新しいパラダイム、すなわち、類似したインスタンスからなるコンテキストバッチによって設定された情報を増やすことを提案する。 これにより、インスタンスのCLSトークン表現を、追加のコンテキスト内情報と微調整によって拡張することができる。 我々は、この文脈内学習が、同様のリスクパターンに適応することによって予測精度を高めることを実証的に検証した。 さらに、このコンテキスト内学習により、モデルがトレーニングされた時に存在しないカテゴリー的共変量の特徴レベルを持つような、新たなインスタンスにモデルを一般化することが可能になる。

関連論文リスト

• In-Context Learning for Gradient-Free Receiver Adaptation: Principles, Applications, and Theory [54.92893355284945]
  ディープラーニングベースの無線受信機は、様々なチャネル環境に動的に適応する能力を提供する。 ジョイントトレーニング、ハイパーネットワークベースの手法、メタラーニングを含む現在の適応戦略は、限られた柔軟性を示すか、勾配降下による明示的な最適化を必要とする。 本稿では、インコンテキスト学習(ICL)の新たなパラダイムに根ざした勾配なし適応手法を提案する。
  論文  参考訳（メタデータ） (2025-06-18T06:43:55Z)
• Contextually Guided Transformers via Low-Rank Adaptation [14.702057924366345]
  変換器をベースとした大規模言語モデル(LLM)は、テキスト処理において優れているが、特殊な振る舞いのプロンプトに依存しているため、計算オーバーヘッドが生じる。 本稿では,モデル重みにコンテキストをエンコードすることで,明示的なプロンプトの必要性を解消するトランスフォーマーアーキテクチャの修正を提案する。
  論文  参考訳（メタデータ） (2025-06-06T01:34:39Z)
• STCKGE:Continual Knowledge Graph Embedding Based on Spatial Transformation [6.534658139904185]
  空間変換に基づく連続的知識グラフ埋め込みフレームワークSTCKGEを提案する。 この枠組みでは、実体位置は基底位置ベクトルとオフセットベクトルによって共同で決定される。 マルチホップ関係学習におけるSTCKGEの強い性能と予測精度を示し,平均MRR改善率は5.4%であった。
  論文  参考訳（メタデータ） (2025-03-11T08:54:03Z)
• Enhanced Transformer architecture for in-context learning of dynamical systems [0.3749861135832073]
  本稿では,従来のメタモデリングフレームワークを3つの重要な革新を通じて強化する。 これらの修正の有効性は、Wiener-Hammerstein系クラスに焦点をあてた数値的な例を通して示される。
  論文  参考訳（メタデータ） (2024-10-04T10:05:15Z)
• The Credibility Transformer [0.0]
  このトランスフォーマーアーキテクチャに新しい信頼性機構を導入する。 この新しい信頼性メカニズムは、トレーニングを安定させるのに非常に有益であることを示す。 私たちのCredibility Transformerは、最先端のディープラーニングモデルよりも優れた予測モデルをもたらします。
  論文  参考訳（メタデータ） (2024-09-25T06:16:45Z)
• CLIP with Generative Latent Replay: a Strong Baseline for Incremental Learning [17.614980614656407]
  インクリメンタル・プロンプト学習のための連続的生成学習を提案する。 変分オートエンコーダを用いてクラス条件分布を学習する。 このような生成的リプレイアプローチは、ゼロショット機能を改善しつつ、新しいタスクに適応できることを示す。
  論文  参考訳（メタデータ） (2024-07-22T16:51:28Z)
• SIM-Trans: Structure Information Modeling Transformer for Fine-grained Visual Categorization [59.732036564862796]
  本稿では,オブジェクト構造情報を変換器に組み込んだSIM-Trans(Structure Information Modeling Transformer)を提案する。 提案した2つのモジュールは軽量化されており、任意のトランスフォーマーネットワークにプラグインでき、エンドツーエンドで容易に訓練できる。 実験と解析により,提案したSIM-Transが細粒度視覚分類ベンチマークの最先端性能を達成することを示した。
  論文  参考訳（メタデータ） (2022-08-31T03:00:07Z)
• RoFL: Attestable Robustness for Secure Federated Learning [59.63865074749391]
  フェデレートラーニング(Federated Learning)により、多数のクライアントが、プライベートデータを共有することなく、ジョイントモデルをトレーニングできる。 クライアントのアップデートの機密性を保証するため、フェデレートラーニングシステムはセキュアなアグリゲーションを採用している。 悪意のあるクライアントに対する堅牢性を向上させるセキュアなフェデレート学習システムであるRoFLを提案する。
  論文  参考訳（メタデータ） (2021-07-07T15:42:49Z)
• Visformer: The Vision-friendly Transformer [105.52122194322592]
  我々は視覚に優しいトランスフォーマーから短縮したvisformerという新しいアーキテクチャを提案する。 同じ計算の複雑さにより、VisformerはTransformerベースのモデルとConvolutionベースのモデルの両方をImageNet分類精度で上回る。
  論文  参考訳（メタデータ） (2021-04-26T13:13:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。