論文の概要: BIRD: Behavior Induction via Representation-structure Distillation

• arxiv url: http://arxiv.org/abs/2505.23933v1
• Date: Thu, 29 May 2025 18:29:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.624656
• Title: BIRD: Behavior Induction via Representation-structure Distillation
• Title（参考訳）: BIRD:表現構造蒸留による行動誘導
• Authors: Galen Pogoncheff, Michael Beyeler,
• Abstract要約: BIRD (Behavior induction via Representation-structure Distillation) は、生徒モデルの内部表現構造と教師の表現構造をマッチングすることにより、協調行動の伝達を行うフレキシブルなフレームワークである。 画像分類における分布外ロバスト性に適用され、次の最強ベースラインに対して、ロバスト精度を最大16%向上する。 400人以上の教師-学生ペアの大規模研究において、教師の表現の解釈可能かつ計算可能な3つの特性が、伝達成功の最大85%のばらつきを説明できることを示した。
• 参考スコア（独自算出の注目度）: 1.534667887016089
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human-aligned deep learning models exhibit behaviors consistent with human values, such as robustness, fairness, and honesty. Transferring these behavioral properties to models trained on different tasks or data distributions remains challenging: aligned behavior is easily forgotten during fine-tuning, and collecting task-specific data that preserves this behavior can be prohibitively costly. We introduce BIRD (Behavior Induction via Representation-structure Distillation), a flexible framework for transferring aligned behavior by matching the internal representation structure of a student model to that of a teacher. Applied to out-of-distribution robustness in image classification, BIRD outperforms fine-tuning, transfer learning, and continual learning methods, improving robust accuracy by up to 16% over the next strongest baseline. It remains effective even when the teacher is trained on a much simpler dataset and is $25 \times$ smaller than the student. In a large-scale study of over 400 teacher-student pairs, we show that three interpretable and computable properties of the teacher's representations (i.e., task relevance, behavioral relevance, and complementary knowledge) explain up to 85% of the variance in transfer success. These insights offer practical guidance for teacher selection and design. BIRD turns small, well-aligned models into scalable alignment seeds, removing a key bottleneck in deploying safe AI systems in the wild.
• Abstract（参考訳）: 人間の協調したディープラーニングモデルは、堅牢性、公正性、誠実さなど、人間の価値と整合した振る舞いを示す。 これらの振る舞い特性を、異なるタスクやデータ分散に基づいてトレーニングされたモデルに転送することは、依然として困難である。 本稿では,学生モデルの内部表現構造を教師の行動と整合させることにより,協調行動の伝達を行う柔軟な枠組みであるBIRDを紹介する。 画像分類におけるアウト・オブ・ディストリビューション・ロバスト性の適用により、BIRDはファインチューニング、トランスファーラーニング、継続学習の手法より優れ、次の最強ベースラインに対して最大16%のロバスト精度が向上する。 教師がもっとシンプルなデータセットで訓練されても効果は保たれ、生徒より25ドルも安い。 400以上の教師-学生ペアの大規模研究において、教師の表現(タスク関連性、行動関連性、補完的知識)の解釈可能かつ計算可能な3つの特性が、転校成功の最大85%を説明できることを示した。 これらの洞察は、教師の選択と設計のための実践的なガイダンスを提供する。 BIRDは、小型で整列性の高いモデルをスケーラブルなアライメントシードに変換し、安全なAIシステムを野生に展開する上で重要なボトルネックを取り除く。

関連論文リスト

• Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
  教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。 UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-04-19T14:08:56Z)
• Modeling Behavior Change for Multi-model At-Risk Students Early Prediction (extended version) [10.413751893289056]
  現在のモデルは、単純かつ離散的な行動パターンを通じて、一貫してパフォーマンスの悪い学生を識別する。 我々は,中学校の教師の発言データと数値グレードデータを利用した,革新的な予測モデルであるMultimodal-ChangePoint Detection (MCPD)を開発した。 本モデルでは,ベースラインアルゴリズムの平均性能を約5～10%向上させるとともに,70～75%の精度範囲を達成している。
  論文  参考訳（メタデータ） (2025-02-19T11:16:46Z)
• Cognition-Mode Aware Variational Representation Learning Framework for Knowledge Tracing [3.3036318543432417]
  知識追跡タスクは、パーソナライズされた学習において重要な役割を果たす。 KTタスクはデータの分散に悩まされており、実践記録がほとんどない学生の堅牢な表現を学習することは困難である。 既存のKT手法に直接適用可能なCMVF(Cognition-Mode Aware Variational Representation Learning Framework)を提案する。
  論文  参考訳（メタデータ） (2023-09-03T13:51:06Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• Distantly-Supervised Named Entity Recognition with Adaptive Teacher Learning and Fine-grained Student Ensemble [56.705249154629264]
  NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。 本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。 微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
  論文  参考訳（メタデータ） (2022-12-13T12:14:09Z)
• Understanding Robustness in Teacher-Student Setting: A New Perspective [42.746182547068265]
  適応的な例は機械学習モデルで、有界な対向的摂動はモデルを誤解させ、任意に誤った予測をすることができる。 広範な研究は、逆例の存在を説明し、モデルのロバスト性を改善する方法を提供する。 我々の研究は、敵対的な事例に関する将来の探索を暗示し、原則化されたデータ拡張を通じてモデルロバスト性を高めることができる。
  論文  参考訳（メタデータ） (2021-02-25T20:54:24Z)
• Bi-tuning of Pre-trained Representations [79.58542780707441]
  Bi-tuningは、教師付きと教師なしの両方の事前訓練された表現を下流タスクに微調整するための一般的な学習フレームワークである。 バイチューニングは、事前訓練された表現のバックボーンに2つのヘッドを統合することで、バニラファインチューニングを一般化する。 バイチューニングは、教師付きモデルと教師なしモデルの両方の微調整タスクを大きなマージンで達成する。
  論文  参考訳（メタデータ） (2020-11-12T03:32:25Z)
• Feature Distillation With Guided Adversarial Contrastive Learning [41.28710294669751]
  本研究は,教師から生徒へ対人ロバスト性を伝えるためのGACD ( Guided Adversarial Contrastive Distillation) を提案する。 アンカーとして訓練された教師モデルでは,教師に類似した特徴を抽出することが期待されている。 GACDでは、生徒は頑丈な特徴を抽出することを学ぶだけでなく、教師からの構造的知識も取得する。
  論文  参考訳（メタデータ） (2020-09-21T14:46:17Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。