論文の概要: Mapping fNIRS Signals to Agent Performance: Toward Reinforcement Learning from Neural Feedback
- arxiv url: http://arxiv.org/abs/2511.12844v1
- Date: Mon, 17 Nov 2025 00:21:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-18 14:36:24.576959
- Title: Mapping fNIRS Signals to Agent Performance: Toward Reinforcement Learning from Neural Feedback
- Title（参考訳）: fNIRS信号のエージェント性能へのマッピング:ニューラルフィードバックからの強化学習に向けて
- Authors: Julia Santaniello, Matthew Russell, Benson Jiang, Donatello Sassaroli, Robert Jacob, Jivko SInapov,
- Abstract要約: Reinforcement Learning from Human Feedback (RLHF) は、エージェントのトレーニングプロセスに人間のフィードバックを統合することで、エージェントの行動と人間の嗜好を整合させる方法論である。
我々は、暗黙の神経信号からエージェントトレーニングを誘導するために、受動的脳-コンピュータインタフェース(BCI)を利用する可能性のあるフレームワークを紹介する。
筆者らは, ピック・アンド・プレイス・ロボット, ルナー・ランダー, フラッピーバードという3つの領域にわたる25人の被験者から収集した, 機能的近赤外分光法(fNIRS)のデータセットを作成した。
- 参考スコア（独自算出の注目度）: 2.933736356368701
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement Learning from Human Feedback (RLHF) is a methodology that aligns agent behavior with human preferences by integrating human feedback into the agent's training process. We introduce a possible framework that employs passive Brain-Computer Interfaces (BCI) to guide agent training from implicit neural signals. We present and release a novel dataset of functional near-infrared spectroscopy (fNIRS) recordings collected from 25 human participants across three domains: a Pick-and-Place Robot, Lunar Lander, and Flappy Bird. We train classifiers to predict levels of agent performance (optimal, sub-optimal, or worst-case) from windows of preprocessed fNIRS feature vectors, achieving an average F1 score of 67% for binary classification and 46% for multi-class models averaged across conditions and domains. We also train regressors to predict the degree of deviation between an agent's chosen action and a set of near-optimal policies, providing a continuous measure of performance. We evaluate cross-subject generalization and demonstrate that fine-tuning pre-trained models with a small sample of subject-specific data increases average F1 scores by 17% and 41% for binary and multi-class models, respectively. Our work demonstrates that mapping implicit fNIRS signals to agent performance is feasible and can be improved, laying the foundation for future brain-driven RLHF systems.
- Abstract（参考訳）: Reinforcement Learning from Human Feedback (RLHF) は、エージェントのトレーニングプロセスに人間のフィードバックを統合することで、エージェントの行動と人間の嗜好を整合させる方法論である。
我々は、暗黙の神経信号からエージェントトレーニングを誘導するために、受動的脳-コンピュータインタフェース(BCI)を利用する可能性のあるフレームワークを紹介する。
筆者らは, ピック・アンド・プレイスロボット, ルナー・ランダー, フラッピーバードという3つの領域にまたがる25人の被験者から収集した, 機能的近赤外分光(fNIRS)のデータセットを作成した。
我々は、FNIRS特徴ベクトルのウィンドウからエージェント性能(最適、最適、最悪のケース)のレベルを予測するために分類器を訓練し、バイナリ分類では平均F1スコアが67%、条件や領域によって平均されるマルチクラスモデルでは46%となる。
また,エージェントの選択した行動と準最適ポリシーのセットとの偏差の程度を予測するために回帰器を訓練し,連続的な性能測定を行う。
クロスオブジェクトの一般化を評価し, 対象データが少ない微調整事前学習モデルでは, 平均F1スコアが17%増加し, 複数クラスモデルでは41%上昇することが実証された。
我々の研究は、暗黙的なfNIRS信号をエージェントのパフォーマンスにマッピングすることは可能であり、改善できることを示し、将来の脳駆動型RLHFシステムの基礎を築いた。
関連論文リスト
- Mapping Neural Signals to Agent Performance, A Step Towards Reinforcement Learning from Neural Feedback [2.9060647847644985]
NEURO-LOOPは、人間とエージェントの相互作用を促進するために、本質的な人間報酬システムを利用する暗黙のフィードバックフレームワークである。
この研究は、NEURO-LOOPフレームワークにおける重要な第一歩である脳信号をエージェントのパフォーマンスにマッピングする可能性を示している。
従来の機械学習手法を用いて,fNIRSデータとエージェント性能の関係を検証した。
論文 参考訳（メタデータ） (2025-06-14T21:38:31Z) - Enhancing Training Data Attribution with Representational Optimization [57.61977909113113]
トレーニングデータ属性法は、トレーニングデータがモデルの予測にどのように影響するかを測定することを目的としている。
本稿では,タスク固有表現とモデル整合表現をTDAで明示的に学習することで,このギャップを埋める表現ベースアプローチであるAirRepを提案する。
AirRepは、属性品質に合わせて調整されたトレーニング可能なエンコーダと、グループワイドの影響を正確に見積もるアテンションベースのプール機構の2つの重要なイノベーションを紹介している。
論文 参考訳（メタデータ） (2025-05-24T05:17:53Z) - FedAvgen: Metadata for Model Aggregation In Communication Systems [3.6957462300442736]
デバイスプロファイルにおける存在多様性から生じる課題について検討する。
このアプローチは、フェデレートラーニング(federated learning)として知られ、本質的には、グローバルモデルを得るために平均された候補クライアントモデルを選択するために、異なるテクニックを使用している。
次に,FedAvg(Federated Averaging)とFedSGD(Federated Gradient Descent)という2つの広く採用されているフェデレーション学習アルゴリズムと比較した。
論文 参考訳（メタデータ） (2025-04-28T13:11:32Z) - Distributionally Robust Reinforcement Learning with Human Feedback [13.509499718691016]
大規模言語モデルを微調整するための分散ロバストなRLHFを提案する。
我々のゴールは、プロンプトの分布が著しく異なる場合でも、微調整モデルがその性能を維持することである。
我々は,学習した報酬モデルの精度を平均で向上し,推論などのタスクにおいて顕著に向上することを示す。
論文 参考訳（メタデータ） (2025-03-01T15:43:39Z) - In2Core: Leveraging Influence Functions for Coreset Selection in Instruction Finetuning of Large Language Models [37.45103473809928]
In2Coreアルゴリズムは,トレーニングモデルと評価サンプルの相関関係を解析し,コアセットを選択する。
LLMの微調整データにアルゴリズムを適用することで、トレーニングデータの50%で同様の性能を実現することができる。
論文 参考訳（メタデータ） (2024-08-07T05:48:05Z) - Exploratory Preference Optimization: Harnessing Implicit Q*-Approximation for Sample-Efficient RLHF [82.7679132059169]
人間のフィードバックから強化学習が言語モデルのアライメントのための中心的なツールとして登場した。
我々は、RLHFにおけるオンライン探索のための新しいアルゴリズム、Exploratory Preference Optimization (XPO)を提案する。
XPOは証明可能な最強の保証と有望な経験的パフォーマンスを享受しています。
論文 参考訳（メタデータ） (2024-05-31T17:39:06Z) - Efficient Transferability Assessment for Selection of Pre-trained Detectors [63.21514888618542]
本稿では,事前学習対象検出器の効率的な伝達性評価について検討する。
我々は、事前訓練された検出器の大規模で多様な動物園を含む検出器転送性ベンチマークを構築した。
実験により,本手法は伝達性の評価において,他の最先端手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2024-03-14T14:23:23Z) - Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。
また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
論文 参考訳（メタデータ） (2024-01-11T17:56:59Z) - Provable Reward-Agnostic Preference-Based Reinforcement Learning [61.39541986848391]
PbRL(Preference-based Reinforcement Learning)は、RLエージェントが、軌道上のペアワイドな嗜好に基づくフィードバックを用いてタスクを最適化することを学ぶパラダイムである。
本稿では,隠れた報酬関数の正確な学習を可能にする探索軌道を求める理論的報酬非依存PbRLフレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-29T15:00:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。