論文の概要: Building Production-Ready Probes For Gemini

• arxiv url: http://arxiv.org/abs/2601.11516v1
• Date: Fri, 16 Jan 2026 18:54:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-19 20:21:50.605009
• Title: Building Production-Ready Probes For Gemini
• Title（参考訳）: Geminiのためのプロダクション対応プローブの開発
• Abstract要約: 従来のプローブアーキテクチャでは,短文から長文への変換は困難であることが判明した。 本稿では,この長文分布シフトを扱う新しいプローブアーキテクチャを提案する。 AlphaEvolveによる早期の肯定的な結果から,プローブアーキテクチャ検索と適応型レッドコラボレーションの両方の改善を自動化した。
• 参考スコア（独自算出の注目度）: 21.610660065701243
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Frontier language model capabilities are improving rapidly. We thus need stronger mitigations against bad actors misusing increasingly powerful systems. Prior work has shown that activation probes may be a promising misuse mitigation technique, but we identify a key remaining challenge: probes fail to generalize under important production distribution shifts. In particular, we find that the shift from short-context to long-context inputs is difficult for existing probe architectures. We propose several new probe architecture that handle this long-context distribution shift. We evaluate these probes in the cyber-offensive domain, testing their robustness against various production-relevant shifts, including multi-turn conversations, static jailbreaks, and adaptive red teaming. Our results demonstrate that while multimax addresses context length, a combination of architecture choice and training on diverse distributions is required for broad generalization. Additionally, we show that pairing probes with prompted classifiers achieves optimal accuracy at a low cost due to the computational efficiency of probes. These findings have informed the successful deployment of misuse mitigation probes in user-facing instances of Gemini, Google's frontier language model. Finally, we find early positive results using AlphaEvolve to automate improvements in both probe architecture search and adaptive red teaming, showing that automating some AI safety research is already possible.
• Abstract（参考訳）: 最前線の言語モデル能力は急速に向上している。 したがって、ますます強力なシステムを誤用する悪役に対するより強力な緩和が必要である。 以前の研究では、アクティベーションプローブは有望な誤用軽減手法であることが示されたが、重要な課題は、プローブが重要な生産分布シフトの下で一般化できないことである。 特に,従来のプローブアーキテクチャでは,短文から長文への変換が困難であることが判明した。 本稿では,この長文分布シフトを扱う新しいプローブアーキテクチャを提案する。 サイバー攻撃領域におけるこれらのプローブを評価し,多ターン会話,静的ジェイルブレイク,適応的レッドチームリングなど,生産関連シフトに対するロバスト性を検証した。 本結果は,マルチマックスがコンテキスト長に対処する一方で,アーキテクチャの選択と多様分布の学習の組み合わせが広範に一般化するために必要であることを示す。 さらに, 導出器を用いたペアリングプローブは, プローブの計算効率に起因して, 低コストで最適精度が得られることを示す。 これらの発見は、Googleのフロンティア言語モデルであるGeminiのユーザ向けインスタンスにおける誤用軽減プローブのデプロイの成功を知らせている。 最後に、AlphaEvolveを使った初期の肯定的な結果を見つけ、プローブアーキテクチャ検索とアダプティブレッドコラボレーションの両方の改善を自動化し、AI安全研究の自動化がすでに可能であることを示した。

関連論文リスト

• Apodex Discovery: Reality Benchmarks and Environments for Evaluating and Building Discoverative Artificial Intelligence [86.61561123749011]
  Apodex Discovery(アポデックスディスカバリー)は、重度解法を用いて発見的AIを構築し評価するためのフレームワークである。 まず16のセクターで511の業界を調査し、423の高価値現実問題を集め、最初のリリースで20を選定した。 第二に、共通の環境-タスク-エピソード抽象化は、データ、ツール、制約、フィードバック、軌跡記録、中間成果物と最終提出物の検証を提供する。
  論文  参考訳（メタデータ） (2026-08-11T18:48:40Z)
• Rethinking AI-Generated Text Detection: A Strong Baseline and the Distribution-Shift Problem That Remains [27.078441680572254]
  完全に微調整されたRoBERTaは、それらのベンチマークが構築されている特殊な検出器と一致しているか、あるいは超えていることを示す。 残る課題は、分散シフトです。 分散シフトの下で、検出器は高信頼マシンラベルを人書きテキストに割り当てることができる。
  論文  参考訳（メタデータ） (2026-07-04T03:20:23Z)
• GENESIS: Harnessing AI Agents for Autonomous 6G RAN Synthesis, Research, and Testing [13.436656977622691]
  大規模言語モデル(LLM)は、一般的なソフトウェア工学における同等のR&D作業を数日から数分で圧縮した。 本稿では,エージェント人工知能(AI)フレームワークであるgenESISについて述べる。
  論文  参考訳（メタデータ） (2026-05-26T17:58:43Z)
• Linear Probe Accuracy Scales with Model Size and Benefits from Multi-Layer Ensembling [0.0]
  線形プローブは、言語モデルが「知っている」出力をいつ生成するかを検出する。 複数層からのプローブをアンサンブルに結合することで,単層プローブが故障しても高い性能が得られることを示す。
  論文  参考訳（メタデータ） (2026-04-15T01:21:52Z)
• Hidden Failures in Robustness: Why Supervised Uncertainty Quantification Needs Better Evaluation [40.069986955093526]
  近年の研究では、大規模言語モデルの隠れ状態には不確実性推定や幻覚検出に有用な信号が含まれていることが示されている。 しかし、既存の手法がどれほど堅牢か、どのプローブ設計が分布シフトの下で信頼性のある不確実性推定を提供するのかは、まだ不明である。 本研究では,モデル,タスク,OOD設定にまたがる教師付き不確実性プローブの体系的研究を行い,2000以上のプローブをトレーニングし,表現層,特徴型,トークン集約戦略を変化させる。
  論文  参考訳（メタデータ） (2026-04-13T16:11:33Z)
• Improving Coherence and Persistence in Agentic AI for System Optimization [9.443037059325086]
  Engramは、反復的にメカニズムを設計、テスト、分析する一連のエージェントを探索する。 本研究では,マルチクラウドマルチキャスト推論,LLM要求ルーティング,自然言語クエリを用いたデータベースにおけるKVキャッシュ再利用の最適化など,さまざまな領域において優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2026-03-22T17:04:50Z)
• Scaling Agentic Verifier for Competitive Coding [66.11758166379092]
  大規模言語モデル(LLM)は強力なコーディング能力を示しているが、1回の試行で競合するプログラミング問題を正しく解くのに苦戦している。 実行ベースの再ランク付けは、有望なテスト時間スケーリング戦略を提供するが、既存のメソッドは、難しいテストケースの生成または非効率的なランダム入力サンプリングによって制約される。 本稿では,プログラムの動作を積極的に推論し,高い差別性のあるテスト入力を検索するエージェント検証手法を提案する。
  論文  参考訳（メタデータ） (2026-02-04T06:30:40Z)
• GenPilot: A Multi-Agent System for Test-Time Prompt Optimization in Image Generation [13.197958581564256]
  本稿では,入力テキストを直接操作するテスト時間プロンプト最適化手法を提案する。 私たちのアプローチは、モデルに依存しず、解釈可能で、長く複雑なプロンプトを扱うのに適しています。
  論文  参考訳（メタデータ） (2025-10-08T16:51:52Z)
• UltraHorizon: Benchmarking Agent Capabilities in Ultra Long-Horizon Scenarios [63.67884284105684]
  textbfUltraHorizonは、複雑な現実世界の課題に不可欠な基礎的能力を測定する新しいベンチマークである。 エージェントは、隠されたルールを反復的に発見しなければならない、長期にわたる発見タスクで設計されている。 実験の結果, LLM-agents はこれらの設定において常に不利な成績を示し, ヒトは高いスコアを得ることができた。
  論文  参考訳（メタデータ） (2025-09-26T02:04:00Z)
• Detecting High-Stakes Interactions with Activation Probes [10.421494494629421]
  そこで本論文では,対話が大きな害をもたらす可能性を示唆する「ハイテイク」相互作用を検出するためのアクティベーションプローブについて検討する。 我々は、合成データに基づいて訓練された複数のプローブアーキテクチャを評価し、それらが多種多様な分布外の実世界のデータに対して堅牢な一般化を示すことを発見した。 また,資源を意識した階層型モニタリングシステムの構築の可能性についても検討した。
  論文  参考訳（メタデータ） (2025-06-12T15:20:33Z)
• When Disagreements Elicit Robustness: Investigating Self-Repair Capabilities under LLM Multi-Agent Disagreements [56.29265568399648]
  我々は、不一致が早期のコンセンサスを防ぎ、探索されたソリューション空間を拡張することを主張する。 タスククリティカルなステップの相違は、ソリューションパスのトポロジによってコラボレーションを損なう可能性がある。
  論文  参考訳（メタデータ） (2025-02-21T02:24:43Z)
• A Self-Supervised Task for Fault Detection in Satellite Multivariate Time Series [45.31237646796715]
  この研究は、複雑な分布と高次元分布をモデル化する能力で有名な物理インフォームドリアルNVPニューラルネットワークを活用する新しいアプローチを提案する。 実験には、セルフスーパービジョンによる事前トレーニング、マルチタスク学習、スタンドアロンのセルフ教師付きトレーニングなど、さまざまな構成が含まれている。 結果は、すべての設定で大幅にパフォーマンスが向上したことを示している。
  論文  参考訳（メタデータ） (2024-07-03T07:19:41Z)
• Beyond Two-Tower Matching: Learning Sparse Retrievable Cross-Interactions for Recommendation [80.19762472699814]
  2-towerモデルは、産業アプリケーションに広くデプロイされている推奨のための一般的なマッチングフレームワークである。 機能間相互作用の制限と、オンラインサービスにおける精度の低下など、主な課題が2つある。 我々は,高度な機能相互作用だけでなく,効率的な検索もサポートするSparCodeという新しいマッチングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-11-30T03:13:36Z)
• Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
  生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。 本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
  論文  参考訳（メタデータ） (2023-07-17T07:12:29Z)
• Searching for the Fakes: Efficient Neural Architecture Search for General Face Forgery Detection [4.19882227319634]
  我々は、ディープフェイク検出のためのニューラルネットワーク探索(NAS)に基づくエンドツーエンドフレームワークを開発する。 本稿では,より一般的なモデルを選択するための探索プロセスを導く新しい性能推定指標を提案する。 人工的に設計した最先端ネットワークと比較して,本手法は,データベース内シナリオとデータセット間シナリオの両方において,競合性能を実現する。
  論文  参考訳（メタデータ） (2023-06-15T03:01:13Z)
• PreTR: Spatio-Temporal Non-Autoregressive Trajectory Prediction Transformer [0.9786690381850356]
  PRediction Transformer (PReTR) と呼ばれるモデルを導入し、時間分解型アテンションモジュールを用いてマルチエージェントシーンから特徴を抽出する。 これは、経験的により良い結果を持つ以前の研究されたモデルよりも計算上の必要性が低いことを示している。 我々は,学習対象クエリの集合を並列デコードするために,エンコーダ・デコーダ・トランスフォーマネットワークを利用する。
  論文  参考訳（メタデータ） (2022-03-17T12:52:23Z)
• Low-Complexity Probing via Finding Subnetworks [101.43611844196064]
  言語特性のニューラルネットワークを探索するための減算的プローブを提案する。 サブネットワークプローブは,事前学習モデルでは高い精度,ランダムモデルでは低い精度を実現する。 各プローブの複雑さを変化させることで、プローブの複雑さの予算を考えると、サブネットワークがプローブの精度を高くすることを示す。
  論文  参考訳（メタデータ） (2021-04-08T05:11:21Z)
• Resource Allocation in Multi-armed Bandit Exploration: Overcoming Sublinear Scaling with Adaptive Parallelism [107.48538091418412]
  腕の引っ張りに様々な量の資源を割り当てることができる分割可能な資源にアクセス可能な場合,マルチアームの帯状地における探索について検討する。 特に、分散コンピューティングリソースの割り当てに重点を置いており、プル毎により多くのリソースを割り当てることで、結果をより早く得ることができます。
  論文  参考訳（メタデータ） (2020-10-31T18:19:29Z)
• Recent Developments Combining Ensemble Smoother and Deep Generative Networks for Facies History Matching [58.720142291102135]
  本研究は、ファシズムモデルのための連続パラメータ化を構築するためのオートエンコーダネットワークの利用に焦点を当てる。 本稿では,VAE,GAN,Wasserstein GAN,変分自動符号化GAN,サイクルGANの主成分分析(PCA),転送スタイルネットワークのPCA,スタイル損失のVAEの7種類の定式化をベンチマークする。
  論文  参考訳（メタデータ） (2020-05-08T21:32:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。