El núcleo de la configuración del grupo de control es "la línea de base como guía, dividir según sea necesario y controlar las variables". Elija el esquema apropiado según sus objetivos de validación. A continuación se muestran tres diseños de grupos comúnmente utilizados para cubrir diferentes necesidades:
1. Tipo de Validación Básica (Solo verificando que el nuevo algoritmo es mejor que el algoritmo tradicional): El más simple y eficiente, adecuado para la mayoría de escenarios.
|
Número de grupo |
Nombre del grupo |
Configuración del algoritmo |
Función |
|
1 |
Grupo de control de referencia |
Algoritmo tradicional de comparación de umbral fijo |
Proporciona un punto de referencia de rendimiento, correspondiente a su esquema actual. |
|
2 |
Grupo Experimental |
Nuevo algoritmo optimizado para validar (p. ej., algoritmo combinado dinámico en fases + 3σ + EWMA) |
Prueba el rendimiento real del nuevo algoritmo, comparándolo directamente con la línea base. |
Escenarios aplicables: solo es necesario confirmar si el nuevo algoritmo es mejor que el algoritmo anterior, sin necesidad de desglosar el efecto de cada módulo de optimización. Primera opción para la validación de modificaciones de ingeniería, con la menor cantidad de variables y los resultados más claros.
2. Tipo de descomposición del módulo (verificación de la ganancia individual de cada módulo de optimización): adecuado para el desarrollo y ajuste de algoritmos. Si desea saber cuánta mejora de rendimiento aporta cada módulo ("umbral por etapas, actualización de 3σ, compensación EWMA") individualmente, utilice este método de agrupación:
|
Número de grupo |
Nombre del grupo |
Configuración del algoritmo |
Objetivo |
|
1 |
Grupo de control de referencia |
Umbral fijo tradicional (sin optimización) |
Línea de base original |
|
2 |
Grupo de experimentos de optimización única 1 |
Solo umbral dinámico por etapas (sin actualización adaptativa) |
Verifique el efecto de reducción de falsos positivos del umbral por etapas solo |
|
3 |
Experimento de optimización dual Grupo 2 |
Umbral dinámico por etapas + 3σ actualización del umbral (sin referencia EWMA) |
Verifique la ganancia adicional después de la actualización de 3σ |
|
4 |
Grupo de experimentos de optimización completa 3 |
Umbral dinámico por etapas + 3σ actualización + compensación de línea base EWMA (algoritmo combinado completo) |
Verificar el efecto final del algoritmo completo. |
Escenarios aplicables: durante la fase de desarrollo del algoritmo, cuando desea aclarar la contribución de cada módulo de optimización, facilitando la eliminación de módulos ineficaces y centrándose en optimizaciones efectivas.
3. Comparación competitiva (comparación de las ventajas y desventajas de diferentes algoritmos convencionales): adecuada para escenarios de selección.
Si necesita elegir el algoritmo más adecuado entre varios algoritmos maduros, utilice este método de agrupación:
|
Número de grupo |
Nombre del grupo |
Configuración del algoritmo |
Función |
|
1 |
Grupo de control de referencia |
Umbral fijo tradicional |
Referencia básica |
|
2 |
Grupo de soluciones convencionales 1 |
Actualización del umbral dinámico por fases + 3σ |
Probar el rendimiento de las soluciones convencionales actuales |
|
3 |
Grupo de soluciones convencionales 2 |
Algoritmo de compensación adaptativa EWMA |
Comparación de las ventajas y desventajas de otra solución convencional |
|
Opcional |
Grupo de soluciones-de gama alta |
Detección de anomalías del aprendizaje automático |
Probar la rentabilidad-de las soluciones-de gama alta |
Escenarios aplicables: selección y adquisición, toma de decisiones-de soluciones, donde las diferencias de rendimiento entre diferentes algoritmos maduros deben definirse claramente.
Principios básicos para la configuración de grupos:
Cada grupo conserva solo una variable: todos los grupos deben tener hardware, condiciones operativas y ciclos de prueba idénticos, diferenciándose solo en el algoritmo; de lo contrario, los resultados no son concluyentes.
Se debe mantener un grupo de control de referencia: las comparaciones sin una línea de base no tienen sentido; todos los resultados deben estar anclados a la solución original para demostrar superioridad o inferioridad.
Más grupos no son necesariamente mejores: en escenarios que no son-optimización de desarrollo, un diseño básico de "1 grupo de control + 1 grupo experimental" es suficiente; demasiados grupos aumentarán la carga de trabajo de las pruebas.
