En Windows es relativamente sencillo: Instala el añadido para compilación cruzada a 32 bits (lazarus-2.0.4-fpc-3.0.4-cross-i386-win32-win64.exe; deberías encontrarlo en el mismo lugar de donde bajaste Lazarus)
Luego ajusta el "objetvo" de compilación en las opciones del proyecto, como se muestra en la imagen adjunta. Si lo vas a hacer muchas veces es mejor que lo hagas en un "perfil" nuevo; así puedes compilar para lo que quieras con solo cambiar el perfil.
Eso es todo, básicamente.