batchnorm fused

import%20marimo%0A%0A__generated_with%20%3D%20%220.23.9%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20return%20mo%2C%20np%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Fused%20Batch%20Norm%20Gradient%0A%0A%20%20%20%20In%20the%20previous%20notebook%20you%20implemented%2012%20separate%20backward%20functions%0A%20%20%20%20for%20batch%20normalization.%20Here%20you%20implement%20a%20**single%20fused**%20function%0A%20%20%20%20that%20is%20mathematically%20equivalent%20to%20composing%20all%2012%20steps.%0A%0A%20%20%20%20The%20fused%20formula%3A%0A%20%20%20%20%60%60%60%0A%20%20%20%20dhprebn%20%3D%20bngain%20*%20bnvar_inv%20%2F%20n%20*%20(%0A%20%20%20%20%20%20%20%20n%20*%20dhpreact%0A%20%20%20%20%20%20%20%20-%20dhpreact.sum(0)%0A%20%20%20%20%20%20%20%20-%20n%20%2F%20(n%20-%201)%20*%20bnraw%20*%20(dhpreact%20*%20bnraw).sum(0)%0A%20%20%20%20)%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20This%20is%20the%20standard%20batch-norm%20backward%20formula%20%E2%80%94%20implement%20it%20directly.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20Task%20%E2%80%94%20implement%20the%20fused%20%60hprebn_bp%60%20function%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20---%20student%3A%20begin%20---%0A%0A%20%20%20%20def%20hprebn_bp(n%2C%20bngain%2C%20bnvar_inv%2C%20bnraw%2C%20dhpreact)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Fused%20batch-norm%20backward%20%E2%80%94%20equivalent%20to%20the%2012-step%20decomposition.%0A%0A%20%20%20%20%20%20%20%20dhprebn%20%3D%20bngain%20*%20bnvar_inv%20%2F%20n%20*%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20n%20*%20dhpreact%0A%20%20%20%20%20%20%20%20%20%20%20%20-%20dhpreact.sum(0)%0A%20%20%20%20%20%20%20%20%20%20%20%20-%20n%20%2F%20(n%20-%201)%20*%20bnraw%20*%20(dhpreact%20*%20bnraw).sum(0)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20raise%20NotImplementedError(%22Implement%20hprebn_bp%22)%0A%0A%20%20%20%20%23%20---%20student%3A%20end%20---%0A%20%20%20%20return%20(hprebn_bp%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(hprebn_bp%2C%20mo%2C%20np)%3A%0A%20%20%20%20rng%20%3D%20np.random.default_rng(5)%0A%20%20%20%20n%2C%20hidden%20%3D%2016%2C%208%0A%0A%20%20%20%20hprebn%20%20%3D%20rng.standard_normal((n%2C%20hidden))%0A%20%20%20%20bngain%20%20%3D%20rng.standard_normal((1%2C%20hidden))%20%2B%201.0%0A%20%20%20%20bnbias%20%20%3D%20rng.standard_normal((1%2C%20hidden))%0A%20%20%20%20dhpreact%20%3D%20rng.standard_normal((n%2C%20hidden))%0A%20%20%20%20eps%20%3D%201e-5%0A%0A%20%20%20%20bnmeani%20%20%3D%20hprebn.mean(0%2C%20keepdims%3DTrue)%0A%20%20%20%20bndiff%20%20%20%3D%20hprebn%20-%20bnmeani%0A%20%20%20%20bndiff2%20%20%3D%20bndiff%20**%202%0A%20%20%20%20bnvar%20%20%20%20%3D%20bndiff2.mean(0%2C%20keepdims%3DTrue)%0A%20%20%20%20bnvar_inv%20%3D%20(bnvar%20%2B%20eps)%20**%20-0.5%0A%20%20%20%20bnraw%20%20%20%20%3D%20bndiff%20*%20bnvar_inv%0A%0A%20%20%20%20_solved%20%3D%20False%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20result%20%20%20%3D%20hprebn_bp(n%2C%20bngain%2C%20bnvar_inv%2C%20bnraw%2C%20dhpreact)%0A%20%20%20%20%20%20%20%20expected%20%3D%20bngain%20*%20bnvar_inv%20%2F%20n%20*%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20n%20*%20dhpreact%20-%20dhpreact.sum(0)%20-%20n%20%2F%20(n%20-%201)%20*%20bnraw%20*%20(dhpreact%20*%20bnraw).sum(0)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20assert%20np.allclose(result%2C%20expected%2C%20atol%3D1e-9)%2C%20%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22max%20diff%3A%20%7Bnp.abs(result%20-%20expected).max()%3A.2e%7D%22%0A%0A%20%20%20%20%20%20%20%20_result%20%3D%20mo.callout(mo.md(%22%E2%9C%85%20Fused%20batch%20norm%20backward%20is%20correct!%22)%2C%20kind%3D%22success%22)%0A%20%20%20%20%20%20%20%20_solved%20%3D%20True%0A%20%20%20%20except%20NotImplementedError%20as%20e%3A%0A%20%20%20%20%20%20%20%20_result%20%3D%20mo.callout(mo.md(f%22%E2%9C%8F%EF%B8%8F%20%7Be%7D%22)%2C%20kind%3D%22neutral%22)%0A%20%20%20%20except%20Exception%20as%20e%3A%0A%20%20%20%20%20%20%20%20_result%20%3D%20mo.callout(mo.md(f%22%E2%9D%8C%20%7Be%7D%22)%2C%20kind%3D%22danger%22)%0A%20%20%20%20%23%20---%20capture%20%26%20report%20(runs%20every%20time%2C%20pass%20or%20fail)%20---%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20import%20inspect%20as%20_inspect%2C%20json%20as%20_json%2C%20js%20as%20_js%0A%20%20%20%20%20%20%20%20from%20pyodide.ffi%20import%20to_js%20as%20_to_js%0A%20%20%20%20%20%20%20%20_srcs%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20_fn%20in%20(hprebn_bp%2C)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_srcs.append(_inspect.getsource(_fn))%0A%20%20%20%20%20%20%20%20%20%20%20%20except%20Exception%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pass%0A%20%20%20%20%20%20%20%20_payload%20%3D%20_json.dumps(%7B%22notebookId%22%3A%20%22backprop_mlp%2Fbatchnorm_fused%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22code%22%3A%20%22%5Cn%5Cn%22.join(_srcs)%2C%20%22solved%22%3A%20bool(_solved)%7D)%0A%20%20%20%20%20%20%20%20if%20_solved%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_ch%20%3D%20_js.BroadcastChannel.new(%22mlp-notebooks%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_ch.postMessage(_js.JSON.parse(_json.dumps(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%22type%22%3A%20%22mlp%3Anotebook-solved%22%2C%20%22notebookId%22%3A%20%22backprop_mlp%2Fbatchnorm_fused%22%7D)))%0A%20%20%20%20%20%20%20%20%20%20%20%20_ch.close()%0A%20%20%20%20%20%20%20%20_js.fetch(%22%2Fapi%2Fnotebook-progress%22%2C%20_to_js(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22method%22%3A%20%22POST%22%2C%20%22headers%22%3A%20%7B%22Content-Type%22%3A%20%22application%2Fjson%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%22credentials%22%3A%20%22include%22%2C%20%22body%22%3A%20_payload%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20dict_converter%3D_js.Object.fromEntries))%0A%20%20%20%20except%20Exception%3A%0A%20%20%20%20%20%20%20%20pass%20%20%23%20not%20running%20in%20Pyodide%20WASM%0A%20%20%20%20mo.output.replace(_result)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A