build mlp

import%20marimo%0A%0A__generated_with%20%3D%20%220.23.9%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20math%0A%20%20%20%20import%20random%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20return%20math%2C%20mo%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Building%20an%20MLP%0A%0A%20%20%20%20Now%20that%20we%20have%20a%20working%20autograd%20engine%20(%60Value%60)%2C%20let's%20build%20neural%0A%20%20%20%20network%20primitives%20on%20top%20of%20it.%0A%0A%20%20%20%20Below%20is%20the%20**complete%20reference%20%60Value%60%20class**%20(forward%20%2B%20backward).%0A%20%20%20%20Use%20it%20as%20a%20building%20block%20%E2%80%94%20do%20not%20modify%20it.%0A%0A%20%20%20%20Your%20task%3A%20implement%20%60Neuron%60%2C%20%60Layer%60%2C%20and%20%60MLP%60%20classes%20that%20compose%0A%20%20%20%20%60Value%60%20objects%20into%20a%20multi-layer%20perceptron.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(math)%3A%0A%20%20%20%20%23%20---%20reference%20Value%20class%20(do%20not%20modify)%20---%0A%0A%20%20%20%20class%20Value%3A%0A%20%20%20%20%20%20%20%20def%20__init__(self%2C%20data%2C%20_children%3D()%2C%20_op%3D''%2C%20label%3D'')%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20self.data%20%3D%20data%0A%20%20%20%20%20%20%20%20%20%20%20%20self.grad%20%3D%200.0%0A%20%20%20%20%20%20%20%20%20%20%20%20self._label%20%3D%20label%0A%20%20%20%20%20%20%20%20%20%20%20%20self._prev%20%3D%20set(_children)%0A%20%20%20%20%20%20%20%20%20%20%20%20self._op%20%3D%20_op%0A%0A%20%20%20%20%20%20%20%20def%20__repr__(self)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20f%22Value(label%3D%7Bself._label%7D%2C%20data%3D%7Bself.data%7D)%22%0A%0A%20%20%20%20%20%20%20%20def%20__add__(self%2C%20other)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20other%20%3D%20other%20if%20isinstance(other%2C%20Value)%20else%20Value(other)%0A%20%20%20%20%20%20%20%20%20%20%20%20out%20%3D%20Value(self.data%20%2B%20other.data%2C%20(self%2C%20other)%2C%20'%2B')%0A%20%20%20%20%20%20%20%20%20%20%20%20def%20_backward()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self.grad%20%2B%3D%20out.grad%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20other.grad%20%2B%3D%20out.grad%0A%20%20%20%20%20%20%20%20%20%20%20%20out._backward%20%3D%20_backward%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20out%0A%0A%20%20%20%20%20%20%20%20def%20__mul__(self%2C%20other)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20other%20%3D%20other%20if%20isinstance(other%2C%20Value)%20else%20Value(other)%0A%20%20%20%20%20%20%20%20%20%20%20%20out%20%3D%20Value(self.data%20*%20other.data%2C%20(self%2C%20other)%2C%20'*')%0A%20%20%20%20%20%20%20%20%20%20%20%20def%20_backward()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self.grad%20%2B%3D%20other.data%20*%20out.grad%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20other.grad%20%2B%3D%20self.data%20*%20out.grad%0A%20%20%20%20%20%20%20%20%20%20%20%20out._backward%20%3D%20_backward%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20out%0A%0A%20%20%20%20%20%20%20%20def%20__pow__(self%2C%20other)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20assert%20isinstance(other%2C%20(int%2C%20float))%2C%20%22powering%20to%20a%20non-integer%20is%20not%20supported%22%0A%20%20%20%20%20%20%20%20%20%20%20%20out%20%3D%20Value(self.data%20**%20other%2C%20(self%2C)%2C%20f'**%7Bother%7D')%0A%20%20%20%20%20%20%20%20%20%20%20%20def%20_backward()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self.grad%20%2B%3D%20other%20*%20(self.data%20**%20(other%20-%201))%20*%20out.grad%0A%20%20%20%20%20%20%20%20%20%20%20%20out._backward%20%3D%20_backward%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20out%0A%0A%20%20%20%20%20%20%20%20def%20__neg__(self)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20self%20*%20-1%0A%0A%20%20%20%20%20%20%20%20def%20__sub__(self%2C%20other)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20self%20%2B%20(-other)%0A%0A%20%20%20%20%20%20%20%20def%20__truediv__(self%2C%20other)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20self%20*%20other%20**%20-1%0A%0A%20%20%20%20%20%20%20%20def%20__radd__(self%2C%20other)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20self%20%2B%20other%0A%0A%20%20%20%20%20%20%20%20def%20__rsub__(self%2C%20other)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20other%20%2B%20(-self)%0A%0A%20%20%20%20%20%20%20%20def%20__rmul__(self%2C%20other)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20self%20*%20other%0A%0A%20%20%20%20%20%20%20%20def%20__rtruediv__(self%2C%20other)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20other%20*%20self%20**%20-1%0A%0A%20%20%20%20%20%20%20%20def%20tanh(self)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20t%20%3D%20math.tanh(self.data)%0A%20%20%20%20%20%20%20%20%20%20%20%20out%20%3D%20Value(t%2C%20(self%2C)%2C%20'tanh')%0A%20%20%20%20%20%20%20%20%20%20%20%20def%20_backward()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20out.grad%20%2B%3D%20(1%20-%20t**2)%20*%20self.grad%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Fix%3A%20propagate%20to%20self%2C%20not%20out%0A%20%20%20%20%20%20%20%20%20%20%20%20def%20_backward_fixed()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self.grad%20%2B%3D%20(1%20-%20t**2)%20*%20out.grad%0A%20%20%20%20%20%20%20%20%20%20%20%20out._backward%20%3D%20_backward_fixed%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20out%0A%0A%20%20%20%20%20%20%20%20def%20exp(self)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20e%20%3D%20math.exp(self.data)%0A%20%20%20%20%20%20%20%20%20%20%20%20out%20%3D%20Value(e%2C%20(self%2C)%2C%20'exp')%0A%20%20%20%20%20%20%20%20%20%20%20%20def%20_backward()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self.grad%20%2B%3D%20out.data%20*%20out.grad%0A%20%20%20%20%20%20%20%20%20%20%20%20out._backward%20%3D%20_backward%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20out%0A%0A%20%20%20%20%20%20%20%20def%20_backward(self)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20pass%0A%0A%20%20%20%20%20%20%20%20def%20backward(self)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20topo%2C%20visited%20%3D%20%5B%5D%2C%20set()%0A%20%20%20%20%20%20%20%20%20%20%20%20def%20build_topo(v)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20v%20not%20in%20visited%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20visited.add(v)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20child%20in%20v._prev%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20build_topo(child)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20topo.append(v)%0A%20%20%20%20%20%20%20%20%20%20%20%20build_topo(self)%0A%20%20%20%20%20%20%20%20%20%20%20%20self.grad%20%3D%201.0%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20node%20in%20reversed(topo)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20node._backward()%0A%0A%20%20%20%20%23%20---%20end%20reference%20Value%20class%20---%0A%20%20%20%20return%20(Value%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20Task%20%E2%80%94%20implement%20%60Neuron%60%2C%20%60Layer%60%2C%20and%20%60MLP%60%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20---%20student%3A%20begin%20---%0A%0A%20%20%20%20class%20Neuron%3A%0A%20%20%20%20%20%20%20%20def%20__init__(self%2C%20nin)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22A%20single%20neuron%20with%20%60nin%60%20inputs.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20raise%20NotImplementedError(%22Implement%20Neuron%22)%0A%0A%20%20%20%20%20%20%20%20def%20__call__(self%2C%20x)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Compute%20w%C2%B7x%20%2B%20b%2C%20then%20tanh.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20raise%20NotImplementedError(%22Implement%20Neuron.__call__%22)%0A%0A%20%20%20%20%20%20%20%20def%20parameters(self)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Return%20list%20of%20all%20trainable%20Value%20parameters.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20raise%20NotImplementedError(%22Implement%20Neuron.parameters%22)%0A%0A%20%20%20%20class%20Layer%3A%0A%20%20%20%20%20%20%20%20def%20__init__(self%2C%20nin%2C%20nout)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22A%20layer%20of%20%60nout%60%20neurons%2C%20each%20with%20%60nin%60%20inputs.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20raise%20NotImplementedError(%22Implement%20Layer%22)%0A%0A%20%20%20%20%20%20%20%20def%20__call__(self%2C%20x)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Forward%20pass%20through%20all%20neurons%20in%20the%20layer.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20raise%20NotImplementedError(%22Implement%20Layer.__call__%22)%0A%0A%20%20%20%20%20%20%20%20def%20parameters(self)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Return%20list%20of%20all%20trainable%20Value%20parameters%20in%20this%20layer.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20raise%20NotImplementedError(%22Implement%20Layer.parameters%22)%0A%0A%20%20%20%20class%20MLP%3A%0A%20%20%20%20%20%20%20%20def%20__init__(self%2C%20nin%2C%20nouts)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22An%20MLP%20with%20layers%20defined%20by%20%60nouts%60%20(list%20of%20layer%20sizes).%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20raise%20NotImplementedError(%22Implement%20MLP%22)%0A%0A%20%20%20%20%20%20%20%20def%20__call__(self%2C%20x)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Forward%20pass%20through%20all%20layers.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20raise%20NotImplementedError(%22Implement%20MLP.__call__%22)%0A%0A%20%20%20%20%20%20%20%20def%20parameters(self)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Return%20list%20of%20all%20trainable%20Value%20parameters%20in%20the%20network.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20raise%20NotImplementedError(%22Implement%20MLP.parameters%22)%0A%0A%20%20%20%20%23%20---%20student%3A%20end%20---%0A%20%20%20%20return%20Layer%2C%20MLP%2C%20Neuron%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(Layer%2C%20MLP%2C%20Neuron%2C%20Value%2C%20mo)%3A%0A%20%20%20%20_solved%20%3D%20False%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20import%20random%20as%20_random%0A%20%20%20%20%20%20%20%20_random.seed(42)%0A%0A%20%20%20%20%20%20%20%20mlp%20%3D%20MLP(2%2C%20%5B3%2C%201%5D)%0A%20%20%20%20%20%20%20%20%23%20MLP(2%2C%20%5B3%2C%201%5D)%20has%20layers%3A%20Layer(2%2C3)%20and%20Layer(3%2C1)%0A%20%20%20%20%20%20%20%20%23%20Layer(2%2C3)%3A%203%20neurons%20%C3%97%20(2%20weights%20%2B%201%20bias)%20%3D%209%20params%0A%20%20%20%20%20%20%20%20%23%20Layer(3%2C1)%3A%201%20neuron%20%C3%97%20(3%20weights%20%2B%201%20bias)%20%3D%204%20params%0A%20%20%20%20%20%20%20%20%23%20Total%3A%2013%20params%0A%20%20%20%20%20%20%20%20assert%20len(mlp.parameters())%20%3D%3D%2013%2C%20f%22Expected%2013%20params%2C%20got%20%7Blen(mlp.parameters())%7D%22%0A%20%20%20%20%20%20%20%20assert%20len(mlp.layers)%20%3D%3D%202%2C%20f%22Expected%202%20layers%22%0A%20%20%20%20%20%20%20%20assert%20isinstance(mlp.layers%5B0%5D%2C%20Layer)%2C%20%22First%20layer%20should%20be%20Layer%22%0A%0A%20%20%20%20%20%20%20%20x%20%3D%20%5BValue(1.0)%2C%20Value(2.0)%5D%0A%20%20%20%20%20%20%20%20out%20%3D%20mlp(x)%0A%20%20%20%20%20%20%20%20assert%20isinstance(out%2C%20Value)%2C%20%22Output%20of%20MLP(2%2C%5B3%2C1%5D)%20should%20be%20a%20single%20Value%22%0A%20%20%20%20%20%20%20%20out.backward()%0A%0A%20%20%20%20%20%20%20%20%23%20A%20forward%20pass%20through%20a%201-output%20MLP%20should%20produce%20a%20valid%20scalar%0A%20%20%20%20%20%20%20%20assert%20abs(out.data)%20%3C%3D%201.0%2C%20%22tanh%20output%20should%20be%20in%20%5B-1%2C%201%5D%22%0A%0A%20%20%20%20%20%20%20%20_result%20%3D%20mo.callout(mo.md(%22%E2%9C%85%20MLP%20is%20correct!%22)%2C%20kind%3D%22success%22)%0A%20%20%20%20%20%20%20%20_solved%20%3D%20True%0A%20%20%20%20except%20NotImplementedError%20as%20e%3A%0A%20%20%20%20%20%20%20%20_result%20%3D%20mo.callout(mo.md(f%22%E2%9C%8F%EF%B8%8F%20%7Be%7D%22)%2C%20kind%3D%22neutral%22)%0A%20%20%20%20except%20Exception%20as%20e%3A%0A%20%20%20%20%20%20%20%20_result%20%3D%20mo.callout(mo.md(f%22%E2%9D%8C%20%7Be%7D%22)%2C%20kind%3D%22danger%22)%0A%20%20%20%20%23%20---%20capture%20%26%20report%20(runs%20every%20time%2C%20pass%20or%20fail)%20---%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20import%20inspect%20as%20_inspect%2C%20json%20as%20_json%2C%20js%20as%20_js%0A%20%20%20%20%20%20%20%20from%20pyodide.ffi%20import%20to_js%20as%20_to_js%0A%20%20%20%20%20%20%20%20_srcs%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20_fn%20in%20(Neuron%2C%20Layer%2C%20MLP%2C)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_srcs.append(_inspect.getsource(_fn))%0A%20%20%20%20%20%20%20%20%20%20%20%20except%20Exception%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pass%0A%20%20%20%20%20%20%20%20_payload%20%3D%20_json.dumps(%7B%22notebookId%22%3A%20%22backprop_mlp%2Fbuild_mlp%22%2C%20%22code%22%3A%20%22%5Cn%5Cn%22.join(_srcs)%2C%20%22solved%22%3A%20bool(_solved)%7D)%0A%20%20%20%20%20%20%20%20if%20_solved%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_ch%20%3D%20_js.BroadcastChannel.new(%22mlp-notebooks%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_ch.postMessage(_js.JSON.parse(_json.dumps(%7B%22type%22%3A%20%22mlp%3Anotebook-solved%22%2C%20%22notebookId%22%3A%20%22backprop_mlp%2Fbuild_mlp%22%7D)))%0A%20%20%20%20%20%20%20%20%20%20%20%20_ch.close()%0A%20%20%20%20%20%20%20%20_js.fetch(%22%2Fapi%2Fnotebook-progress%22%2C%20_to_js(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22method%22%3A%20%22POST%22%2C%20%22headers%22%3A%20%7B%22Content-Type%22%3A%20%22application%2Fjson%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%22credentials%22%3A%20%22include%22%2C%20%22body%22%3A%20_payload%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20dict_converter%3D_js.Object.fromEntries))%0A%20%20%20%20except%20Exception%3A%0A%20%20%20%20%20%20%20%20pass%20%20%23%20not%20running%20in%20Pyodide%20WASM%0A%20%20%20%20mo.output.replace(_result)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A