| A good problem for a recurrent network |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| • | We can train a
feedforward net to |
||||||||||||||||
| do binary
addition, but there are |
|||||||||||||||||
| obvious
regularities that it cannot |
|||||||||||||||||
| capture: |
|||||||||||||||||
| – | We
must decide in advance the |
||||||||||||||||
| maximum
number of digits in |
|||||||||||||||||
| each
number. |
|||||||||||||||||
| – | The
processing applied to the |
||||||||||||||||
| beginning
of a long number |
|||||||||||||||||
| does
not generalize to the end |
|||||||||||||||||
| of
the long number because it |
|||||||||||||||||
| uses
different weights. |
|||||||||||||||||
| • | As a result,
feedforward nets do |
||||||||||||||||
| not generalize
well on the binary |
|||||||||||||||||
| addition task. |
|||||||||||||||||
| 11001100 |
| hidden units |
| 00100110 |
| 10100110 |