encoder-decoder (seq2seq)

input sequence, output sequence의 토큰 개수가 다를 경우에 대한 대응

 

<sos>, <eos> 토큰을 둔다.

encoder을 활용하여 input sequence에 대한 정보를 은닉층에 집약한다.

집약한 은닉층을 <sos> 토큰과 함께 디코더의 첫 입력에 입력한다.

 

input sequence 전체를 은닉층에 넣어서 정보 손실이 발생하며, 어텐션 메커니즘 등장의 계기가 되었다.