Standart bir RNN tek bir tanh katmanı içerirken, LSTM ‘ler iletişim halinde olan 4 farklı katman içerirler. LSTM ‘in temel konsepti Cell State ve kullandığı çeşitli kapılardır(gates). Cell State, tahmin yapmak için anlamlı bilgileri hücreler boyunca taşıyan bir iletişim hattı ve ağın hafızası olarak açıklanabilir.