Sim, as informações ainda estarão no telefone mesmo se você retirar a bateria. Isso ocorre porque as informações ficam armazenadas na memória interna do telefone, o que não é afetado pela retirada da bateria. A bateria apenas fornece energia ao telefone; portanto, quando for removida, o telefone será desligado, mas as informações ainda estarão lá.
