Não, você não pode usar com segurança um adaptador de 6 volts em um aparelho de 4,5 volts.
Os dispositivos eletrônicos são projetados para operar dentro de uma faixa de tensão específica. Usar um adaptador de tensão superior ao especificado para o dispositivo pode danificar seus componentes internos, resultando em mau funcionamento ou falha total.
No seu caso, o aparelho 4,5 espera uma alimentação de tensão de 4,5 volts. Conectá-lo a um adaptador de 6 volts forneceria uma tensão mais alta do que o pretendido, o que pode sobrecarregar os circuitos eletrônicos dentro do aparelho, causando danos ou redução da vida útil.
Para evitar problemas, use sempre o adaptador de voltagem especificado para o dispositivo eletrônico ou um com voltagem ajustável definida no valor correto e com capacidade de alimentação de corrente adequada.