Ten en cuenta que la extensión no tiene porque estar en minúsculas.
Pásalo a minúsculas al hacer la comparación.
For Each archivo As FileInfo In dir.GetFiles()
Dim extension As String = archivo.Extension
If extension.ToLower<> ".txt" Then
Encriptar_Ficheros_GPG(archivo.Name, CarpetaOrigen)
File.Delete(CarpetaOrigen & archivo.Name)
End If
Next
Saludos, Javier J