¿Por qué se vuelve ilegible el texto de un CSV? | UTF-8, Shift_JIS y BOM

¿Por qué el texto de CSV se convierte en ilegible ANTE UTF-8, Shift JIS y BOM

¿Ha abierto un CSV descargado en Excel sólo para encontrar que el texto japonés se hace inleable? Puede mostrar correctamente en otra aplicación pero se convierte en garbo en Excel.

Una causa común del texto del CSV es un desajuste entre la codificación utilizada para guardar el archivo y la codificación utilizada para leerlo. Incluso si la pantalla es garbled, el archivo original no está necesariamente dañado.

Este artículo explica UTF-8, Shift JIS y BOM, términos a menudo encontrados con los archivos CSV, y cómo comprobar la configuración para evitar el texto ilegible.

El texto del CSV de ilegible proviene de reglas de decodificación desajustadas

Las computadoras no guardan caracteres japoneses directamente como letras visibles. Los codifican como secuencias de números y los descifran al abrir archivos. Estas reglas se llaman codificación de caracteres.

Por ejemplo, leer un UTF-8 CSV como Shift JIS puede producir diferentes caracteres o símbolos.

Codificación cuando se salvaCodificación cuando se leePantalla esperada
UTF-8UTF-8Muestra correctamente
Shift_JISShift_JISMuestra correctamente
UTF-8Shift_JISEl japonés y otro texto pueden llegar a ser adornados
Shift_JISUTF-8El japonés y otro texto pueden llegar a ser adornados

Las letras y los números pueden permanecer legibles mientras que el texto japonés es gravado. UTF-8 y Shift JIS comparten representaciones para letras y dígitos comunes de ASCII pero difieren para el texto japonés.

También, la extensión .csv no identifica una única codificación. La codificación CSV depende de la aplicación y guardar los ajustes utilizados para crearla.

¿Cómo difiere UTF-8, Shift JIS y BOM?

UTF-8, Shift JIS y BOM

UTF-8 y Shift JIS son codificación de caracteres, mientras que un BOM es un marcador al principio de un archivo.

MandatoFunciónLo que significa para los archivos CSV
UTF-8Una codificación que abarca muchos idiomas, incluido el japonésSe utiliza para intercambiar datos con servicios web y otros sistemas
Shift_JISUna codificación principalmente para el texto japonésPuede ser necesario por los sistemas operativos existentes
BOMUn marcador que identifica una codificación o información relacionadaPuede ayudar a Excel a reconocer archivos UTF-8 CSV

Los archivos UTF-8 pueden tener un BOM o ningún BOM. Ambos son UTF-8 y soportan la misma gama de caracteres.

UTF-8: una codificación para japonés y muchos otros idiomas

UTF-8 es una manera de almacenar caracteres Unicode en archivos. Es compatible con japonés, inglés, chino y muchos otros idiomas.Preguntas frecuentes sobre Unicode

guardar como UTF-8 no garantiza la correcta visualización en cada aplicación. El lector también debe decodificar el archivo como UTF-8.

Si un proveedor de CSV declara que la salida es UTF-8, normalmente elige UTF-8 cuando la importa también.

Shift JIS: común en los datos del negocio japonés

Shift JIS se ha utilizado durante mucho tiempo para los datos japoneses y puede ser especificado para las importaciones en los sistemas de negocio.

Tenga en cuenta que Shift JIS se muestra en la configuración de Windows puede referirse a CP932, que tiene un repertorio de caracteres extendido. Microsoft también describe la página de código 932 como una forma de Shift JIS.Documentación de la página de código de Microsoft

Si un convertidor ofrece tanto Shift JIS como Windows-31J/CP932, compruebe los requisitos del destino.

No todos los caracteres apoyados por UTF-8 pueden ser salvados en Shift JIS. Emoji o algunos kanji pueden hacer que la conversión se detenga o los caracteres no soportados para ser reemplazados.

BOM: un marcador que identifica UTF-8

BOM significa Byte Order Mark. Al comienzo de un archivo UTF-8, puede indicar que la codificación al lector. Normalmente no se muestra en pantalla.La explicación de Unicode de BOM

Microsoft explica que los archivos UTF-8 CSV guardados con un BOM se pueden abrir normalmente en Excel. Los archivos UTF-8 sin BOM también se pueden abrir utilizando las características de importación de datos de Excel.Guía oficial de importación de Microsoft CSV

Sin embargo, algunos sistemas no esperan una BOM.Hacer un archivo fácil de abrir en Excel y hacerlo adecuado para un sistema de destino son consideraciones separadas.

Simplemente añadiendo un UTF-8 BOM a un archivo Shift JIS no lo convierte a UTF-8.

¿Por qué el texto de CSV se puede grabar en Excel?

¿Por qué el texto de CSV se ve adornado

Hacer doble clic en un CSV salta el paso de revisar o especificar su codificación. El almacenamiento ocurre si la interpretación elegida por Excel no coincide con la codificación del archivo.

El comportamiento depende de la versión Excel, el sistema operativo y el contenido del archivo. En lugar de asumir que Excel no puede leer UTF-8 o todos los archivos CSV deben utilizar Shift JIS, comprobar la configuración de importación.

Preste especial atención en estas situaciones.

  • Abrió un CSV descargado directamente desde un servicio web.
  • El archivo se muestra correctamente en otro ordenador.
  • Letras y números son legibles, pero el texto japonés no lo es.
  • Los datos son correctos en el sistema original, pero se agudiza cuando se importan en Excel.

Mantenga el original e intente leerlo de nuevo con la codificación especificada.

Si el texto es adornado, mantenga el original y vuelva a abrirlo

guardar un archivo mientras que su texto está grabado puede guardar caracteres decodificados incorrectamente y dificultar la recuperación. Copie primero el CSV original y trabaje en una copia de comprobación.

En Excel para Windows, puede especificar la codificación utilizando los siguientes pasos generales. Los nombres de los menús pueden diferir por versión.

  1. Abra un libro de trabajo en blanco en Excel.
  2. En la ficha Datos, elija De Texto/CSV.
  3. Seleccione el CSV para importar.
  4. Revise la configuración de codificación.
  5. Compruebe los límites de texto y columna japonesas en la vista previa, luego cargue los datos.

Para UTF-8, considere 65001: Unicode (UTF-8). Para archivos de Windows CSV japoneses, considere 932: Japonés (Shift-JIS). Compruebe la descripción del proveedor y elegir un ajuste que se muestra correctamente en la vista previa.Ministerio de Finanzas de Japón

Si columnas como códigos postales o códigos de productos necesitan ceros iniciales, también presten atención a los tipos de datos de importación.El texto y la desaparición de los principales ceros son problemas separados, así que igualar la codificación por sí sola no impide ambos.

Elija guardar la configuración de acuerdo con el propósito del CSV

Elija codificación para el destino

Elija configuración de codificación y BOM basado en quién utilizará el archivo siguiente y en qué aplicación.

Fines CSVGuía de selección
Deja que los receptores abran y comprueben directamente en ExcelConsidere UTF-8 con BOM
Importar en un sistema que requiera UTF-8 sin BOMGuardar sin BOM como se especifica
Importar en un sistema que requiera Shift JISSiga la especificación de importación, incluyendo cualquier distinción CP932
Incluir idiomas distintos del japonés o el emojiElija UTF-8 si el destino lo soporta
Los requisitos del destinatario no están clarosVerifique primero el manual o la persona responsable

Al cambiar una codificación, leer el archivo correctamente utilizando su codificación original, a continuación, guardar utilizando el codificación de destino. La secuencia importa. guardar una pantalla de gran alcance como UTF-8 no necesariamente restaurar el texto original japonés.

Al cambiar la codificación no lo arregla

Si la reapertura con la codificación correcta no ayuda, los datos originales pueden haber sido alterados.

Por ejemplo, si los caracteres no soportados fueron reemplazados con marcas de preguntas durante la conversión y guardados, el archivo resultante por sí solo puede no revelar los originales.

Además, no todo número de pantalla es un problema de codificación.

SíntomaQué comprobar
Todo el texto japonés se hace irreparableLa codificación de las importaciones
Sólo algunos caracteres se convierten en marcas de preguntas o reemplazos similaresSi la conversión anterior o el guardado perdió esos caracteres
Los caracteres aparecen como cajasSi la fuente seleccionada los admite
Todos los datos aparecen en una columnaAjustes de delimitador, como coma o pestaña
Los códigos de producto pierden ceros inicialesConversión numérica automática de Excel

Antes de intentar repetidamente reparaciones, considere descargar el CSV de nuevo del proveedor o volver a un original sin editar.

Al reparar o convertir archivos CSV

La reparación de codificación CSV de JIM-JIN puede ayudar a inspeccionar los archivos CSV descarados. Para cambiar las codificaciones para cumplir con los requisitos de presentación, utilice el TXT y el convertidor de codificación CSV.

En cualquiera de los casos, retenga primero los títulos originales sin editar y cheque, texto japonés, nombres y símbolos después. La detección o conversión de codificación no puede garantizar la recuperación de caracteres ya perdidos.

Si un CSV se ve confuso, antes de sobrescribirlo, compruebe: ¿Qué codificación se utilizó para guardar este archivo, y qué codificación estoy usando para abrirlo? Comprender UTF-8, Shift JIS y BOM le ayuda a identificar la causa.

¡Compartamos este post!
Contents