Auriculares.org

Hola a todos.

Aunque no participo activamente de modo habitual en auriculares.org, me permito invitaros a tomar parte en un experimento colectivo. El objetivo es analizar la calidad de audio que podemos conseguir utilizando el codec OGG/Vorbis de modo comparado con la de muestras de audio almacenadas sin compresión de ningún tipo, en formato WAV, a 16 bits y 44 Khz.

OGG/Vorbis (simplemente OGG en adelante) es un veterano codec de audio digital desarrollado por la Fundación Xiph.Org. Pertenece a la familia de codecs llamados perceptivos. Esto quiere decir que utiliza un modelo psicoacústico para reducir el tamaño del archivo resultante del proceso de codificación por lo que cuando se emplea se produce una pérdida en la fidelidad del audio de las muestras originales que se recodifican. Dicho de otro modo, su funcionamiento no es transparente puesto que opera bajo la premisa de descartar información que teóricamente no es audible, del mismo modo que los archiconocidos MP3 y AAC.

Lo que vamos a tratar de determinar precisamente es en qué medida esa pérdida es audible o no, y bajo qué condiciones.

Aunque es posible que existan otros codecs más eficientes, he escogido OGG por el hecho de ser de código abierto, por su popularidad (es el empleado por Spotify) y su buen rendimiento contrastado. En cualquier caso, OGG ofrece mejores resultados que MP3 a igual tasa de bits

La sistemática de la prueba es la siguiente:

• He seleccionado 5 pistas de audio a partir de mis propios CDs y las he extraído en formato WAV.
• A continuación, he escogido un fragmento de entre 30 y 50 segundos de cada una de ellas y he generado 5 archivos en formato WAV.
• Estos 5 archivos se han recodificado en formato OGG. En este punto se ha producido una pérdida en la fidelidad del audio de las muestras originales.
• Para evitar que el tamaño del archivo delatara el codec empleado en cada caso, las muestras en formato OGG se han re-empaquetado nuevamente como archivos WAV.
• Los 5 pares de archivos resultantes (versión en WAV / versión en OGG, pero ambos conjuntos presentados en contenedores WAV) han sido renombrados de modo uniforme: Pista 1-A, Pista 1-B, Pista 2-A, Pista 2-B... asignando aleatoriamente los sufijos A y B a cada par de pistas.
• Se ha construido una página web en la que se han publicado todos los archivos, así como un cuestionario que contiene una serie de preguntas.
• El test estará abierto durante un periodo de tiempo que, en principio, voy a establecer en 30 días. Además, se publicará en diferentes foros y en mi cuenta de Twitter, Facebook y blog personal.
• Pasado ese periodo de tiempo, que espero sea suficiente para conseguir un cierto número de ensayos (idealmente del orden de cientos), el cuestionario se cerrará y procederé a analizar las respuestas enviadas.
• Tanto la hoja de cálculo con los datos recogidos como las distintas tablas dinámicas y gráficos resultantes del análisis serán publicados y quedarán a disposición de cualquiera que quiera revisarlos.

El cuestionario a responder tras la audición tiene 3 secciones. En la primera hay que marcar qué versión de cada uno de los pares de pistas nos suena mejor. Existe también una tercera respuesta posible si no se aprecian diferencias. Del mismo modo, hay que indicar qué grado de confianza se tiene en las elecciones realizadas. Las siguientes dos secciones contienen preguntas que son opcionales, pero se incluyen para recoger datos que permitan segmentar los resultados y tratar de interpretarlos.

Hay alguna cuestión más que comentar al respecto de la prueba y del formulario de respuesta, no obstante he incluido la información que me parece más relevante en la propia página web del experimento.

Así que, sin más, aquí tenéis la web de la prueba:


Muchas gracias a todos los participantes por adelantado. Las impresiones de los aficionados que utilizáis habitualmente auriculares son muy valiosas.

---

Nota: Este mensaje ha sido publicado en varios foros dedicados al audio con el objetivo de darle la mayor difusión posible, mis disculpas si eso contraviene la política de uso de este espacio.

Y AQUÍ TENEMOS LOS RESULTADOS

A continuación os muestro una serie de gráficos que detallan los resultados obtenidos. Si alguien desea analizar los datos en bruto, respuesta por respuesta, así como revisar detenidamente todas las tablas dinámicas y gráficos generados a partir de ellos, puede hacerlo en esta hoja de cálculo de Google:

Test audio comprimido (publicado) (https://goo.gl/pPK1oi)

Este documento es de solo lectura. No obstante podéis hacer una copia (es necesario para ello disponer de una cuenta de Google) haciendo Archivo > Crear una copia para disponer de una versión propia, ya editable, en la que se pueden ver las fórmulas empleadas, editar los gráficos o realizar nuevos análisis. Por ejemplo, quizás sería interesante estudiar en qué modo las variables (tipo de escucha, perfil, nivel del equipo, etc.) determinan el número de aciertos en cada una de las pistas de modo específico e independiente. Yo he hecho el análisis que os presento de modo global, puesto que de lo contrario el trabajo se hubiera alargado mucho, y solo he descendido a este nivel de detalle para relacionar aciertos con confianza en la elección, que sí podréis encontrar más abajo representados pista a pista.

Esta es por tanto una prueba de código abierto :-), así que os animo a utilizar la hoja de cálculo con las respuestas para obtener más información y a compartir los resultados.

Vamos con los gráficos. Hay muchos y su carga puede demorarse, paciencia.


1. Información estadística de los participantes

1.1 Participantes
(http://pix.toile-libre.org/upload/original/1480879207.jpg)

1.2 Edad Media
(http://pix.toile-libre.org/upload/original/1480879230.jpg)

1.3 Sexo
(http://pix.toile-libre.org/upload/original/1480879260.jpg)

1.4 Escucha con auriculares / altavoces
(http://pix.toile-libre.org/upload/original/1480894646.jpg)

1.5 Nivel del equipo
(http://pix.toile-libre.org/upload/original/1480879306.jpg)

1.6 Perfil de usuario
(http://pix.toile-libre.org/upload/original/1480879324.jpg)

1.7 Modo de realización de la prueba
(http://pix.toile-libre.org/upload/original/1480879341.jpg)

1.8 Uso de mejoras eléctricas
(http://pix.toile-libre.org/upload/original/1480892524.jpg)

1.9 Sala acondicionada
(http://pix.toile-libre.org/upload/original/1480879379.jpg)

1.10 Uso de corrección digital / EQ
(http://pix.toile-libre.org/upload/original/1480879401.jpg)



2. Resultados generales

La secuencia de pistas que se corresponde con los archivos wav era:

BAAAB

No había ninguna pista "trampa" (ambos archivos idénticos).

2.1 Porcentaje de aciertos generales
(http://pix.toile-libre.org/upload/original/1480879534.jpg)

2.2 Respuestas por pista
(http://pix.toile-libre.org/upload/original/1480879564.jpg)

2.3 Confianza por pista
(http://pix.toile-libre.org/upload/original/1480879584.jpg)

• Solo 4 personas de los 83 participantes han identificado correctamente las pistas WAV (4,8%). Si calculamos la probabilidad de que esto ocurra (4 personas de 83 participantes identifican las 5 pistas WAV) utilizando una distribución binomial (https://es.wikipedia.org/wiki/Distribuci%C3%B3n_binomial) B(83,4) en la que la probabilidad de acierto de cada ensayo es p= 0,004115 (1/3⁵), nos resulta un 0,038% ¿Algún matemático en la sala para corroborar esto?
  
• Por último, aunque solo un pequeño porcentaje de usuarios ha identificado las pistas WAV, lo que podríamos denominar la inteligencia audiófila colectiva ha optado claramente por las versiones WAV de las 5 pistas, lo que no deja de parecerme intrigante.
  

3. Aciertos en función del tipo de escucha

3.1 Aciertos por tipo de escucha
(http://pix.toile-libre.org/upload/original/1480879944.jpg)

3.2 Porcentaje aciertos altavoces
(http://pix.toile-libre.org/upload/original/1480879963.jpg)

3.3 Porcentaje aciertos auriculares
(http://pix.toile-libre.org/upload/original/1480879983.jpg)

Contrariamente a la creencia popular los resultados apuntan a que resulta más fácil identificar las pistas WAV (4 o 5 pistas correctamente identificadas como WAV) con altavoces que con auriculares (37,5% frente a 12,2%).


4. Aciertos en función del perfil del usuario

4.1 Aciertos por perfil
(http://pix.toile-libre.org/upload/original/1480880080.jpg)

4.2 Porcentaje aciertos novatos
(http://pix.toile-libre.org/upload/original/1480880097.jpg)

4.3 Porcentaje aciertos aficionados
(http://pix.toile-libre.org/upload/original/1480880116.jpg)

4.4 Porcentaje aciertos usuarios con experiencia
(http://pix.toile-libre.org/upload/original/1480880136.jpg)

4.5 Porcentaje aciertos profesionales
(http://pix.toile-libre.org/upload/original/1480880160.jpg)

4.6 Porcentaje aciertos músicos
(http://pix.toile-libre.org/upload/original/1480880183.jpg)

• El bajo número de muestras pertenecientes a determinados colectivos no permite extraer, en mi opinión, conclusiones claras (3 músicos, 3 usuarios que se consideran profesionales del sector) en determinados casos.
  
• El porcentaje de usuarios que se consideran aficionados o usuarios con experiencia e identifican 4 o 5 de las pistas WAV es prácticamente idéntico (24,4% frente a 23,1%). Este factor por tanto no parece ser relevante.
  

5. Aciertos en función del nivel del equipo

5.1 Aciertos por nivel del equipo
(http://pix.toile-libre.org/upload/original/1480880262.jpg)

5.2. Porcentaje aciertos equipos nivel bajo
(http://pix.toile-libre.org/upload/original/1480880279.jpg)

5.3. Porcentaje aciertos equipos nivel medio
(http://pix.toile-libre.org/upload/original/1480880297.jpg)

5.4. Porcentaje aciertos equipos nivel alto
(http://pix.toile-libre.org/upload/original/1480880320.jpg)

• Los participantes con equipos de nivel medio - alto han obtenido un porcentaje mayor de aciertos que los que empleaban equipos de nivel bajo. La calidad del equipo sí contribuye, aparentemente, a facilitar la detección de diferencias.
  
• Ningún usuario con equipo de nivel bajo ha identificado las 5 pistas WAV.
  

6. Aciertos en función del modo en que se ha realizado la prueba

6.1 Aciertos por modo de realización de la prueba
(http://pix.toile-libre.org/upload/original/1480880369.jpg)

6.2. Porcentaje aciertos archivos descargados
(http://pix.toile-libre.org/upload/original/1480880387.jpg)

6.3 Porcentaje aciertos escucha desde el navegador
(http://pix.toile-libre.org/upload/original/1480880406.jpg)

Las gráficas sugieren que los usuarios que han descargado los archivos para realizar la prueba han tenido más éxito a la hora de identificar las versiones WAV (29,4% frente a 15,6% a la hora de obtener 4 o 5 aciertos).


7. Aciertos en función del uso de mejoras en alimentación

7.1 Aciertos por uso de mejoras en alimentación
(http://pix.toile-libre.org/upload/original/1480880636.jpg)

7.2. Porcentaje aciertos usuarios sin mejoras
(http://pix.toile-libre.org/upload/original/1480880655.jpg)

7.3. Porcentaje aciertos usuarios con mejoras
(http://pix.toile-libre.org/upload/original/1480880673.jpg)

Los resultados obtenidos no permiten vincular un mayor porcentaje de éxito a la hora de identificar los archivos WAV con el uso de mejoras en la alimentación eléctrica del equipo empleado (25,9% frente a 25% a la hora de obtener 4 o 5 aciertos).


8. Aciertos en función del acondicionamiento de la sala

8.1 Aciertos por uso de acondicionamiento pasivo
(http://pix.toile-libre.org/upload/original/1480880713.jpg)

8.2. Porcentaje aciertos usuarios sin acondicionamiento
(http://pix.toile-libre.org/upload/original/1480880741.jpg)

8.3. Porcentaje aciertos usuarios con acondicionamiento
(http://pix.toile-libre.org/upload/original/1480880760.jpg)

• 2 usuarios han indicado que utilizaron auriculares para realizar la prueba pero también respondieron afirmativamente a la pregunta correspondiente al acondicionamiento acústico. Ambos no han sido tenidos en cuenta en las gráficas de (únicamente) este apartado.
  
• En este caso, y paradójicamente, los usuarios que han realizado la prueba sin contar con una sala acondicionada han obtenido mejores resultados a la hora de identificar correctamente 4 o 5 de los archivos WAV que los que sí disponían de esta mejora (42,3% frente a 30%). Este resultado incongruente me hace pensar que el tamaño escaso de la muestra (solo 10 usuarios participantes que disfrutan de acondicionamiento pasivo) impide obtener conclusiones concluyentes.
  

9. Aciertos en función del uso de ecualización

9.1 Aciertos por uso de ecualización
(http://pix.toile-libre.org/upload/original/1480880846.jpg)

9.2. Porcentaje aciertos usuarios sin ecualización
(http://pix.toile-libre.org/upload/original/1480881893.jpg)

9.3. Porcentaje aciertos usuarios con ecualización
(http://pix.toile-libre.org/upload/original/1480880887.jpg)

El uso de EQ y/o corrección digital de sala parece tener un impacto positivo en el índice de aciertos (45,5% frente a un 20,9% en el caso de los participantes que no disponían de esta mejora). No obstante, y nuevamente, el relativamente reducido número de usuarios que han indicado que empleaban EQ obliga a ser muy prudente a la hora de correlacionar estos factores.


10. Confianza en la elección: Pistas 1

10.1 Confianza personas que NO identifican el archivo WAV
(http://pix.toile-libre.org/upload/original/1480881031.jpg)

10.2 Confianza personas que SÍ identifican el archivo WAV
(http://pix.toile-libre.org/upload/original/1480881051.jpg)

En este caso los participantes que no identifican correctamente el archivo WAV demuestran más confianza en su elección que los que sí lo identifican (39,5% frente a 22,5%).


11. Confianza en la elección: Pista 2

11.1 Confianza personas que NO identifican el archivo WAV
(http://pix.toile-libre.org/upload/original/1480881081.jpg)

11.2 Confianza personas que SÍ identifican el archivo WAV
(http://pix.toile-libre.org/upload/original/1480881097.jpg)

En la pista 2, como podemos ver, el grado de confianza es similar en ambos grupos.


12. Confianza en la elección: Pista 3

12.1 Confianza personas que NO identifican el archivo WAV
(http://pix.toile-libre.org/upload/original/1480881114.jpg)

12.2 Confianza personas que SÍ identifican el archivo WAV
(http://pix.toile-libre.org/upload/original/1480881129.jpg)

En la pista 3 se obtienen resultados en lineas similares a los de la pista 2. La cosa está igualada, con una pequeña ventaja para los usuarios que no identifican correctamente el archivo WAV.


13. Confianza en la elección: Pista 4

13.1 Confianza personas que NO identifican el archivo WAV
(http://pix.toile-libre.org/upload/original/1480881149.jpg)

13.2 Confianza personas que SÍ identifican el archivo WAV
(http://pix.toile-libre.org/upload/original/1480881168.jpg)

En la pista 4 las tornas se invierten: los usuarios que identifican correctamente la versión WAV lo hacen con mayor confianza (37,5% frente a 25,6%).


14. Confianza en la elección: Pista 5

14.1 Confianza personas que NO identifican el archivo WAV
(http://pix.toile-libre.org/upload/original/1480881185.jpg)

14.2 Confianza personas que SÍ identifican el archivo WAV
(http://pix.toile-libre.org/upload/original/1480881230.jpg)

Finalmente, en la pista 5 se repite un resultado similar al evidenciado en la pista 3: porcentajes similares en ambos grupos, con una cierta ventaja para los usuarios que no identifican correctamente el archivo WAV.


Conclusiones personales

Y llegamos por fin al final de este análisis, pero antes de concluir me gustaría agradecer nuevamente a los participantes su colaboración en este estudio informal.

Personalmente extraigo varias conclusiones:

La primera y principal es que el tamaño de la muestra me parece demasiado pequeño como para tomarse esto muy en serio. Mis expectativas iniciales eran, quizás, demasiado altas (cientos de muestras). Esto es especialmente cierto si tenemos en cuenta el reducido número de participantes pertenecientes a determinados colectivos:

• Usuarios que identifican las 5 versiones WAV (4).
  
• Participantes que se consideran novatos (6)
  
• Músicos (3).
  
• Usuarios profesionales (3).
  
• Usuarios que disponen de salas acondicionadas (12).
  
• Usuarios que emplean ecualización (11).
  

Esto invalida en gran medida cualquier análisis que pretenda correlacionar la influencia de estas variables entre ellas o con otras de las manejadas por esta prueba.

Por otro lado, me ha sorprendido enormemente que la respuesta colectiva a la hora de determinar qué pistas sonaban mejor ha convergido de un modo claro hacia los archivos WAV (BAAAB), a pesar de que solo 4 usuarios (4,8%) los han identificado correctamente a título individual.

Además, durante el tiempo en que la prueba ha estado abierta he podido comprobar en tiempo real cómo este comportamiento colectivo se iba perfilando y tendía progresivamente hacia esos 5 aciertos. De hecho, la tendencia ha sido muy clara desde los 20 - 30 primeros participantes en el caso de las pistas 1, 4 y 5, no tanto en las número 2 y 3. Especialmente la 3ª pista no ha tendido a su valor final (A) hasta prácticamente los últimos 10 días. Ha sido francamente curioso ver cómo, poco a poco, también en este caso las respuestas iban decantando la balanza por la versión WAV.

Tampoco debemos perder de vista que, aunque 10 participantes (12%), casi todos utilizando auriculares, no han identificado correctamente ninguna de las pistas WAV, esto no debe interpretarse como que han preferido de un modo consistente las versiones OGG, puesto que existía una 3ª respuesta posible (suenan igual). De hecho, tan solo se ha registrado 1 respuesta en la que el usuario ha preferido las 5 versiones OGG. (ABBBA).

Con respecto a las pistas de prueba, los espectrogramas de las versiones codificadas en OGG muestran una (muy sutil en algunos casos) disminución en su densidad espectral en la parte alta, quedando ligeramente desmochados, como se puede ver en estas imágenes. Creo que es innegable que el codec OGG hace un gran trabajo, al menos desde el punto de vista del análisis espectral.

Espectros de las pistas de muestra, versión WAV a la izquierda, OGG a la derecha (archivos para descarga aquí (https://drive.google.com/drive/folders/0B5ya5JOrntQGaDhTZnZ4TEZuQk0?usp=sharing)).

(https://www.dropbox.com/s/g0mvm5ndv4jsi03/Selecci%C3%B3n_581.jpg?raw=1)
(https://www.dropbox.com/s/45s9dg482entqng/Selecci%C3%B3n_582.jpg?raw=1)
(https://www.dropbox.com/s/z11i1h1tl2frxyb/Selecci%C3%B3n_583.jpg?raw=1)
(https://www.dropbox.com/s/bl5sd1no4nj20r4/Selecci%C3%B3n_584.jpg?raw=1)
(https://www.dropbox.com/s/hrsba6i583kfymv/Selecci%C3%B3n_585.jpg?raw=1)

Por último, y tras pensar detenidamente en los resultados que arroja esta prueba, me inclino a pensar que sí existen diferencias audibles, hablando en términos absolutos y bajo determinadas condiciones, perceptibles por ciertas personas, entre un archivo WAV y su homólogo codificado en OGG utilizando una compresión con pérdidas.

Ahora bien, creo que es procedente cuestionarse si en condiciones normales de escucha esto resulta relevante o no. Al fin y al cabo nadie se sienta en el sofá a disfrutar de su música preferida en estado de alerta mental permanente, repitiendo una y otra vez determinados fragmentos de cada pieza, para detectar deficiencias en lo que está oyendo. O al menos no debería hacerlo si en algo aprecia su cordura. Las diferencias, de ser significativas, deberían ser evidentes y aflorar per se en lugar de requerir una escucha activa y analítica.

Y me temo que la respuesta a esta pregunta es, en última instancia, personal e intransferible.

Test realizado y enviado ;)
A ver qué tal los resultados.

Saludos

Gracias, Bogart (y resto de participantes). Los resultados, en unos días, tras el cierre del cuestionario.

¡Venga con esas respuestas!  :) Necesitamos muchas más para que el análisis sea realmente interesante.

Ale, yo también he participado, a ver qué sale.

Gracias a todos los participantes, ánimo con esas respuestas que estamos a 2 semanas del cierre del test.

Algunas cifras y estadísticas para abrir boca:

(http://pix.toile-libre.org/upload/original/1479547763.jpg)

(http://pix.toile-libre.org/upload/original/1479547938.jpg)

(http://pix.toile-libre.org/upload/original/1479547784.jpg)

(http://pix.toile-libre.org/upload/original/1479547809.jpg)

(http://pix.toile-libre.org/upload/original/1479547829.jpg)

El diferente número de respuestas contabilizadas en cada pregunta se debe a que las de la 2ª sección no eran obligatorias y algunos participantes han preferido no responder a algunas de ellas.

Voy a dejar el test abierto hasta la medianoche del 30 de noviembre, a ver si llegamos a las 100.

Muchas gracias a todos los que habéis participado y asimismo aprovecho para animar a los que aún no lo habéis hecho.

Test cerrado.

Finalmente se han recibido 85 respuestas, aunque 1 será eliminada del análisis por deseo expreso de la persona que la envió. En breve resultados y análisis.

Gracias a todos.

Los correos electrónicos con sus resultados acaban de ser enviados a las personas que lo especificaron al responder el test.

Un pequeño teaser del análisis que será publicado próximamente...

(http://pix.toile-libre.org/upload/original/1480760936.jpg)

(https://i.imgur.com/w9qKZH9.png)

Resultados publicados en el 2º mensaje del hilo:

http://www.auriculares.org/foro/index.php/topic,18843.msg195246.html#msg195246

Acabo de leer la siguiente exposición en otro foro, que demuestra que los resultados son comparables a una prueba realizada al azar:

http://audiophilia.foroactivo.com/t130p900-las-tribulaciones-y-cacicadas-en-auriculares-hifi-3

La combinación propuesta por Pablopi era la BAAAB
Existen 32 posibles combinaciones para acertar la combinación ganadora.  2x2x2x2x2=32

A saber:


a-a-b-b-a-a-b-b-a-a-b-b-a-a-b-b-a-a-b-b-a-a-b-b-a-a-b-b-a-a-b-b
a-b-a-b-a-b-a-b-a-b-a-b-a-b-a-b-a-b-a-b-a-b-a-b-a-b-a-b-a-b-a-b
a-a-a-a-b-b-b-b-a-a-a-a-b-b-b-b-a-a-a-a-b-b-b-b-a-a-a-a-b-b-b-b
a-a-a-a-a-a-a-a-b-b-b-b-b-b-b-b-a-a-a-a-a-a-a-a-b-b-b-b-b-b-b-b
a-a-a-a-a-a-a-a-a-a-a-a-a-a-a-a-b-b-b-b-b-b-b-b-b-b-b-b-b-b-b-b

En el caso de que de los 83 participantes, cada uno de ellos hubiese elegido una distinta, al azar y sin hacer la prueba, hubiese habido más de 2 personas que hubiesen acertado los cinco intentos (83/32=2.59375) ; es decir que el resultado de 4 acertantes ha sido casi cuestión de azar puro...

Imaginemos que solo hubiesen habido 32 participantes. El índice de aciertos hubiese sido el siguiente:

5 aciertos---1
4 aciertos---5
3 aciertos---10
2 aciertos---10
1 acierto----5
0 aciertos--1

Multiplicad este índice por 2.59375 que es el índice entre participante/probabilidades  y obtened las cantidades aproximadas de haber elegidos todos al azar.
Sin sacar la calculadora a estas horas :D , el cálculo es que:

5 aciertos ---2.59375
4 aciertos---12.96875
3 aciertos---25.93750
2 aciertos---25.93750
1 acierto-----12.96875
0 aciertos---- 2.59375  

TOTAL....83.00

Si los datos de los porcentajes generales de Pablo arrojan que:

5 aciertos ---4
4 aciertos---16
3 aciertos---13
2 aciertos---26
1 acierto-----14
0 aciertos---10

Llegamos a la conclusión que en algunos aspectos, los resultados han sido peores incluso que eligiendo al azar. En realidad salvo en 5 aciertos ( 4 / 2.59375 ) y 4 aciertos (12.968 / 16 ) los datos son peores o prácticamente calcados, como por ejemplo en el índice de 2 aciertos (25.93750 /26) y de un solo acierto (12.96875 / 14 )

Como dato curioso, señalar que eligiendo al azar el índice de cero aciertos debería haber sido de 3 participante  (redondeando) y se ha ido a 10 de la otra manera, mientras que el de 3 aciertos tenía que haber sido de 26 acertantes, siendo 13 los que lo han conseguido...

CONCLUSION:
Resultados propios del puro azar..

Cita de: Ant_56 en Diciembre 05, 2016, 17:09:23
Acabo de leer la siguiente exposición en otro foro, que demuestra que los resultados son comparables a una prueba realizada al azar:

http://audiophilia.foroactivo.com/t130p900-las-tribulaciones-y-cacicadas-en-auriculares-hifi-3

La combinación propuesta por Pablopi era la BAAAB

El razonamiento no es correcto desde la base, Ant_56. Repasemos teoría de probabilidad  :).

Había 3 respuestas posibles en cada una de las pistas. Por tanto la probabilidad de éxito no es 1/2⁵ (32) sino 1/3⁵ (0,004115226), expresadas ambas en tanto por uno. A esta probabilidad la vamos a denominar p (un usuario identifica correctamente los 5 archivos WAV).

Por otro lado, la probabilidad de que un número X de personas identifique correctamente los 5 WAV (recordemos, suceso p) de entre n intentos (participantes), no creo que pueda calcularse como indicas en tu mensaje, sino que puesto que cada intento de un participante puede caracterizarse mediante un suceso de Bernoulli (son independientes entre sí y tienen una probabilidad determinada de éxito que es constante) parece razonable suponer que debe poder aproximarse mediante una distribución normal:

(https://wikimedia.org/api/rest_v1/media/math/render/svg/fe69deab3816ffbbde0b8378b1e936119914dc49)

En esta tabla he calculado los valores que adopta esta distribución para distintos N y X, siendo p la calculada para el suceso de base (acertar los 5 WAV). Aparece sombreado el caso que nos ocupa: 83 participantes y 4 acertantes de un "pleno al 5"  ;).

(http://pix.toile-libre.org/upload/original/1480961905.jpg)

Fíjate, la probabilidad de que esto ocurra es de 3,80E-04 (¡en tanto por 1!). Osea, 2 órdenes de magnitud más pequeña (aprox) que ese 4,8% de acertantes (0,038049%).

Por otro lado, me llama poderosamente la atención que la respuesta más frecuente en cada pista coincida con la secuencia de los 5 WAV ¡a pesar de que solo 4 (un número muy reducido) de usuarios las hayan acertado a título individual. Esto me parece desconcertante.

(http://pix.toile-libre.org/upload/original/1480879564.jpg)

Como no hice el test no sé bien cómo interpretar los resultados, la forma de estar planteada la escucha, la duración de las muestras a comparar, etc pueden influir mucho en cómo uno es capaz de reconocer y detectar diferencias minúsculas. La avalancha de gráficas tampoco ayuda mucho a hacerse una idea jejeje. Sí que es llamativo que para cada pista la respuesta acertada sea la más frecuente.
En lo que estamos de acuerdo es en que la muestra es muy pequeña. Aún así quizá puedas aplicar alguna prueba de validez estadística (no sé si una t de Student, Chi cuadrado o algo así, mi estadística está MUY oxidada) para ver si los resultados son completamente prescindibles o si se pueden dar por buenos en un sentido u otro, especialmente para analizar esa tendencia a que la respuesta correcta en cada pista sea la más frecuente.

Es lógico que muchos prefieran el WAV a formatos comprimidos aunque sean sin pérdidas: por la menor carga de proceso de la CPU.

En un ordenador el maldito jitter se genera en la CPU, sus registros, la memoria RAM y el disco duro. También el diseño de la placa, la calidad de la alimentación... Y luego está el de la transmisión, habitualmente por cable USB, pero la gran mayoría de los DACs actuales lo tienen resuelto.

He ido eliminando/atenuando estas semanas por soft esos cuatro factores que lo generan y el sonido resultante ha ido mejorando mucho. Con grabaciones en directo, el sonido se acerca más al original, es más creíble, natural.

Cita de: maty en Diciembre 06, 2016, 10:51:28
Es lógico que muchos prefieran el WAV a formatos comprimidos aunque sean sin pérdidas: por la menor carga de proceso de la CPU.

En un ordenador el maldito jitter se genera en la CPU, sus registros, la memoria RAM y el disco duro. También el diseño de la placa, la calidad de la alimentación... Y luego está el de la transmisión, habitualmente por cable USB, pero la gran mayoría de los DACs actuales lo tienen resuelto.

He ido eliminando/atenuando estas semanas por soft esos cuatro factores que lo generan y el sonido resultante ha ido mejorando mucho. Con grabaciones en directo, el sonido se acerca más al original, es más creíble, natural.

Y esto, que puede ser más o menos cuestionable ¿qué tiene que ver con la temática de este hilo? No he visto que haya una correlación entre los resultados de identificación de las pistas y el tipo de reproductor usado (navegador vs descarga)

Por varios comentarios:

CitarSolo 4 personas de los 83 participantes han identificado correctamente las pistas WAV (4,8%). Si calculamos la probabilidad de que esto ocurra (4 personas de 83 participantes identifican las 5 pistas WAV) utilizando una distribución binomial B(83,4) en la que la probabilidad de acierto de cada ensayo es p= 0,004115 (1/3⁵), nos resulta un 0,038% ¿Algún matemático en la sala para corroborar esto?

El motivo no es otro que el jitter, en mi entender. Desde hace años distingo entre FLAC 0 y FLAC 8. Los datos son los mismos así que la causa que se me ocurría era la diferencia en la carga de CPU durante la descompresión, porque el resto del sistema no variaba.

Sobre la encuesta en sí no entro porque no la he hecho. Tendría que haberse realizado en la misma sala y mismo equipo, porque esos dos factores influyen mucho en la calidad sonora. En lo referente al jitter, el hard del ordenador y el software utilizado, amén de la optimización para reproducción multimedia del SO.

Y además están las preferencias de cada uno. Muchos están acostumbrados al sonido de las malas grabaciones y a ecualizaciones agresivas buscando la espectacularidad, con lo que no aprecian tanto las diferencias más sutiles y que requieren buenas grabaciones con buen margen dinámico entre otras cosas.

A ver si me explico mejor.

Centrémonos en el combo DAC + PC.

Un combo con bajo jitter hará muy difícil diferenciar entre WAV, FLAC y OGG en una buena grabación. A mayor jitter las diferencias serán más apreciables.

Maty, estás especulando gratuitamente sobre unos resultados que no has mirado con detenimiento, o que tal vez no comprendas. Esto no va de comparar equipos, o de elucubrar sobre el motivo que tú te imaginas por qué algo suena diferente, va de si la gente EN SU EQUIPO distingue un formato con pérdida de uno sin pérdida. Punto. Si el sistema introduce jitter lo va a introducir en ambos de forma parecida a poco que el reproductor sea el mismo y si su equipo es brutal, lo va a ser para ambos porque tanto la pista lossy como la lossless se entregaron convertidas a wav.
Lo más llamativo es que la gente tiende a reconocer si la pista es lossless o lossy (a falta de tests de significación estadística) como grupo, pero individualmente muy poca gente ha acertado de forma consistente los 5 archivos presentados.
Si lo que te apetece es hablar del jitter, creo que este no es el hilo adecuado, tal vez debas abrir otro.

Cita de: pablopi en Diciembre 05, 2016, 19:21:06
Por otro lado, me llama poderosamente la atención que la respuesta más frecuente en cada pista coincida con la secuencia de los 5 WAV ¡a pesar de que solo 4 (un número muy reducido) de usuarios las hayan acertado a título individual. Esto me parece desconcertante.

(http://pix.toile-libre.org/upload/original/1480879564.jpg)

En realidad la suma de desaciertos supera al de aciertos.. ;)  en todos los supuestos. Simplemente hay que tomar las veces que se erra, sumando las respuestas que no distinguen y que se equivocan en la elección.

PISTA 1...ACIERTOS....40 //// ERRORES...43 (24+19)
PISTA 2...ACIERTOS....35 //// ERRORES...48 (30+18)
PISTA 3...ACIERTOS....38 //// ERRORES...45 (31+14)
PISTA 4...ACIERTOS....40 //// ERRORES...43 (25+18)
PISTA 5...ACIERTOS....36 //// ERRORES...47 (24+23)

TOTAL INTENTOS (83X5) .. 415
TOTAL ACIERTOS..189
TOTAL ERRORES..226
..................................
 
Son resultados propios de la intervención del azar.

Voy a hacer un poco de abogado del diablo, Ant_56 (y todo ello tras reconocer que yo soy incapaz de detectar diferencias entre las pistas de la prueba, que conste).

Si la pregunta que nos hacemos es ¿Suena mejor un archivo WAV que un OGG?, entonces tu razonamiento es correcto.

Si la pregunta que nos hacemos es ¿Existen diferencias audibles entre un archivo WAV y un OGG? Entonces tendríamos que sumar por una parte los que se han decantado por el archivo A o el B (quién sabe, tal vez algunos participantes prefieran el sonido del OGG precisamente porque carece de cierta información sonora) y enfrentarlo con los que han indicado que no existen diferencias.

Esto es como lo de la "mayoría silenciosa" cada vez que se interpretan resultados electorales (personas que no han votado) o la participación en una manifestación que defiende o protesta por algo (personas que se quedan en casa)  ;).

@Torpedo

Tienes razón en que lo del jitter -mea culpa- es difícilmente aplicable a la encuesta pero... en la realidad comparamos entre FLAC y OGG, y ahí sí que afecta, y mucho más de lo que pensaba (al menos en mi PC), pues no tiene mucho sentido convertir OGG a WAV antes de su reproducción.

Pablopi

OGG es una maravilla, el mejor de todos los lossy que he probado (haciendo yo las conversiones, partiendo de ficheros con música muy bien grabada, habitualmente de álbums de referencia). Desde luego es mucho mejor que el MP3.

Con música moderna y comercial que habitualmente suena mal o muy mal en un equipo decente (no entro en el gusto) es casi una lotería acertar.

Para el móvil -que apenas utilizo para música-, como ya comenté en el hilo de semanas atrás dedicado a los Takstar ts-671, la música la paso a OGG aoTuVb6 q-10.

Si se dispone de un equipo de música decente con suficiente resolución y se saborean buenas/excelentes grabaciones no tiene sentido el uso del formato OGG, sobre todo en q-10 (por el tamaño) en vez de FLAC.

Si uno es aficionado a los graves y tiene mucho ruido e interferencias en las altas frecuencias y escucha música actual el MP3 le dará un resultado muy convincente. Pero si más adelante se anima a la aventura de escuchar buenas grabaciones renegará del formato.

Cita de: pablopi en Diciembre 06, 2016, 16:22:17
Voy a hacer un poco de abogado del diablo, Ant_56 (y todo ello tras reconocer que yo soy incapaz de detectar diferencias entre las pistas de la prueba, que conste).

Si la pregunta que nos hacemos es ¿Suena mejor un archivo WAV que un OGG?, entonces tu razonamiento es correcto.

Hola Pablo:
No es mi razonamiento, sino el que se expone en Audiophilia, puesto que es allí de donde salen las respuestas. Yo me limito a hacerte conocedor de las mismas, pero no como autor.

En cualquier caso, visto que paso a ser parte activa de la conversación y que tengo opinión propia, en tu propuesta has indicado lo siguiente:

CitarEl cuestionario a responder tras la audición tiene 3 secciones.En la primera hay que marcar qué versión de cada uno de los pares de pistas nos suena mejor.

El razonamiento que a modo de copia  te he expuesto es correcto, a todas luces.

Yo confieso que no he realizado la prueba. Ni me interesa. Hace tiempo que he asumido que las diferencias, de existir ( que es mucho asumir) entre formatos, fuentes DACs, cables y amplificadores son mucho menos trascendentales de lo que se intenta hacer creer, con la única intención de que el hobby no se estanque y se continúe con la rutina en la que todos nos vemos inmersos, que benefícia a tenderos y fabricantes y perjudica claramente al aficionado.

La impresión que tu prueba me ha causado es que además de parecerme loable la intención, falta la rigurosidad que desvirtúa la misma al no tener en cuenta el factor azar, que es muy alto en las valoraciones propuestas,  pero incluso obviando esta condición, la principal lectura que hago es la de reafirmarme en las convicciones que he reflejado en el anterior párrafo de no considerar  alos formatos los culpables de nuestros males y nuestras insatisfacciones, máxime teniendo en cuenta que solo 4 participantes hayan acertado los cinco elecciones. 

Habría que hacer de esta afición algo objetivo, sobretodo cuando los aspectos lo son y dotarla del sentido común del que ahora carece.   

Cordialmente

Cita de: pablopi en Diciembre 06, 2016, 16:22:17

Si la pregunta que nos hacemos es ¿Existen diferencias audibles entre un archivo WAV y un OGG? Entonces tendríamos que sumar por una parte los que se han decantado por el archivo A o el B (quién sabe, tal vez algunos participantes prefieran el sonido del OGG precisamente porque carece de cierta información sonora) y enfrentarlo con los que han indicado que no existen diferencias.

Yo creo que en este caso, las respuestas que se deberían tener en cuenta serían las de aquellos que han respondido "no hay diferencias" .
¿Cuantos participantes han manifestado en todos los casos no haber percibido diferencias?

El hecho de que se haya acertado el formato ( el acierto en la elección de uno implica evidentemente el acierto en la elección del otro) no significa que suene mejor..ni siquiera diferente. Implica simplemente que se ha acertado.. :) 

Llevando la prueba a más intentos se eliminaría ese factor.
A la prueba además le falta mala leche, que es de la forma en la que se extraen conclusiones verdaderamente significativas. Copiar dos archivos con el mismo formato...poner dos archivos que no tengan nada que ver con los formatos propuestos... >D

No hay golden ears. Hay azar y casualidad... ;)

Maty: uno de los motivos de convertir el ogg en wav era disimular el tamaño del archivo por si la gente lo descargaba (que lo hizo). Un beneficio añadido es que ambos archivos, el lossy y el lossless, van a seguir la misma ruta de reproducción, con lo que factores de jitter, carga de procesador, etc. quedan minimizados. No voy a seguir con el tema porque no se ciñe a la temática del hilo.

Ant_56: La prueba que ha propuesto pablopi no debes verla como un reto individual persona a persona de modo que si un mismo participante no descubre bien cuál es cuál haya más errores que aciertos, sino como un estudio sobre una población dada, cuyos resultados deben conformar una validez estadística. En primer lugar lo de "cuál te suena mejor" es muy ambiguo y depende de factores no solamente intrínsecos al formato de audio, sino también del equipo y de la percepción/gusto personal. En realidad ningún participante sabía cuál era el sonido "bueno" y cuál el "malo" de antemano y cabía la posibilidad de que ambos fueran iguales. Una de las cosas que hay que mirar con mucha atención es el porcentaje de gente que dijo que sonaban igual, que siempre fue inferior a la suma de los otros dos sin ningún tipo de duda estadística. La gente escuchó (o creyó escuchar, ahí no entro) diferencias y es posible que lo que para unos es "mejor" para otros sea "peor". EMHO ese es el mayor fallo del estudio.
En segundo lugar la gente se imagina que oye más cosas de las que realmente oye, pero cuando sabe dónde fijarse y en qué consisten las diferencias que debe detectar, falla mucho menos si la calidad del equipo se lo permite. Quizá el estudio debería haberse planteado partiendo de la base de que las pistas deberían haber favorecido un poco más la existencia de esas diferencias o al menos haber incluído fragmentos de música que gráficamente en los análisis espectrales mostrasen más artefactos en la pista ogg. Lo que quiero decir es que hoy en día es fácil hacer espectrogramas y DEMOSTRAR gráficamente que una pista en formato con pérdidas en Lame, ogg o incluso AAC (y con este cuesta un mundo) no logra la misma fidelidad espectral que un formato sin pérdida. Es en ese tipo de material en el que EMHO la prueba debería haberse centrado, pues yo veo más interesante saber si somos capaces de identificar lo que debería sonar diferente que demostrar si lo que tiene un espectro igual ofrece alguna diferencia acústica. Lo segundo no tiene mucho interés, empieza a entrar en el campo de lo paranormal.
Lo del sentido común, por favor no generalices tu visión a toda la afición. Digamos que hay gente que se deja llevar por lo que le cuentan y que trata de encontrar un sentido a gastos exagerados de dinero, y gente que aspiramos a entender por qué unas cosas nos suenan mejor y otras peor, y a encontrar un punto sensato de gasto que nos permita disfrutar de lo que suena mejor. Si eso no es sentido común...

Pablopi, si la idea de tu estudio era demostrar si existen diferencias audibles entre ambos tipos de archivos, EMHO que en todas las pistas predominen las respuestas que notan diferencia (puesto que el mejor o peor es discutible, opinable y no medible) sobre las que lo oyen como igual, teniendo en cuenta que todo el test podía incluir pistas trampa, demuestra que es bastante probable que sí que haya diferencias audibles. La cosa es usar la prueba estadística adecuada que permita asegurarlo con una probabilidad significativa. Hasta entonces tampoco me atrevo a pronunciarme :D

Yo insisto en concebir este tipo de pruebas como un intento de discriminar entre formatos y en este caso concreto el escenario elegido para ello me parece que es el idóneo, ya que ha sido presentada en tres lugares con clara tendencia subjetivista, con lo cual la opción "no hay diferencias" adquiere poco protagonismo; de hecho es la respuesta menos indicada en todos los casos, lo cual es bastante sintomático.

Si hablamos de retos individuales, evidentemente las conclusiones, aún con la falta de rigurosidad manifestada, son concluyentes. Cuatro acertantes de 83 participantes me parece un porcentaje paupérrimo.

El hecho de que se acierte en el formato no implica que la razón de haberlo conseguido sea la calidad sonora y es ahí donde el azar entra en escena y desvirtúa el resultado.

Me imagino esta misma prueba con 10 intentos en lugar de con los 5 propuestos, entre los cuales existiesen una serie de disyuntivas que probasen la capacidad del interviniente. La lógica hace suponer que el porcentaje de acertantes del pleno al cinco no se hubiese mantenido, pero ¿qué pasaría si en la pista 9 en lugar de un WAV y un OGG hubiese un dos WAVs? ¿ y si en a 8 fuesen un FLAC y un WAV?

¿Creeis que alguien haría la observación de que "aquello no suena como las otras muestras" o habría una respuesta masiva apuntando en el sentido de las "no diferencias"? ¿Cuantos participantes hubiese habido si se supiese de antemano que entre las 10 proposiciones iban a existir 2 o 3 con trampa, con un cuadro de observaciones para señalarlas?   ;) .. ¿ y una prueba de 4 formatos en lugar de 2, indicando cual es cual?

Ant, tu puedes interpretarlo como quieras, pero es como empeñarse en que estás midiendo la temperatura con un cronómetro. Una prueba como la que ha diseñado Pablopi no puede detectar si la gente está distinguiendo entre con y sin pérdidas porque se introdujo la variable de que podrían ser dos archivos iguales y además no se proporcionó la herramienta para saber de antemano cómo suena el formato con pérdida y el sin pérdida de cada canción. La pregunta sólo hacía referencia a "sonar mejor" y eso en sí mismo es un criterio subjetivo. El único resultado que podría tener significación estadística es el de que hay mayoría de gente que oye como diferentes archivos que no lo eran, pero dado el pequeño tamaño de la muestra, eso podría no ser valorable, por eso hace falta analizarlo mejor.

Tema diferente es que quieras arrimar el ascua a tu sardina y pelear que un ogg a 320 suena indistinguible de un formato sin pérdida. Eso es discutible, opinable y puede que tengas razón. Lo único que estamos diciendo es que esa conclusión de forma seria, rigurosa y estadísticamente relevante no se puede extraer del trabajo que ha hecho Pablopi. Hacer las cosas bien es la diferencia entre hacer ciencia (o intentarlo) y discutir por discutir. La ciencia nunca ha sido una cuestión de opinión, suele ser una cuestión de matemáticas y mediciones, en el caso de variables no medibles o aplicadas a poblaciones, es cuestión de estadística nos guste o no.

Bueno, la prueba es la que es y ha salido lo que ha salido. La intención nunca ha sido sentar cátedra sobre nada ni publicar un paper, sino hacer un pequeño experimento informal (porque no podía ser de otro modo) y discutir los resultados.

La batalla de la rigurosidad estaba perdida de antemano. Hay una cuestión fundamental que no habéis comentado: cualquiera con unos mínimos conocimientos podría haber hecho trampa. Bastaba con analizar el espectro de las muestras, que lógicamente se podían descargar para facilitar su reproducción en equipos de audio convencionales, para averiguarlo con razonable precisión o al menos tener muchas pistas al respecto. A partir de ahí (el entorno no estaba controlado al 100%), plantearse otras cuestiones que restan rigurosidad a la prueba ya no tiene demasiado sentido en mi opinión. Incluso en algún momento temí que alguien se dedicara a trollear el test (aunque en ese sentido tomé otras precauciones).

El objetivo era, sencillamente, preguntarle a los participantes qué versión preferían de 2 archivos codificados en 2 formatos distintos, con la opción de indicar que no se apreciaban diferencias. Con toda la subjetividad que ello conlleva. En este sentido me consta (porque me lo han dicho directamente) que muchos participantes pensaban que había pistas trampa (y más conociéndome  >D). Una de las cosas que quería comprobar era si se prefería la versión de supuestamente mayor calidad o no, por ello la pregunta se formulaba de ese modo en lugar de "indica cuál es el wav".

A partir de ahí, como decía en mi análisis este es un test de código abierto: cualquiera se puede bajar la hoja de cálculo con las respuestas y analizarlas del modo que más le guste. O plantear otro test más riguroso. Yo participaré encantado.

Con respecto a las conclusiones, y ante una muestra tan pequeñita, especialmente cuando hablamos de determinados grupos (profesionales, músicos, personas que aciertan 5, usuarios con acondicionamiento, etc) pocas conclusiones se pueden sacar. A pesar de eso en mi opinión hay 2 circunstancias relevantes:

1. La respuesta más frecuente en cada pista identifica los wav. Me parece sorprendente y difícilmente achacable al azar.

2. La probabilidad de 5 aciertos en 4 personas de 83 participantes es más de 2 órdenes de magnitud inferior al 4,8% registrado, lo que de nuevo me hace desconfiar del azar. Hasta el momento nadie ha justificado por qué el uso de la distribución binomial para calcularla es erróneo (es mas, algunos cálculos que he leído por ahí son un poquito  :o).

Torpedo: totalmente de acuerdo con tus planteamientos, incluyendo la parte en la que hablas de tratar de usar una prueba estadística para buscarle a esto alguna conclusión válida. Voy a desempolvar el libro de estadística de la Uni  :). Recuerdo que por aquel entonces usábamos una técnica denominada ANOVA, pero no veo en este caso, con variables cualitativas, cómo aplicar un análisis de la varianza.

Cita de: Torpedo en Diciembre 06, 2016, 20:30:23
AUna prueba como la que ha diseñado Pablopi no puede detectar si la gente está distinguiendo entre con y sin pérdidas porque se introdujo la variable de que podrían ser dos archivos iguales y además no se proporcionó la herramienta para saber de antemano cómo suena el formato con pérdida y el sin pérdida de cada canción.

Esto me parece muy interesante... me lo apunto para una próxima prueba, gracias.

No son necesarias más pruebas en mi modesto entender por estar superada por los hechos. El espacio en el disco duro -dedicado a multimedia, sin SO- cada vez es un problema más secundario. Es más importante el tener copias de respaldo.

Sin ánimo de ser petulante pero la discusión hace unos años -en un hilo que abrí en una comunidad cerrada, en inglés, y donde soy muy activo- era si FLAC 16/44, 24/96 ó 24/192 (subí también muestras en 16/48, 16/96, 24/44, 24/48 y creo que también en MP3 320 kbps) para ripeos de calidad de vinilo. Ahora todos comparten en FLAC 24/96 y sólo además 24/192 para los álbums que sobresalen en la calidad de sonido. Era evidente que 24/96 sonaba mejor que 16/44. Las causas son varias y no es el hilo.

Pues eso, que ahora todo los ripeos nuevos son en FLAC. Los SACD mejor tenerlos en imágenes ISO, en mi opinión.

Para almacenar música en dispositivos móviles donde el espacio sí que es crítico y la escucha suele ser con ruido ambiente, OGG es el formato lossy ideal.

Un pequeño time lapse de la prueba...

(http://pix.toile-libre.org/upload/original/1481462918.gif)