Un pequeño time lapse de la prueba...

Cita de: Torpedo en Diciembre 06, 2016, 20:30:23
AUna prueba como la que ha diseñado Pablopi no puede detectar si la gente está distinguiendo entre con y sin pérdidas porque se introdujo la variable de que podrían ser dos archivos iguales y además no se proporcionó la herramienta para saber de antemano cómo suena el formato con pérdida y el sin pérdida de cada canción.

Esto me parece muy interesante... me lo apunto para una próxima prueba, gracias.

Bueno, la prueba es la que es y ha salido lo que ha salido. La intención nunca ha sido sentar cátedra sobre nada ni publicar un paper, sino hacer un pequeño experimento informal (porque no podía ser de otro modo) y discutir los resultados.

La batalla de la rigurosidad estaba perdida de antemano. Hay una cuestión fundamental que no habéis comentado: cualquiera con unos mínimos conocimientos podría haber hecho trampa. Bastaba con analizar el espectro de las muestras, que lógicamente se podían descargar para facilitar su reproducción en equipos de audio convencionales, para averiguarlo con razonable precisión o al menos tener muchas pistas al respecto. A partir de ahí (el entorno no estaba controlado al 100%), plantearse otras cuestiones que restan rigurosidad a la prueba ya no tiene demasiado sentido en mi opinión. Incluso en algún momento temí que alguien se dedicara a trollear el test (aunque en ese sentido tomé otras precauciones).

El objetivo era, sencillamente, preguntarle a los participantes qué versión preferían de 2 archivos codificados en 2 formatos distintos, con la opción de indicar que no se apreciaban diferencias. Con toda la subjetividad que ello conlleva. En este sentido me consta (porque me lo han dicho directamente) que muchos participantes pensaban que había pistas trampa (y más conociéndome  ). Una de las cosas que quería comprobar era si se prefería la versión de supuestamente mayor calidad o no, por ello la pregunta se formulaba de ese modo en lugar de "indica cuál es el wav".

A partir de ahí, como decía en mi análisis este es un test de código abierto: cualquiera se puede bajar la hoja de cálculo con las respuestas y analizarlas del modo que más le guste. O plantear otro test más riguroso. Yo participaré encantado.

Con respecto a las conclusiones, y ante una muestra tan pequeñita, especialmente cuando hablamos de determinados grupos (profesionales, músicos, personas que aciertan 5, usuarios con acondicionamiento, etc) pocas conclusiones se pueden sacar. A pesar de eso en mi opinión hay 2 circunstancias relevantes:

1. La respuesta más frecuente en cada pista identifica los wav. Me parece sorprendente y difícilmente achacable al azar.

2. La probabilidad de 5 aciertos en 4 personas de 83 participantes es más de 2 órdenes de magnitud inferior al 4,8% registrado, lo que de nuevo me hace desconfiar del azar. Hasta el momento nadie ha justificado por qué el uso de la distribución binomial para calcularla es erróneo (es mas, algunos cálculos que he leído por ahí son un poquito  ).

Torpedo: totalmente de acuerdo con tus planteamientos, incluyendo la parte en la que hablas de tratar de usar una prueba estadística para buscarle a esto alguna conclusión válida. Voy a desempolvar el libro de estadística de la Uni  . Recuerdo que por aquel entonces usábamos una técnica denominada ANOVA, pero no veo en este caso, con variables cualitativas, cómo aplicar un análisis de la varianza.

Voy a hacer un poco de abogado del diablo, Ant_56 (y todo ello tras reconocer que yo soy incapaz de detectar diferencias entre las pistas de la prueba, que conste).

Si la pregunta que nos hacemos es ¿Suena mejor un archivo WAV que un OGG?, entonces tu razonamiento es correcto.

Si la pregunta que nos hacemos es ¿Existen diferencias audibles entre un archivo WAV y un OGG? Entonces tendríamos que sumar por una parte los que se han decantado por el archivo A o el B (quién sabe, tal vez algunos participantes prefieran el sonido del OGG precisamente porque carece de cierta información sonora) y enfrentarlo con los que han indicado que no existen diferencias.

Esto es como lo de la "mayoría silenciosa" cada vez que se interpretan resultados electorales (personas que no han votado) o la participación en una manifestación que defiende o protesta por algo (personas que se quedan en casa)  .

Por otro lado, me llama poderosamente la atención que la respuesta más frecuente en cada pista coincida con la secuencia de los 5 WAV ¡a pesar de que solo 4 (un número muy reducido) de usuarios las hayan acertado a título individual. Esto me parece desconcertante.

Cita de: Ant_56 en Diciembre 05, 2016, 17:09:23
Acabo de leer la siguiente exposición en otro foro, que demuestra que los resultados son comparables a una prueba realizada al azar:

http://audiophilia.foroactivo.com/t130p900-las-tribulaciones-y-cacicadas-en-auriculares-hifi-3

La combinación propuesta por Pablopi era la BAAAB

El razonamiento no es correcto desde la base, Ant_56. Repasemos teoría de probabilidad  .

Había 3 respuestas posibles en cada una de las pistas. Por tanto la probabilidad de éxito no es 1/2⁵ (32) sino 1/3⁵ (0,004115226), expresadas ambas en tanto por uno. A esta probabilidad la vamos a denominar p (un usuario identifica correctamente los 5 archivos WAV).

Por otro lado, la probabilidad de que un número X de personas identifique correctamente los 5 WAV (recordemos, suceso p) de entre n intentos (participantes), no creo que pueda calcularse como indicas en tu mensaje, sino que puesto que cada intento de un participante puede caracterizarse mediante un suceso de Bernoulli (son independientes entre sí y tienen una probabilidad determinada de éxito que es constante) parece razonable suponer que debe poder aproximarse mediante una distribución normal:



En esta tabla he calculado los valores que adopta esta distribución para distintos N y X, siendo p la calculada para el suceso de base (acertar los 5 WAV). Aparece sombreado el caso que nos ocupa: 83 participantes y 4 acertantes de un "pleno al 5"  .



Fíjate, la probabilidad de que esto ocurra es de 3,80E-04 (¡en tanto por 1!). Osea, 2 órdenes de magnitud más pequeña (aprox) que ese 4,8% de acertantes (0,038049%).

Resultados publicados en el 2º mensaje del hilo:

http://www.auriculares.org/foro/index.php/topic,18843.msg195246.html#msg195246

Un pequeño teaser del análisis que será publicado próximamente...

Los correos electrónicos con sus resultados acaban de ser enviados a las personas que lo especificaron al responder el test.

Test cerrado.

Finalmente se han recibido 85 respuestas, aunque 1 será eliminada del análisis por deseo expreso de la persona que la envió. En breve resultados y análisis.

Gracias a todos.

Algunas cifras y estadísticas para abrir boca:











El diferente número de respuestas contabilizadas en cada pregunta se debe a que las de la 2ª sección no eran obligatorias y algunos participantes han preferido no responder a algunas de ellas.

Voy a dejar el test abierto hasta la medianoche del 30 de noviembre, a ver si llegamos a las 100.

Muchas gracias a todos los que habéis participado y asimismo aprovecho para animar a los que aún no lo habéis hecho.

Gracias a todos los participantes, ánimo con esas respuestas que estamos a 2 semanas del cierre del test.

¡Venga con esas respuestas!  Necesitamos muchas más para que el análisis sea realmente interesante.

Gracias, Bogart (y resto de participantes). Los resultados, en unos días, tras el cierre del cuestionario.

Y AQUÍ TENEMOS LOS RESULTADOS

A continuación os muestro una serie de gráficos que detallan los resultados obtenidos. Si alguien desea analizar los datos en bruto, respuesta por respuesta, así como revisar detenidamente todas las tablas dinámicas y gráficos generados a partir de ellos, puede hacerlo en esta hoja de cálculo de Google:

Test audio comprimido (publicado)

Este documento es de solo lectura. No obstante podéis hacer una copia (es necesario para ello disponer de una cuenta de Google) haciendo Archivo > Crear una copia para disponer de una versión propia, ya editable, en la que se pueden ver las fórmulas empleadas, editar los gráficos o realizar nuevos análisis. Por ejemplo, quizás sería interesante estudiar en qué modo las variables (tipo de escucha, perfil, nivel del equipo, etc.) determinan el número de aciertos en cada una de las pistas de modo específico e independiente. Yo he hecho el análisis que os presento de modo global, puesto que de lo contrario el trabajo se hubiera alargado mucho, y solo he descendido a este nivel de detalle para relacionar aciertos con confianza en la elección, que sí podréis encontrar más abajo representados pista a pista.

Esta es por tanto una prueba de código abierto :-), así que os animo a utilizar la hoja de cálculo con las respuestas para obtener más información y a compartir los resultados.

Vamos con los gráficos. Hay muchos y su carga puede demorarse, paciencia.


1. Información estadística de los participantes

1.1 Participantes


1.2 Edad Media


1.3 Sexo


1.4 Escucha con auriculares / altavoces


1.5 Nivel del equipo


1.6 Perfil de usuario


1.7 Modo de realización de la prueba


1.8 Uso de mejoras eléctricas


1.9 Sala acondicionada


1.10 Uso de corrección digital / EQ




2. Resultados generales

La secuencia de pistas que se corresponde con los archivos wav era:

BAAAB

No había ninguna pista "trampa" (ambos archivos idénticos).

2.1 Porcentaje de aciertos generales


2.2 Respuestas por pista


2.3 Confianza por pista

• Solo 4 personas de los 83 participantes han identificado correctamente las pistas WAV (4,8%). Si calculamos la probabilidad de que esto ocurra (4 personas de 83 participantes identifican las 5 pistas WAV) utilizando una distribución binomial B(83,4) en la que la probabilidad de acierto de cada ensayo es p= 0,004115 (1/3⁵), nos resulta un 0,038% ¿Algún matemático en la sala para corroborar esto?
  
• Por último, aunque solo un pequeño porcentaje de usuarios ha identificado las pistas WAV, lo que podríamos denominar la inteligencia audiófila colectiva ha optado claramente por las versiones WAV de las 5 pistas, lo que no deja de parecerme intrigante.
  

3. Aciertos en función del tipo de escucha

3.1 Aciertos por tipo de escucha


3.2 Porcentaje aciertos altavoces


3.3 Porcentaje aciertos auriculares


Contrariamente a la creencia popular los resultados apuntan a que resulta más fácil identificar las pistas WAV (4 o 5 pistas correctamente identificadas como WAV) con altavoces que con auriculares (37,5% frente a 12,2%).


4. Aciertos en función del perfil del usuario

4.1 Aciertos por perfil


4.2 Porcentaje aciertos novatos


4.3 Porcentaje aciertos aficionados


4.4 Porcentaje aciertos usuarios con experiencia


4.5 Porcentaje aciertos profesionales


4.6 Porcentaje aciertos músicos

• El bajo número de muestras pertenecientes a determinados colectivos no permite extraer, en mi opinión, conclusiones claras (3 músicos, 3 usuarios que se consideran profesionales del sector) en determinados casos.
  
• El porcentaje de usuarios que se consideran aficionados o usuarios con experiencia e identifican 4 o 5 de las pistas WAV es prácticamente idéntico (24,4% frente a 23,1%). Este factor por tanto no parece ser relevante.
  

5. Aciertos en función del nivel del equipo

5.1 Aciertos por nivel del equipo


5.2. Porcentaje aciertos equipos nivel bajo


5.3. Porcentaje aciertos equipos nivel medio


5.4. Porcentaje aciertos equipos nivel alto

• Los participantes con equipos de nivel medio - alto han obtenido un porcentaje mayor de aciertos que los que empleaban equipos de nivel bajo. La calidad del equipo sí contribuye, aparentemente, a facilitar la detección de diferencias.
  
• Ningún usuario con equipo de nivel bajo ha identificado las 5 pistas WAV.
  

6. Aciertos en función del modo en que se ha realizado la prueba

6.1 Aciertos por modo de realización de la prueba


6.2. Porcentaje aciertos archivos descargados


6.3 Porcentaje aciertos escucha desde el navegador


Las gráficas sugieren que los usuarios que han descargado los archivos para realizar la prueba han tenido más éxito a la hora de identificar las versiones WAV (29,4% frente a 15,6% a la hora de obtener 4 o 5 aciertos).


7. Aciertos en función del uso de mejoras en alimentación

7.1 Aciertos por uso de mejoras en alimentación


7.2. Porcentaje aciertos usuarios sin mejoras


7.3. Porcentaje aciertos usuarios con mejoras


Los resultados obtenidos no permiten vincular un mayor porcentaje de éxito a la hora de identificar los archivos WAV con el uso de mejoras en la alimentación eléctrica del equipo empleado (25,9% frente a 25% a la hora de obtener 4 o 5 aciertos).


8. Aciertos en función del acondicionamiento de la sala

8.1 Aciertos por uso de acondicionamiento pasivo


8.2. Porcentaje aciertos usuarios sin acondicionamiento


8.3. Porcentaje aciertos usuarios con acondicionamiento

• 2 usuarios han indicado que utilizaron auriculares para realizar la prueba pero también respondieron afirmativamente a la pregunta correspondiente al acondicionamiento acústico. Ambos no han sido tenidos en cuenta en las gráficas de (únicamente) este apartado.
  
• En este caso, y paradójicamente, los usuarios que han realizado la prueba sin contar con una sala acondicionada han obtenido mejores resultados a la hora de identificar correctamente 4 o 5 de los archivos WAV que los que sí disponían de esta mejora (42,3% frente a 30%). Este resultado incongruente me hace pensar que el tamaño escaso de la muestra (solo 10 usuarios participantes que disfrutan de acondicionamiento pasivo) impide obtener conclusiones concluyentes.
  

9. Aciertos en función del uso de ecualización

9.1 Aciertos por uso de ecualización


9.2. Porcentaje aciertos usuarios sin ecualización


9.3. Porcentaje aciertos usuarios con ecualización


El uso de EQ y/o corrección digital de sala parece tener un impacto positivo en el índice de aciertos (45,5% frente a un 20,9% en el caso de los participantes que no disponían de esta mejora). No obstante, y nuevamente, el relativamente reducido número de usuarios que han indicado que empleaban EQ obliga a ser muy prudente a la hora de correlacionar estos factores.


10. Confianza en la elección: Pistas 1

10.1 Confianza personas que NO identifican el archivo WAV


10.2 Confianza personas que SÍ identifican el archivo WAV


En este caso los participantes que no identifican correctamente el archivo WAV demuestran más confianza en su elección que los que sí lo identifican (39,5% frente a 22,5%).


11. Confianza en la elección: Pista 2

11.1 Confianza personas que NO identifican el archivo WAV


11.2 Confianza personas que SÍ identifican el archivo WAV


En la pista 2, como podemos ver, el grado de confianza es similar en ambos grupos.


12. Confianza en la elección: Pista 3

12.1 Confianza personas que NO identifican el archivo WAV


12.2 Confianza personas que SÍ identifican el archivo WAV


En la pista 3 se obtienen resultados en lineas similares a los de la pista 2. La cosa está igualada, con una pequeña ventaja para los usuarios que no identifican correctamente el archivo WAV.


13. Confianza en la elección: Pista 4

13.1 Confianza personas que NO identifican el archivo WAV


13.2 Confianza personas que SÍ identifican el archivo WAV


En la pista 4 las tornas se invierten: los usuarios que identifican correctamente la versión WAV lo hacen con mayor confianza (37,5% frente a 25,6%).


14. Confianza en la elección: Pista 5

14.1 Confianza personas que NO identifican el archivo WAV


14.2 Confianza personas que SÍ identifican el archivo WAV


Finalmente, en la pista 5 se repite un resultado similar al evidenciado en la pista 3: porcentajes similares en ambos grupos, con una cierta ventaja para los usuarios que no identifican correctamente el archivo WAV.


Conclusiones personales

Y llegamos por fin al final de este análisis, pero antes de concluir me gustaría agradecer nuevamente a los participantes su colaboración en este estudio informal.

Personalmente extraigo varias conclusiones:

La primera y principal es que el tamaño de la muestra me parece demasiado pequeño como para tomarse esto muy en serio. Mis expectativas iniciales eran, quizás, demasiado altas (cientos de muestras). Esto es especialmente cierto si tenemos en cuenta el reducido número de participantes pertenecientes a determinados colectivos:

• Usuarios que identifican las 5 versiones WAV (4).
  
• Participantes que se consideran novatos (6)
  
• Músicos (3).
  
• Usuarios profesionales (3).
  
• Usuarios que disponen de salas acondicionadas (12).
  
• Usuarios que emplean ecualización (11).
  

Esto invalida en gran medida cualquier análisis que pretenda correlacionar la influencia de estas variables entre ellas o con otras de las manejadas por esta prueba.

Por otro lado, me ha sorprendido enormemente que la respuesta colectiva a la hora de determinar qué pistas sonaban mejor ha convergido de un modo claro hacia los archivos WAV (BAAAB), a pesar de que solo 4 usuarios (4,8%) los han identificado correctamente a título individual.

Además, durante el tiempo en que la prueba ha estado abierta he podido comprobar en tiempo real cómo este comportamiento colectivo se iba perfilando y tendía progresivamente hacia esos 5 aciertos. De hecho, la tendencia ha sido muy clara desde los 20 - 30 primeros participantes en el caso de las pistas 1, 4 y 5, no tanto en las número 2 y 3. Especialmente la 3ª pista no ha tendido a su valor final (A) hasta prácticamente los últimos 10 días. Ha sido francamente curioso ver cómo, poco a poco, también en este caso las respuestas iban decantando la balanza por la versión WAV.

Tampoco debemos perder de vista que, aunque 10 participantes (12%), casi todos utilizando auriculares, no han identificado correctamente ninguna de las pistas WAV, esto no debe interpretarse como que han preferido de un modo consistente las versiones OGG, puesto que existía una 3ª respuesta posible (suenan igual). De hecho, tan solo se ha registrado 1 respuesta en la que el usuario ha preferido las 5 versiones OGG. (ABBBA).

Con respecto a las pistas de prueba, los espectrogramas de las versiones codificadas en OGG muestran una (muy sutil en algunos casos) disminución en su densidad espectral en la parte alta, quedando ligeramente desmochados, como se puede ver en estas imágenes. Creo que es innegable que el codec OGG hace un gran trabajo, al menos desde el punto de vista del análisis espectral.

Espectros de las pistas de muestra, versión WAV a la izquierda, OGG a la derecha (archivos para descarga aquí).







Por último, y tras pensar detenidamente en los resultados que arroja esta prueba, me inclino a pensar que sí existen diferencias audibles, hablando en términos absolutos y bajo determinadas condiciones, perceptibles por ciertas personas, entre un archivo WAV y su homólogo codificado en OGG utilizando una compresión con pérdidas.

Ahora bien, creo que es procedente cuestionarse si en condiciones normales de escucha esto resulta relevante o no. Al fin y al cabo nadie se sienta en el sofá a disfrutar de su música preferida en estado de alerta mental permanente, repitiendo una y otra vez determinados fragmentos de cada pieza, para detectar deficiencias en lo que está oyendo. O al menos no debería hacerlo si en algo aprecia su cordura. Las diferencias, de ser significativas, deberían ser evidentes y aflorar per se en lugar de requerir una escucha activa y analítica.

Y me temo que la respuesta a esta pregunta es, en última instancia, personal e intransferible.