L'audiophilie des gens heureux

forum objectiviste
 
AccueilAccueil  FAQFAQ  RechercherRechercher  S'enregistrerS'enregistrer  MembresMembres  GroupesGroupes  Connexion  

Partagez | 
 

 Pourquoi tant d'échecs aux tests ABX ?

Voir le sujet précédent Voir le sujet suivant Aller en bas 
Aller à la page : Précédent  1, 2, 3, 4, 5, 6  Suivant
AuteurMessage
Pio2001



Nombre de messages : 1033
Date d'inscription : 04/02/2007

MessageSujet: Re: Pourquoi tant d'échecs aux tests ABX ?   Ven 16 Nov - 15:23

Denis31 a écrit:
Quelqu'un peut-il me donner un lien ou m'indiquer comment se calcule la probabilité d'un ABX ?
Ex: pour S succès sur N tentatives ABX, quelle est la proba P pour que A et B soit différenciés par l'auditeur ?

http://www.hydrogenaudio.org/forums/index.php?showtopic=14679

Premier encadré, en Python, second encadré, en anglais, troisième encadré, en Java.

Cela donne la table binômiale de David Carlstrom.

Denis31 a écrit:
Merci, l'explication est assez claire, mais la détermination de p repose sur l'utilisation des tables pré-calculées ki2 ou binomiale...à l'ère de l'informatique il doit bien y avoir un moyen de faire mieux ?

Lorsqu'on a affaire à des tables précalculées, comme le chi-square, à l'ère de l'informatique, on se munit d'un bon générateur de nombres aléatoires (on importe une bibliothèque Maths, Stats, ou Rand exprès pour ça), et on écrit un programme qui va simuler des milliers, ou des millions tests où les auditeurs répondent n'importe quoi, et on regarde converger les taux de réussites.

Voici un exemple complet, où je détermine d'abord une formule exacte pour un cas de test particulier qui n'est pas l'ABX, puis j'écris un simulateur pour confirmer les valeurs obtenues.

http://www.hydrogenaudio.org/forums/index.php?showtopic=44599

Les plus attentifs remarqueront une erreur dans les résultats affichés.
Revenir en haut Aller en bas
Voir le profil de l'utilisateur
Denis31



Nombre de messages : 1721
Localisation : Toulouse, con !
Date d'inscription : 13/02/2007

MessageSujet: Re: Pourquoi tant d'échecs aux tests ABX ?   Ven 16 Nov - 15:44

Pio: Il n'y a donc pas de solution analytique ?
Enfin, le code de schnofler doit être facile à utiliser. (dans le python je ne sais pas que fait exactement "reduce" ?)
Merci, ça va me permettre d'avancer.

Mr Bear: oui 6/6 est trop peu, c'est juste pour l'exemple...il faudrait trouver l'équivalent de 9/10 par exemple, mais la table binomiale donnée dans le lien de jlo ne va que jusqu'a N/20, alors qu'une valeur intéressante doit être autour de 25/30, peut-être.

Chaud7: 0024

Ce qui est fascinant avec ce truc, c'est que pour une infinité d'essais, il suffirait d'en réussir la moitié +1 pour avoir P = 100%, non ?
Revenir en haut Aller en bas
Voir le profil de l'utilisateur
Pio2001



Nombre de messages : 1033
Date d'inscription : 04/02/2007

MessageSujet: Re: Pourquoi tant d'échecs aux tests ABX ?   Ven 16 Nov - 16:40

Denis31 a écrit:
Pio: Il n'y a donc pas de solution analytique ?

Ben si, c'est celle implémentée dans les codes indiqués. Et dans mon test AXYZ, j'en a trouvé une autre.

C'est pour les tests avec plusieurs auditeurs donnant plusieurs réponses que ça se complique : Anova, Ch-square, Tukey, Friedeman... il y a des tas de modèles et c'est pas évident de savoir lequel répond à quelle question.

Analytique, analytique... c'est un peu artificiel comme distinction. Après tout, un sinus ou une racine carrée, on n'en a pas de solution exacte non plus.
Avant les calculettes, on utilisait des tables trigonométriques, ou des développement en série. Aujourd'hui, les calculettes font des développement en série.

Denis31 a écrit:
Ce qui est fascinant avec ce truc, c'est que pour une infinité d'essais, il suffirait d'en réussir la moitié +1 pour avoir P = 100%, non ?

Bonne question. Je ne crois pas. J'ai plutôt l'impression qu'il faut dire 50% + e, mais que ce e étant proportionnel à N, il va à la fois tendre vers l'infini et vers zéro.
Vers l'infini avec N, et vers zéro par rapport à 100%.

Parce que que plus ton N est grand, plus le N/2+1 est insignifiant, vu que tu as de plus en plus de chances de faire +1 par hasard.
Revenir en haut Aller en bas
Voir le profil de l'utilisateur
Denis31



Nombre de messages : 1721
Localisation : Toulouse, con !
Date d'inscription : 13/02/2007

MessageSujet: Re: Pourquoi tant d'échecs aux tests ABX ?   Ven 16 Nov - 17:05

Tu as raison, c'est bien une solution analytique, on calcule juste une série, ce n'est pas comme calculer une solution d'équation par une méthode itérative.

Pour la limite quand N->inf, je n'arrive pas à bien voir ce qui se passe:
Citation :
Parce que que plus ton N est grand, plus le N/2+1 est insignifiant
c'est vrai, mais aussi, plus N est grand, plus l'écart entre le nombre de succès et N/2 est signifiant, aussi petit soit-il.
Enfin, ça va pas m'empêcher de dormir.
Revenir en haut Aller en bas
Voir le profil de l'utilisateur
Invité
Invité



MessageSujet: Re: Pourquoi tant d'échecs aux tests ABX ?   Lun 30 Juin - 8:34

Denis31 a écrit:
J'aimerais vous soumettre le raisonnement suivant, qui me semble être une explication au fait que de nombreux ABX échouent alors qu'il y a peut-être une différence réelle, je ne prétends aucunement avoir trouvé une faille mais j'aimerais une explication.

Il est vrai que si la suite des tirages {A, B} n'est pas véritablement aléatoire, cela fausse l'interprétation statistique des jugements; ce que je décrirais "mathématiquement" par: une dépendance dans la série des stimulis A/B fausse la corrélation avec la série des jugements.

Or, il est incontestable que le jugement Ji l'auditeur est influencé par ses jugements précédents, ce qui entraine une dépendance dans la série des jugements. DONC, cela fausse AUSSI la corrélation avec la série des stimulis.

Autrement dit:
Je viens de répondre deux fois A de suite; au troisième tirage, j'ai fortement envie de répondre B, parce que "il faut bien qu'il y ait un peu des B, tout de même"; or la probabilité d'avoir A au troisième tirage est toujours de 0.5;
Je vais donc répondre B alors que c'était A; comme qqpart à l'intérieur de moi qqchose a quand même reconnu A (supposé différent de B, pour une fois), je suis en contradiction avec moi-même, et il m'est impossible par la suite de rétablir l'équilibre, je pars en vrille et échouerais lamentablement le test, alors qu'en réalité qqchose au fond moi sait bien distinguer A de B.

Notons que ce n'est pas en contradiction avec l'interprétation normale d'un ABX: réussi implique différence, échoué implique rien à conclure.

MAIS, cela pourrait expliquer la fréquence des échecs, dont naturellement on ne peut s'empêcher de conclure qu'elle est due à l'absence de différence audible;
Il pourrait bien y avoir une autre cause, qui est finalement proche de celle que soulignent éternellement les subjectivistes:
"Dans les conditions de tests, j'entends rien...",
réécrite comme:
"Dans les conditions de tests, le caractère aléatoire des tirages rend difficile la formation d'un jugement fiable";

Salut Denis31,

Comme je l'ai écrit par ailleurs — et sur quoi on ne m'a jamais répondu sur le fond —, ce ne sont pas « les conditions de tests, le caractère aléatoire des tirages qui rend difficile la formation d'un jugement fiable » (Denis31), car les conditions de ces tests n'excèdent pas, effectivement, ce qu'un être humain est capable de subir...

La raison fondamentale qui rend toute procédure de type ABX aléatoire dans ses résultats — pour ce qui nous occupe ici : la discrimination sonore —, c'est que, rationnelle dans son élaboration, elle s'adresse à un cobaye, l'être humain, qui ne l'est jamais rationnel CAR IL NE PEUT L'ÊTRE...

Pour réussir à coup sûr une procédure ABX, il faudrait donc commencer par fabriquer le « testé » : je ne vois que le robot... l'homme-machine, car celui-ci ne se posera jamais, au cours du test, cette question humaine trop humaine : "il faut bien qu'il y ait un peu des B, tout de même" (Denis31)... ou aucune autre question d'ailleurs... subjective ou objective...

Mais ce n'est que mon avis...
Revenir en haut Aller en bas
Invité
Invité



MessageSujet: Re: Pourquoi tant d'échecs aux tests ABX ?   Lun 30 Juin - 8:45

Ce que tu ne veux pas comprendre cher Cunégonde c'est que justement le testé doit pouvoir dire A ou B. S'il ne le peut le résultat est limpide. S'il le peut aussi. Moi ce que je ne comprends c'est pourquoi aucune oreille d'or ne veut faire ces tests ?
Revenir en haut Aller en bas
Chaud7
Admin


Nombre de messages : 7413
Age : 58
Date d'inscription : 30/01/2007

MessageSujet: Re: Pourquoi tant d'échecs aux tests ABX ?   Lun 30 Juin - 18:29

Mr Bear a écrit:
Ce que tu ne veux pas comprendre cher Cunégonde c'est que justement le testé doit pouvoir dire A ou B. S'il ne le peut le résultat est limpide. S'il le peut aussi. Moi ce que je ne comprends c'est pourquoi aucune oreille d'or ne veut faire ces tests ?

Parce que des oreilles d'or c'est pas suffisant, il faut aussi un cerveau en or Wink

_________________
J'appartiens à la race humaine, et j'en ai tous les jours un peu plus honte
Revenir en haut Aller en bas
Voir le profil de l'utilisateur http://chaud7.forumactif.fr En ligne
JbM



Nombre de messages : 481
Date d'inscription : 31/01/2007

MessageSujet: Re: Pourquoi tant d'échecs aux tests ABX ?   Lun 30 Juin - 18:36

Cunégonde a écrit:
[...] l'être humain, qui ne l'est jamais rationnel CAR IL NE PEUT L'ÊTRE...
Prouve-le!

Cunégonde a écrit:
Pour réussir à coup sûr une procédure ABX, il faudrait donc commencer par fabriquer le « testé » : je ne vois que le robot... l'homme-machine, car celui-ci ne se posera jamais, au cours du test, cette question humaine trop humaine : "il faut bien qu'il y ait un peu des B, tout de même" (Denis31)... ou aucune autre question d'ailleurs... subjective ou objective...
Si au lieu de les rejeter à priori tu avais pratiqué quelques tests en aveugle, tu te serais aperçu qu'on se fourvoie dans des considérations du type "il faut bien qu'il y ait un peu des B, tout de même" lorsque l'on n'arrive pas à identifier les échantillons. Quand on perçoit une différence, on répond en fonction de ce qu'on entend, sans arrière pensée.
Revenir en haut Aller en bas
Voir le profil de l'utilisateur
Chaud7
Admin


Nombre de messages : 7413
Age : 58
Date d'inscription : 30/01/2007

MessageSujet: Re: Pourquoi tant d'échecs aux tests ABX ?   Lun 30 Juin - 18:40

Un peu comme un Indou qui rencontre un tigre du bengale, il réfléchit pas, il court.

_________________
J'appartiens à la race humaine, et j'en ai tous les jours un peu plus honte
Revenir en haut Aller en bas
Voir le profil de l'utilisateur http://chaud7.forumactif.fr En ligne
Pio2001



Nombre de messages : 1033
Date d'inscription : 04/02/2007

MessageSujet: Re: Pourquoi tant d'échecs aux tests ABX ?   Mar 1 Juil - 13:46

Cunégonde a écrit:
La raison fondamentale qui rend toute procédure de type ABX aléatoire dans ses résultats — pour ce qui nous occupe ici : la discrimination sonore —, c'est que, rationnelle dans son élaboration, elle s'adresse à un cobaye, l'être humain, qui ne l'est jamais rationnel CAR IL NE PEUT L'ÊTRE...

Bonjour Cunégonde,

Je te suis quand tu dis qu'il faut passer du mode émotionnel au mode rationnel pour évaluer la qualité audio d'une source sonore.

Mais pour moi, cela s'applique à toute la hifi. Qualifier le son d'une chaîne est une processus d'analyse logique dans lequel on attribue une qualité à un élément. L'ABX n'a rien à voir dans l'affaire, car il ne s'agit que d'évaluer la qualité sonore de plusieurs sources sonores. Simplement, au lieu de s'appeler Rega ou Cardas, elles s'appellent A ou B ou X.

Attribuer une sensibilité émotionnelle à une machine (un élément hifi) relève pour moi de l'animisme.

Il reste, certes le droit de s'émerveiller devant le résultat technique obtenu à l'aide d'une machine, mais je ne classe pas cet émerveillement dans la catégorie des jugements qualitatifs sur les appareils hifi. J'appellerais plutôt cela une expérience d'écoute.
Revenir en haut Aller en bas
Voir le profil de l'utilisateur
Invité
Invité



MessageSujet: Re: Pourquoi tant d'échecs aux tests ABX ?   Mer 2 Juil - 10:29

Pio2001 a écrit:
Cunégonde a écrit:
La raison fondamentale qui rend toute procédure de type ABX aléatoire dans ses résultats — pour ce qui nous occupe ici : la discrimination sonore —, c'est que, rationnelle dans son élaboration, elle s'adresse à un cobaye, l'être humain, qui ne l'est jamais rationnel CAR IL NE PEUT L'ÊTRE...

Bonjour Cunégonde,

Je te suis quand tu dis qu'il faut passer du mode émotionnel au mode rationnel pour évaluer la qualité audio d'une source sonore.

Mais pour moi, cela s'applique à toute la hifi. Qualifier le son d'une chaîne est une processus d'analyse logique dans lequel on attribue une qualité à un élément. L'ABX n'a rien à voir dans l'affaire, car il ne s'agit que d'évaluer la qualité sonore de plusieurs sources sonores. Simplement, au lieu de s'appeler Rega ou Cardas, elles s'appellent A ou B ou X.

Attribuer une sensibilité émotionnelle à une machine (un élément hifi) relève pour moi de l'animisme.

Il reste, certes le droit de s'émerveiller devant le résultat technique obtenu à l'aide d'une machine, mais je ne classe pas cet émerveillement dans la catégorie des jugements qualitatifs sur les appareils hifi. J'appellerais plutôt cela une expérience d'écoute.

Salut Pio,

Je ne dis pas exactement « qu'il faut passer du mode émotionnel au mode rationnel pour évaluer la qualité audio d'une source sonore ». Je dis que le « mode émotionnel » nous accompagne à chaque instant, malgré nous, dans une écoute chez soi, ou lors d'un test ABX ou autre, bref à chaque instant de notre vie... Ce qui place la procédure ABX à un autre niveau : une méthode d'évaluation supplémentaire, pas une méthode de validation... que seul un robot pourrait fournir, et encore seulement circonscrite à sa programmation... J'ajoute qu'un être humain se prêtant à un test d'évaluation quelconque (l'ABX par ex., auquel je ne suis pas du tout opposée) s'oblige à un niveau de performance très nettement inférieur (je ne te dirais pas dans quelles proportions exactes!) à ce qu'il est capable d'effectué à chaque instant de son existence, SANS Y PENSER...

En hifi, « sans y penser » est l'usage banal de son système chez soi, c'est-à-dire dans l'endroit le plus familier pour le mélomane... qui inconsciemment rééquilibrera peu ou prou les insuffisances sonores de son système et de sa pièce d'écoute, ou même les sublimera, grâce justement à l'émotion qu'il ressentira... ou non.

Les difficultés surgissent en nombre lorsque le simple quidam, commençant à éprouver une certaine frustration, se métamorphose incidemment en mélomane — qui fabrique toujours davantage de beauté, de sens, à l'écoute d'une œuvre musicale au concert ou chez lui...—, devient un audiophile (donc moins performant sans le savoir), puis comble de la « déchéance » un idiophile (son double !)... ce qui coïncide généralement avec une forte poussée d'animisme, ou superstition — chez un commerçant, par ex. — et dont la résolution se traduit généralement par un subit allègement du portefeuille... et jamais l'inverse !... Rolling Eyes Rolling Eyes

Paradoxe quelque peu pitoyable et comique à la fois : c'est lorsque le portefeuille du malade est totalement plat qu'il est totalement guérit, donc qu'il se sent mieux malgré ses vigoureuses dénégations... Twisted Evil Twisted Evil Twisted Evil ce qui corrobore une fois de plus l'inoxydable proverbe : l'argent ne fait pas (forcément) le bonheur du mélomane !... Surprenant !... Wink Laughing geek

Pour éviter les effets de cette « pathologie » assez commune (dont personne n'est sorti indemne à ce jour !), il serait judicieux que la réglementation sur les produits hifi soit plus rigoureuse et beaucoup plus informative qu'elle ne l'est actuellement. Par exemple : mettre à la disposition de l'acheteur un ensemble de données simples suffisamment éclairantes, à défaut d'être exhaustives, non seulement sur la technologie employée, mais sur la musicalité RAMENÉE AU PRIX (notion moins relative qu'on le dit)... difficile à définir, mais certainement possible puisque les meilleures revues l'établissent pour elles-mêmes, à partir de leur « expérience d'écoute » (Pio2001) sans cesse répétée... Mais les revues ne sont pas lues par tout le monde, loin s'en faut, sont assujetties aux goûts esthétiques de leurs rédacteurs, et surtout vivent de la publicité des fabricants...
Revenir en haut Aller en bas
Invité
Invité



MessageSujet: Re: Pourquoi tant d'échecs aux tests ABX ?   Mer 2 Juil - 10:45

Et alors ? C'est sur ce même fonctionnement que tous les tests sont conduit non ? Ou alors c'est un fonctionnement qui ne se met en place que lors d'un ABX ? La plupart des audiophiles se targuent de capacités d'analyse dégagées de toute subjectivités, d'être capable d'entendre une différence de niveau sur une partie de la bande ou d'entendre une coupure, un tassement. Et là d'un coup on ne passe que sur l'émotion ?

Désolé mais ton raisonnement ne tiens pas ...
Revenir en haut Aller en bas
wald



Nombre de messages : 585
Age : 56
Localisation : Paris
Date d'inscription : 24/01/2008

MessageSujet: Re: Pourquoi tant d'échecs aux tests ABX ?   Ven 28 Nov - 19:59

SALUT LES HOMMES (et tant pis si je me trompe) lol!

Je déterre ce truc, que je n'avais jamais lu, à la lumière de l'ABX HCFR en cours.

Dès le premier post, Denis31 a quand même identifié un problème dont nous avons aussi fait les frais.

Pour mémoire, lors de l'ABX, il y a eu je crois 5 tirages consécutif du même appareil, ce qui statistiquement n'est pas extraordinaire, mais tout le monde n'est pas statisticien ou joueur de poker.

Je met au défi un auditeur lamba de résister longtemps à la pression de l'intuition (fausse) qu'une telle série est improbable.

Je voudrais - avant qu'on me tombe dessus - lire le fil attentivement et en particulier les réponses de Pio, qui a réalisé de très nombreux ABX, et puis mettre de l'ordre dans mes reflexions (à partir d'une unique expérience, je sais, c'est bof, mais ce sera toujours mieux que rien, si on voit ce que j'entend par là Basketball ) mais j'ai l'intuition (vraie ???) que pour réussir un ABX, il faut, entre autre, une solide expérience des ABX, à chaque fois en particulier que la différence est ténue.

MOMENTO, je reviens !

scratch
study
Arrow
Idea
vieux
zinzin
lumiere
Accordeon
yahoo
Revenir en haut Aller en bas
Voir le profil de l'utilisateur
Invité
Invité



MessageSujet: Re: Pourquoi tant d'échecs aux tests ABX ?   Ven 28 Nov - 21:52

Comme souvent tu poses une bonne question mon cher Wald.

Je te dirais que l'on ne demande pas de penser, pour une fois, mais de dire si oui ou non on entend une différence. Oui je sais cela ne va pas t'aller mais pourquoi penser que l'auditeur calcule ? Maintenant tu vas mettre le doute chez tout le monde, c'est malin ça Laughing Laughing Laughing Laughing
Revenir en haut Aller en bas
wald



Nombre de messages : 585
Age : 56
Localisation : Paris
Date d'inscription : 24/01/2008

MessageSujet: Re: Pourquoi tant d'échecs aux tests ABX ?   Lun 1 Déc - 9:46

J'attend la seconde session pour avancer sur ce point mais, sur l'observation, qui semble de bon sens, rappelée aussi par Alpacou : "est ce que, oui ou non, on entend une différence".l y a, avec ce début de retour d'expérience, une nuance de taille à apporter (et pas du même ordre, je vous l'assure, que les spéculations gratuites dont un exemple subiste un peu plus haut clown )

Je crois avoir compris ceci.

L'ABX ne constiste pas stricto sensu à dire si, oui ou non, on entend une différence entre A et B. Ca, c'est seulement ce qui se passe dans la phase non aveugle qui précède l'ABX.

Si on répond "oui", on passe alors en ABX, où il s'agit cette fois de reconnaître A ou B quand on écoute X, et non pas seulement de dire si on entend une différence entre eux. Et ce n'est pas la même chose. Concrètement, on écoute X et on dit "là c'est A", ou bien "là c'est B".

Il faut, pour celà, avoir préalablement identifié ce qui caractérise la différence entre A et B - une première difficulté, notamment si la différence est subtile -, afin de pouvoir reconnaître, pour simplifier, le son de A et le son B.

Je dis "pour simplifier" car il me semble plutôt qu'il s'agit plutôt de reconnaître une ou plusieurs caractéristiques spécifiques qu'on a prété à A ou B lors de l'écoute non aveugle, ce qui suppose un certain pouvoir d'analyse et une certaine mémoire et même, il suffit de lire Pio, de l'expérience et aussi un choix pointilleux des extraits écoutés en fonction de la différence qu'on aura identifiée.

Pour que le résultat soit valide, c'est à dire qu'il élimine le hasard, il faudrait je crois 12/12 réponses bonnes ou 14/15 (je me trompe peut être, mais c'est de toute façon l'ordre de grandeur). En clair, il ne faut pas se tromper.

Pour rester sur l'observation initiale de Denis, et sur notre ABX de câbles il y a eu donc 5 tirages consécutif du même câble A.

Quand on écoute X, et qu'on doit tenter de retrouver les caractéristiques prétées à A ou B, on est tout aussi soumis aux influences, ces influences dont nous estimons ici, justement, qu'elles ont une part importante dans l'autosuggestion qui fait entendre des différences là où il n'y en n'a probablement pas.

Autrement dit, et dans notre exemple, l'intuition fausse, mais redoutable, que, quand il y a plusieurs tirages consécutifs, il faut bien qu'il y ait une alternance au bout d'un moment entre A et B, peut à mon avis pour les mêmes raisons provoquer une erreur par autosuggesion. On entend une différence là où elle n'existe pas et on plante le test qui ne permet pas d'erreur. l'ABX sera immanquablement négatif.

Et celà m'embète bien, car l'écoute en ABX étant aussi soumise au jeu des influences (comme celle exercée par les autres participants par exemple) et qu'on aura seulement éliminé celle exercée par la connaissance de l'appareil testé, les exigences de validation (incontestables en probabilité je le reconnais) rendent un résultat positif peut être preque impossible à obtenir.

Ce qui m'embète aussi, c'est qu'en dépit des précautions d'emploi (seul un ABX positif a une signification), nous avons tendance à donner une portée à un ABX négatif (il n'y a donc pas de différence entre A et B), que l'on généralise assez facilement (il n'y a donc jamais de différence entre tous les A et les tous les B). Mais si la chance de réussir un ABX malgré une différence réelle, est affaiblie par l'exigence d'un test quasiment sans erreur, nos conclusions passent de "hatives" à "totalement infondées".

L'ABX est un bon instrument pour des différences très significatives sans doute, mais peut être qu'il manque de précision pour des différences plus subtiles.
Revenir en haut Aller en bas
Voir le profil de l'utilisateur
grumfer



Nombre de messages : 47
Date d'inscription : 19/11/2008

MessageSujet: Re: Pourquoi tant d'échecs aux tests ABX ?   Lun 1 Déc - 10:51

wald a écrit:
L'ABX est un bon instrument pour des différences très significatives sans doute, mais peut être qu'il manque de précision pour des différences plus subtiles.

La précision doit pouvoir s'améliorer avec la pratique (courbe d'apprentissage en forme de log).
Par apprentissage, j'entends une certaine modification (inconsciente ?) de certains "réflexes" de l'audition acquis dans des conditions d'écoute habituelles.
Revenir en haut Aller en bas
Voir le profil de l'utilisateur
Denis31



Nombre de messages : 1721
Localisation : Toulouse, con !
Date d'inscription : 13/02/2007

MessageSujet: Re: Pourquoi tant d'échecs aux tests ABX ?   Lun 1 Déc - 11:44

Salut wald,
wald a écrit:
J'attend la seconde session pour avancer sur ce point mais, sur l'observation, qui semble de bon sens, rappelée aussi par Alpacou : "est ce que, oui ou non, on entend une différence".l y a, avec ce début de retour d'expérience, une nuance de taille à apporter (et pas du même ordre, je vous l'assure, que les spéculations gratuites dont un exemple subiste un peu plus haut clown )

Je crois avoir compris ceci.

L'ABX ne constiste pas stricto sensu à dire si, oui ou non, on entend une différence entre A et B. Ca, c'est seulement ce qui se passe dans la phase non aveugle qui précède l'ABX.

Si on répond "oui", on passe alors en ABX, où il s'agit cette fois de reconnaître A ou B quand on écoute X, et non pas seulement de dire si on entend une différence entre eux. Et ce n'est pas la même chose. Concrètement, on écoute X et on dit "là c'est A", ou bien "là c'est B".

Il faut, pour celà, avoir préalablement identifié ce qui caractérise la différence entre A et B - une première difficulté, notamment si la différence est subtile -, afin de pouvoir reconnaître, pour simplifier, le son de A et le son B.

Je dis "pour simplifier" car il me semble plutôt qu'il s'agit plutôt de reconnaître une ou plusieurs caractéristiques spécifiques qu'on a prété à A ou B lors de l'écoute non aveugle, ce qui suppose un certain pouvoir d'analyse et une certaine mémoire et même, il suffit de lire Pio, de l'expérience et aussi un choix pointilleux des extraits écoutés en fonction de la différence qu'on aura identifiée.

Jusque là, tout bon.

Pour que le résultat soit valide, c'est à dire qu'il élimine le hasard, il faudrait je crois 12/12 réponses bonnes ou 14/15 (je me trompe peut être, mais c'est de toute façon l'ordre de grandeur).
Oui.
10/10=>1 réussite / 1000 due au hasard.
9/10=>5 réussites / 100 dues au hasard.


En clair, il ne faut pas se tromper.

Si on se trompe, il faut faire plus de tentatives:
19/30=>5 réussites / 100 dues au hasard: idem que 9/10 !


Pour rester sur l'observation initiale de Denis, et sur notre ABX de câbles il y a eu donc 5 tirages consécutif du même câble A.

Anecdote: Lors de la mise au point d'un soft ABX, j'ai obtenu 14 tirages identiques successifs. J'étais certain que le générateur aléatoire était naze, mais non après vérification attentive, il fonctionnait.
L'hypothèse la plus probable est néanmoins:
- soit une erreur de ma part lors de la vérif (sans modifier le programme j'ai continué jusqu'a 200 tirage et obtenu je crois 94 fois 0 et 106 fois 1);
- soit un état de "délire" que j'espère passager (constat d'un fait qui ne s'est en réalité pas produit - je n'en ai pas de trace;
- soit que je mente.
En tout état de cause JAMAIS je ne pourrais répondre la même chose 14 fois de suite lors d'un ABX. En dehors de ce cas extrême, 5 ou 6 tirages identiques consécutifs sont relativement courants, et c'est perturbant quand on ne s'y attend pas.

C'est aussi pour cela qu'en l'absence de tirage vraiement aléatoire (la séquence est déterminée par l'opérateur, selon ce qu'il "pense" être le hasard), la réussite est beaucoup plus facile, voire quasiment assurée si les résultats sont annoncés au fur et à mesure et le test fait en "simple aveugle"; ce qui amha explique nombre de CR de tests "presque" ABX réussis.


Quand on écoute X, et qu'on doit tenter de retrouver les caractéristiques prétées à A ou B, on est tout aussi soumis aux influences, ces influences dont nous estimons ici, justement, qu'elles ont une part importante dans l'autosuggestion qui fait entendre des différences là où il n'y en n'a probablement pas.

Autrement dit, et dans notre exemple, l'intuition fausse, mais redoutable, que, quand il y a plusieurs tirages consécutifs, il faut bien qu'il y ait une alternance au bout d'un moment entre A et B, peut à mon avis pour les mêmes raisons provoquer une erreur par autosuggesion. On entend une différence là où elle n'existe pas et on plante le test qui ne permet pas d'erreur. l'ABX sera immanquablement négatif.

Et celà m'embète bien, car l'écoute en ABX étant aussi soumise au jeu des influences (comme celle exercée par les autres participants par exemple) et qu'on aura seulement éliminé celle exercée par la connaissance de l'appareil testé, les exigences de validation (incontestables en probabilité je le reconnais) rendent un résultat positif peut être preque impossible à obtenir.

Et malheureusement dans un test "réel" impliquant une mise en place, un lieu, une organisation, switcher les appareils, etc. voila ce qui se passe:
Si les auditeurs découvrent le contexte et les appareils à distinguer en arrivant sur place, au mieux ils vont, après un court entrainement encourageant (genre 3/3), passer à la phase ABX. Mais cet entrainement n'aura pas suffit à mettre en évidence qu'en réalité, lors de l'ABX ils vont se planter une fois sur 4 ou 5, voir plus.
Si les résultats sont annoncés au fur et à mesure l'erreur et l'abandon sont garantis au bout de 4 ou 5 essais.
Il faudrait prolonger le test et faire 20 ou 30, 50 tentatives pour réussir un 25/30 par exemple.
Mais en pratique c'est impossible: trop long, et surtout, la fatigue et le stress aidant, le taux d'erreur augmente... ça ira de mal en pis.


Ce qui m'embète aussi, c'est qu'en dépit des précautions d'emploi (seul un ABX positif a une signification), nous avons tendance à donner une portée à un ABX négatif (il n'y a donc pas de différence entre A et B), que l'on généralise assez facilement (il n'y a donc jamais de différence entre tous les A et les tous les B). Mais si la chance de réussir un ABX malgré une différence réelle, est affaiblie par l'exigence d'un test quasiment sans erreur, nos conclusions passent de "hatives" à "totalement infondées".

L'ABX est un bon instrument pour des différences très significatives sans doute, mais peut être qu'il manque de précision pour des différences plus subtiles.

Je suis d'accord avec ça. Il faut des conditions drastiques pour avoir une chance de réussite: Un test collectif ne va amha servir qu'a affiner la compréhension des effets 'pervers' liés au stress et à l'effet de groupe, qui mènent à l'échec quasiment à coup sûr. C'est également passionnant, mais c'est autre chose.

tout cela n'empêche pas que dans la plupart des cas les différences attendues ne sont très probablement pas audibles; comme entre deux amplis suffisamment proches aux mesures, par exemple, ou deux lecteurs CD. D'un point de vue "désespéré", il est donc à peu près vain de faire ce genre de test, l'échec certain ne faisant que discréditer la méthode !
Revenir en haut Aller en bas
Voir le profil de l'utilisateur
wald



Nombre de messages : 585
Age : 56
Localisation : Paris
Date d'inscription : 24/01/2008

MessageSujet: Re: Pourquoi tant d'échecs aux tests ABX ?   Lun 1 Déc - 12:24

@ Denis31 : Je suis bien d'accord, avec toi, que ça ne remet en cause ni le soupçon que les différences sont sans doute très faibles à inexistantes pour les électroniques bien conçues (moi, en non aveugle, je n'ai pour ainsi dire pas entendu de différence entre les amplis ce jour là, point barre), ni le fait que, sur le papier, l'ABX comme intrument de validation des sensations d'écoute, est non sérieusement discutable. Mais il est en pratique encore plus ardu à réaliser que je ne le pensais et ton sujet était fort bien titré " pourquoi tant d'échecs aux ABX"

L'ABX d'amplis, en l'occurence, testait un engin dont un défaut était reconnaissable par tous sur certains passages, presque certainement mesurable, observation faite que, hormis cette saturation, il n'y a pas eu d'autres différences formellement identifiées en non aveugle. Mais les trois testeurs ABX n'ont pas pu confirmer de manière probant cette saturation. Il faudrait certes le refaire avec un peu plus de rigueur mais que l'ABX soit négatif sur cet exemple est génant.

@ grumpher : oui, l'expérience pourrait être un facteur de réussite. Mais quand on lit les tests de Matrix, par exemple, on voit souvent, comme un argument, qu'on n'a pas affaire à des objectivistes "forcenés" mais à madame /monsieur tout le monde.

Et bien, c'est peut être dommage. Faut vraiment croire à l'ABX pour en réaliser plusieurs, et il faut peut être en réaliser beaucoup pour les réussir plus facilement. Mais il ne faut donc pas être découragé par les résultats négatifs qui seraient possiblement, de surcroit, la conséquence de l'inexpérience, et non pas obligatoirement l'obsédante confirmation qu'il n'y a pas de différence. Pas facile tout ça pale .

@ Pio : Tu as compris que ce qui m'ennuie c'est l'impossibilité concrète de réaliser une bonne partie des tests comme il faudrait pour diminuer le risque d'" erreur inverse" (ne pas identifier la différence). Par exemple je ne suis pas sensible au stress je crois, mais d'autres oui. Moi en revanche ça m'a gonflé de ne pas pouvoir répondre "pas de différence audible", sur une session, à partir de quoi j'étais démobilisé et ainsi de suite. Je suis certain qu'il y a des réponses à chaque cas et pour chacun mais P...., quel boulot pour y parvenir et dans quel but si on teste des câbles ? Je te remercie d'avoir donné les détails dans le CR, car cela permet d'affiner l'analyse, mieux qu'un Matrix
Revenir en haut Aller en bas
Voir le profil de l'utilisateur
Pio2001



Nombre de messages : 1033
Date d'inscription : 04/02/2007

MessageSujet: Re: Pourquoi tant d'échecs aux tests ABX ?   Lun 1 Déc - 20:14

Tout cela est bien vrai. Tu auras sans doute remarqué mon message plus haut dans ce topic, où je rate deux fois un ABX sur une différence presque flagrante, avant de te me le massacrer avec un sans faute 24/24, non mais ! http://chaud7.forumactif.fr/tests-abx-f8/pourquoi-tant-d-echecs-aux-tests-abx-t138-45.htm?#3910

wald a écrit:
L'ABX d'amplis, en l'occurence, testait un engin dont un défaut était reconnaissable par tous sur certains passages, presque certainement mesurable, observation faite que, hormis cette saturation, il n'y a pas eu d'autres différences formellement identifiées en non aveugle. Mais les trois testeurs ABX n'ont pas pu confirmer de manière probant cette saturation. Il faudrait certes le refaire avec un peu plus de rigueur mais que l'ABX soit négatif sur cet exemple est génant.

Oui, je pense (je ne l'affirme pas avant d'ABXer moi-même) que là, les auditeurs ont réalisé une performance assez médiocre en terme de score.

Par contre, je n'ai pas dû parler assez fort, tu avais parfaitement le droit de ne rien répondre lorsque tu n'entendais rien ! Je l'ai signalé dans un des récapitulatifs, au cours de la discussion qui a suivi le compte-rendu, pour la prochaine fois.

Il aurait suffi, à la fin, de poursuivre les tirages jusqu'à ce que tu arrives au total de 15 réponses exprimées.
Revenir en haut Aller en bas
Voir le profil de l'utilisateur
wald



Nombre de messages : 585
Age : 56
Localisation : Paris
Date d'inscription : 24/01/2008

MessageSujet: Re: Pourquoi tant d'échecs aux tests ABX ?   Ven 5 Déc - 11:02

Pardon Pio, je n'avais pas vu ton message. Je t'avais entendu mais c'est l'effet de groupe. Il ne m'a pas semblé que els autres étaient OK. Cela dit, mes résultats étaient aléatiores et cela n'aurait rien changé. Mais la prochaine fois j'adopterai ce principe qui me parait sain.
Revenir en haut Aller en bas
Voir le profil de l'utilisateur
grumfer



Nombre de messages : 47
Date d'inscription : 19/11/2008

MessageSujet: Re: Pourquoi tant d'échecs aux tests ABX ?   Dim 7 Déc - 18:26

Citation :
Pourquoi tant d'échecs aux tests ABX ?

L'ABX serait une catastrophe ?
Vouloir réduire, ne serait-ce qu'un peu certains biais identifiés, par une mise en situation ABX, induit peut être beaucoup d'autres biais, moins bien identifiés. Le simple fait d'observer perturbe le résultat, c'est ce que l'on appelle la décohérence.
non ?
Bon dimanche à tous Smile
Revenir en haut Aller en bas
Voir le profil de l'utilisateur
Pio2001



Nombre de messages : 1033
Date d'inscription : 04/02/2007

MessageSujet: Re: Pourquoi tant d'échecs aux tests ABX ?   Dim 7 Déc - 19:04

Non, pas du tout. La décohérence est un phénomène qui a lieu à l'échelle des particules élémentaires.
Il y a alors une limite à la précision simultanée de deux mesures (le produit de leurs dispersions est supérieur ou égal à la constante de Plank réduite).
C'est valable aussi à notre échelle, mais cela autorise tout de même une précision de l'ordre de la particule élémentaire avant d'entrer en jeu et d'empècher d'aller plus loin.
Revenir en haut Aller en bas
Voir le profil de l'utilisateur
grumfer



Nombre de messages : 47
Date d'inscription : 19/11/2008

MessageSujet: Re: Pourquoi tant d'échecs aux tests ABX ?   Lun 8 Déc - 0:52

Et voilà c'est déjà la fin de la théorie sur la décohérence quantique en HiFi Exclamation
Revenir en haut Aller en bas
Voir le profil de l'utilisateur
wald



Nombre de messages : 585
Age : 56
Localisation : Paris
Date d'inscription : 24/01/2008

MessageSujet: Re: Pourquoi tant d'échecs aux tests ABX ?   Dim 12 Avr - 12:24

Denis31 a écrit:
Salut wald,
wald a écrit:
J'attend la seconde session pour avancer sur ce point mais, sur l'observation, qui semble de bon sens, rappelée aussi par Alpacou : "est ce que, oui ou non, on entend une différence".l y a, avec ce début de retour d'expérience, une nuance de taille à apporter (et pas du même ordre, je vous l'assure, que les spéculations gratuites dont un exemple subiste un peu plus haut clown )

Je crois avoir compris ceci.

L'ABX ne constiste pas stricto sensu à dire si, oui ou non, on entend une différence entre A et B. Ca, c'est seulement ce qui se passe dans la phase non aveugle qui précède l'ABX.

Si on répond "oui", on passe alors en ABX, où il s'agit cette fois de reconnaître A ou B quand on écoute X, et non pas seulement de dire si on entend une différence entre eux. Et ce n'est pas la même chose. Concrètement, on écoute X et on dit "là c'est A", ou bien "là c'est B".

Il faut, pour celà, avoir préalablement identifié ce qui caractérise la différence entre A et B - une première difficulté, notamment si la différence est subtile -, afin de pouvoir reconnaître, pour simplifier, le son de A et le son B.

Je dis "pour simplifier" car il me semble plutôt qu'il s'agit plutôt de reconnaître une ou plusieurs caractéristiques spécifiques qu'on a prété à A ou B lors de l'écoute non aveugle, ce qui suppose un certain pouvoir d'analyse et une certaine mémoire et même, il suffit de lire Pio, de l'expérience et aussi un choix pointilleux des extraits écoutés en fonction de la différence qu'on aura identifiée.

Jusque là, tout bon.

Pour que le résultat soit valide, c'est à dire qu'il élimine le hasard, il faudrait je crois 12/12 réponses bonnes ou 14/15 (je me trompe peut être, mais c'est de toute façon l'ordre de grandeur).
Oui.
10/10=>1 réussite / 1000 due au hasard.
9/10=>5 réussites / 100 dues au hasard.


En clair, il ne faut pas se tromper.

Si on se trompe, il faut faire plus de tentatives:
19/30=>5 réussites / 100 dues au hasard: idem que 9/10 !


Pour rester sur l'observation initiale de Denis, et sur notre ABX de câbles il y a eu donc 5 tirages consécutif du même câble A.

Anecdote: Lors de la mise au point d'un soft ABX, j'ai obtenu 14 tirages identiques successifs. J'étais certain que le générateur aléatoire était naze, mais non après vérification attentive, il fonctionnait.
L'hypothèse la plus probable est néanmoins:
- soit une erreur de ma part lors de la vérif (sans modifier le programme j'ai continué jusqu'a 200 tirage et obtenu je crois 94 fois 0 et 106 fois 1);
- soit un état de "délire" que j'espère passager (constat d'un fait qui ne s'est en réalité pas produit - je n'en ai pas de trace;
- soit que je mente.
En tout état de cause JAMAIS je ne pourrais répondre la même chose 14 fois de suite lors d'un ABX. En dehors de ce cas extrême, 5 ou 6 tirages identiques consécutifs sont relativement courants, et c'est perturbant quand on ne s'y attend pas.

C'est aussi pour cela qu'en l'absence de tirage vraiement aléatoire (la séquence est déterminée par l'opérateur, selon ce qu'il "pense" être le hasard), la réussite est beaucoup plus facile, voire quasiment assurée si les résultats sont annoncés au fur et à mesure et le test fait en "simple aveugle"; ce qui amha explique nombre de CR de tests "presque" ABX réussis.


Quand on écoute X, et qu'on doit tenter de retrouver les caractéristiques prétées à A ou B, on est tout aussi soumis aux influences, ces influences dont nous estimons ici, justement, qu'elles ont une part importante dans l'autosuggestion qui fait entendre des différences là où il n'y en n'a probablement pas.

Autrement dit, et dans notre exemple, l'intuition fausse, mais redoutable, que, quand il y a plusieurs tirages consécutifs, il faut bien qu'il y ait une alternance au bout d'un moment entre A et B, peut à mon avis pour les mêmes raisons provoquer une erreur par autosuggesion. On entend une différence là où elle n'existe pas et on plante le test qui ne permet pas d'erreur. l'ABX sera immanquablement négatif.

Et celà m'embète bien, car l'écoute en ABX étant aussi soumise au jeu des influences (comme celle exercée par les autres participants par exemple) et qu'on aura seulement éliminé celle exercée par la connaissance de l'appareil testé, les exigences de validation (incontestables en probabilité je le reconnais) rendent un résultat positif peut être preque impossible à obtenir.

Et malheureusement dans un test "réel" impliquant une mise en place, un lieu, une organisation, switcher les appareils, etc. voila ce qui se passe:
Si les auditeurs découvrent le contexte et les appareils à distinguer en arrivant sur place, au mieux ils vont, après un court entrainement encourageant (genre 3/3), passer à la phase ABX. Mais cet entrainement n'aura pas suffit à mettre en évidence qu'en réalité, lors de l'ABX ils vont se planter une fois sur 4 ou 5, voir plus.
Si les résultats sont annoncés au fur et à mesure l'erreur et l'abandon sont garantis au bout de 4 ou 5 essais.
Il faudrait prolonger le test et faire 20 ou 30, 50 tentatives pour réussir un 25/30 par exemple.
Mais en pratique c'est impossible: trop long, et surtout, la fatigue et le stress aidant, le taux d'erreur augmente... ça ira de mal en pis.


Ce qui m'embète aussi, c'est qu'en dépit des précautions d'emploi (seul un ABX positif a une signification), nous avons tendance à donner une portée à un ABX négatif (il n'y a donc pas de différence entre A et B), que l'on généralise assez facilement (il n'y a donc jamais de différence entre tous les A et les tous les B). Mais si la chance de réussir un ABX malgré une différence réelle, est affaiblie par l'exigence d'un test quasiment sans erreur, nos conclusions passent de "hatives" à "totalement infondées".

L'ABX est un bon instrument pour des différences très significatives sans doute, mais peut être qu'il manque de précision pour des différences plus subtiles.

Je suis d'accord avec ça. Il faut des conditions drastiques pour avoir une chance de réussite: Un test collectif ne va amha servir qu'a affiner la compréhension des effets 'pervers' liés au stress et à l'effet de groupe, qui mènent à l'échec quasiment à coup sûr. C'est également passionnant, mais c'est autre chose.

tout cela n'empêche pas que dans la plupart des cas les différences attendues ne sont très probablement pas audibles; comme entre deux amplis suffisamment proches aux mesures, par exemple, ou deux lecteurs CD. D'un point de vue "désespéré", il est donc à peu près vain de faire ce genre de test, l'échec certain ne faisant que discréditer la méthode !

Bon, on peut compléter à partir d'une expérimentation de plus, et celle là me semble plus satisfaisante que Kangourous 1, là : http://www.homecinema-fr.com/forum/viewtopic.php?f=1034&t=29909959&p=172701352#p172701352

En bref :

1. Méthodologie cette fois à mon avis sans problèmes majeurs sauf, on va y venir, l'égalisation des niveaux.


2. ABX positif de Syber entre un préampli Cirus et un ampli AV Sherwood qui, on l'a vu ensuite, présente à la mesure des anomalies.


3. Comparatif négatif (pas d'ABX en conséquence) entre préamps Cirus et Atoll.

Ohl (jlo) s'interroge sur le coté bonne franquette de l'écoute et le risque (en général, pas sur cet exemple en particulier) de ne pas identifier de différences fines.


4. Deux ABX positifs consécutifs de mézigue entre Cirus et Préamp HDG Sony datant de 20 ans (préamp genre "usine à gaz" numérique/analogique).

Doublé sur bruit rose et ensuite sur signal musical.

La mesure montre de faibles variations du Sony : une bosse de 0,2 db (!) à 350 Hz et des harmoniques de moindre (!) ampleur.

Si c'est ça que j'ai identifié, alors c'est que nous sommes sensibles à d'infimes variations et j'en reste sur le cul. Je suis dubitatif pour être franc.


5. Cquest a raté l'ABX sur la même comparaison (8/15, le "pire" résulat). Pourquoi ?

Il a semblé plus sensible que moi au bruits/discussions ambiants et son choix musical était peut être moins discriminant, quoiqu'il ait aussi tenté le m^me morceau que moi. Je crois aussi qu'il était un peu plus stressé.

Je connais en revanche ma faculté, dans les pires circonstances, à me concentrer sur l'objectif. J'estime en outre avoir bénéficié de bonnes conditions d'écoute. j'ai interrompu les deux tests au 2/3 pour connaître le résultat intermédiaire. Comme il état bon, ça m'a mis en confiance. Je n'ai plus fait d'erreur ensuite à chaque fois.

Cela montre, pour moi, que l'ABX de différences fines reste assez délicat quand m^me et qu'il faut être attentif à ne pas conclure trop vite sur des ABX négatifs.

A suivre.
Revenir en haut Aller en bas
Voir le profil de l'utilisateur
Pio2001



Nombre de messages : 1033
Date d'inscription : 04/02/2007

MessageSujet: Re: Pourquoi tant d'échecs aux tests ABX ?   Dim 12 Avr - 12:44

wald a écrit:
5. Cquest a raté l'ABX sur la même comparaison (8/15, le "pire" résulat). Pourquoi ?

Serait-ce dû au manque d'expérience ? Un papier de l'AES indiquait qu'on s'habituait généralement à l'ABX en quatre séances. Tu es donc devenu un expert Wink
Revenir en haut Aller en bas
Voir le profil de l'utilisateur
Contenu sponsorisé




MessageSujet: Re: Pourquoi tant d'échecs aux tests ABX ?   Aujourd'hui à 17:34

Revenir en haut Aller en bas
 
Pourquoi tant d'échecs aux tests ABX ?
Voir le sujet précédent Voir le sujet suivant Revenir en haut 
Page 5 sur 6Aller à la page : Précédent  1, 2, 3, 4, 5, 6  Suivant
 Sujets similaires
-
» Pourquoi tant d'échecs aux tests ABX ?
» POURQUOI TANT DE HAINE ?
» Pourquoi tant de haine...!?!???
» Hetalia la conspiration. Pourquoi tant de haine ?
» Coup de gueule pourquoi tant de gens malhonnêtes

Permission de ce forum:Vous ne pouvez pas répondre aux sujets dans ce forum
L'audiophilie des gens heureux :: 1ère catégorie :: Tests ABX-
Sauter vers: