Saturday, August 2, 2014

Measuring speakers, a first apporach

I hope there are some readers out there who appreciate my work of doing speaker reviews and comparisons. I am not really sure, because the comment sections remain mostly silent, therefore it is not easy for me to judge if I should evolve my reviews even further, or if it would be just wasted effort.

Experiencing "sound" is mostly a matter of subjective and personal taste. Describing sound to someone else is even harder, espcially for me being a non-native speaker.
Therefore I introduced my first comparison videos 1 year ago, which were still very clumsy and not recorded that well. But I continued to improve the recordings as well as optimize my whole recording setup. My idea was that two or more speakers could be compared pretty well to each other by just listening to them, without having to write a single word. When hearing two speakers on your own and noticing the change in sound when one switches over to the next one, this would be the most objective sound comparison I can provide. Of course everyone listens with different speakers, or different headphones, so everyone will be hearing something else, but the relative difference between two speakers will always remain the same. I also doubt that my recording microphone is as linear calibrated as it is claimed to be, thus there will always be some deviation from the pure original sound already starting with the microphone. But as long as both speakers are recorded in the same way, with the same microphone etc. they should still be comparable pretty well.

Meanwhile I think to have managed a kind of standardized setup, where I can record various speakers successively without even having them at hand at the same time. I have my recording room that you can see in the image below, which always remains the same. It is a small room we use as a garderobe which is acoustically quite dampened compared to normally furnished rooms. It is still not comparable to a real anechoic chamber, but all speakers sound considerably more "pure" in this room, that's why I chose it for my recordings and for all further measuerments.

I usually have a fixed distance to the recorded speaker and I have my fixed volume levels which I derived from the Soundlink Mini and continue using them. So I could even build up a data-base with all the recorded speakers so far, so everyone could switch "live" between different models for their liking. Unfortunately I have too little experience, how to achieve something like that, I am not a programmer, so I won't be able to manage something like that.
Recently I discovered Sonic Sense Pro Audio, doing something very similar, but in a much more sophisticated and professional way with the only difference that they are comparing professional recording equipment, studio monitors and headphones instead of cheap portable speakers.
But I found their headphone recordings particularly interesting, where you are given the chance of listening to various different headphone models and comparing them to the original source tracks, you must have a listen! I wonder which you think sounds closest to the original source!

Of course I cannot afford any of the recording equipment Sonic Sense uses, nor do I have the time to perform such complex tests, but I would like to add some more data to my reviews which might somehow prove what I am hearing and why this or that speaker sounds that way and not the other.

Some time ago I ordered a cheap Dayton iMM-6 calibrated measuring microphone for mobile phones or tablets to fool around with it a little bit. There are lots of different audio-apps for iOS which provide FFT spectrum analysis. Some are really expensive, so I settled for "Audio Tools" from Studio Six Digital as it seemed to be the only one which could also read the calibration-file of my microphone.
But now all problems began. How should I measure a speaker? Is pink noise precise enough, or should I use a sine-sweep instead? Which distance should I choose to the speaker? Which room? The simple iOS apps don't provide any gated measuring, which is more or less standard on most desktop-programs like REW etc and allows a quasi-anechoic measurement with any room-influence being eliminated. But I wanted to keep things as simple as possible, just attaching the microphone to my iPhone and having a mobile measuring tool.

As the iMM-6 microphone has a headphone pass-through I was able to hear what the microphone was actually measuring. I noticed that when playing pink noise through a speaker and moving it slightly to the left or right or turning it, the resulting sound changed considerably. I already noticed the same with my audio recordings. A perfectly centered perpendicular positioning of the microphone gave worse results than rather setting it up slightly offset with the speaker turned away a little bit, which usually gave the clearest sound with most portable speakers that suffer from a rather directional sound. It might also be interference of both drivers resulting in comb-filter effects, when the microphone is setup exactly within the center of both drivers.

Then I tried to elaborate a typcial measuring procedure. I should probably measure a speaker from various fixed angles, I also thought that a speaker with dynamic sound adjustment should be measured at different volume levels in order to show how the overall sound changes with the actual volume.
I tried to demonstrate this with the a quick measurement of the Bose Soundlink Mini when it was playing at 30%, 50%, 75% and 100% volume. You can clearly see that from 75% upwards the lowest frequencies are already reduced considerably resulting in a more compressed frequency response. At 30% and 50% you see an obvious bass-boost as well as a lower-treble boost above 2kHz and a strong treble roll-off starting at 12kHz which probably is the reason why the Soundlink Mini has the tendency to sound muffled.

This measurement is smoothed with 1 octave, unsmoothed the curves show much more humps and notches, which  are probably the result of early room-reflections interfering with the original measured signal.

To minimize room effects I even tried performing some outdoor measurements. During night it is mostly silent, so I set up my "portable measuring studio" in the garden and tried the same measurements outdoors to have a direct comparison with the indoor measurements.

Unfortunately also the outdoor measurements showed lots of interference, probably due to the nearby house and the ground. You would obviously need a much larger open space and a higher distance above the ground to really get quasi anechoic results. Both measurements look as if they could be a completely different speaker, in this case the Sony SRS-X3 was measured from the same 50cm distance with the same fixed level of 70dB:

All this made me finally order another calibrated USB-microphone, so that I am currently trying to manage some better measurements with my notebook and REW to see if the results are really more significant than what I got from my first quick and dirty approach.
A first measuring test with the miniDSP UMIK-1 microphone and REW of the Bose Soundlink Mini at various distances in my usual recording room shows how much the results change depending on distance from the speaker. At 1 meter there are already too much room reflections to be regarded as representative.

I also tried some further measurements in our living room, here is the result for 100cm distance, compared to the 100cm measurement from our garderobe and as you can see due to stronger reflections the living room measurement has considerably stronger bass:

If I manage a reliable measuring-workflow I would like to measure every speaker I currently have at home as well as every new speaker that I will review in future to be able to provide additional frequency response data, which will hopefully be able to add some objective insights into the real frequency response of a given speaker. You can already find my review of the Mini Jambox here, where I tried to add lots of frequency measurements and comparisons.

There are some other ressources which also provide speaker measuring data. I highly regard Brent Butterworth as professional speaker-tester, here you can see his measurement of the Beats Pill XL at various angles:
Compared to my outdoor measurement at 60dB and 70dB with the Dayton iMM6 microphone (unsmoothed):

And here my indoor measurement with the new miniDSP UMIK-1 (smoothed with 1/48 octave):

Also lesnumeriques has already measured lots of different portable speakers, here their measurement of the Pill XL:

On the other hand I am not really sure what they are actually measuering. Here you can see their measurement of the Bose Soundlink Mini, which looks so much different to what I am getting:

It seems to be quite an effort to complete a whole measurement for one single speaker including setup, measurment from all angles, with different volume levels, and maybe even with different sound modes. So keep your fingers crossed that all this won't get out of my hands quickly and stay tuned for some speaker measurements in future!


  1. Hallo,

    ich hatte mich schon kurz in den Kommentaren Deiner letzten Amazon-Rezension gemeldet und nutze jetzt einfach mal das Konto meiner Frau um Dir hier zu schreiben.

    Wenn ich das richtig verstanden habe hegst Du Zweifel ob Du mit Deinem Blog überhaupt eine interessierte Leserschaft erreichst.

    Eigentlich bin ich eher nur der Leser, was Meinungsäußerung in irgendwelchen Foren, Blogs o.ä. angeht bin ich recht zurückhaltend. Damit es hier in den Kommentaren aber nicht weiter so still bleibt möchte ich in diesem Fall eine Ausnahme machen, da ich es sehr schade fände wenn Du Deine -meiner Meinung nach- äußerst lobenswerten Bemühungen einstellen würdest.

    Auf Deinen Blog bin ich schätzungsweise vor einem Jahr aufmerksam geworden als ich auf der Suche nach einem portablen Lautsprecher war. Entschieden habe ich mich übrigens nach einigem hin und her für einen den Du meines Wissens nach noch nicht getestet hast, den Minirig.

    Deine vergleichende Herangehenweise anhand von Audio-Videos finde ich ausgezeichnet, zumal diese Art nicht weit verbreitet zu sein scheint. Selbst Deine Anfänge, die Du als etwas unbeholfen beschreibst, empfand ich schon als sehr hilfreich, da wie Du sagst zwar nie 100% klangauthentisch, jedoch wunderbar nachvollziehbar die essentiellen Unterschiede der Lautsprecher hörbar gemacht werden. Ich frage mich wirklich warum das nicht viel öfter gemacht wird, da mit solch einem Video die Dinge sehr schnell und vor allem objektiv auf den Punkt gebracht werden wo man sonst Seitenweise beschreiben kann ohne sicher zu sein, dass der Leser tatsächlich verstanden hat was genau gemeint ist. Ich schätze ein Grund dafür wird sein, dass der Versuchsaufbau samt Nacharbeitung sicher sehr viel mehr Arbeit macht als bloßes beschreiben.

    Abgesehen von den Audio-Vergleichen per Video finde ich aber auch Deine sonstigen Beschreibungen, Analysen, Kritiken gut lesbar, nachvollziehbar, interessant und gelungen.

    Was Deine Leserschaft angeht, bei Netzrecherchen Testberichte betreffend begegnet man Dir ja z.B. auch auf Amazon. Spätestens an den vielen positiven Reaktionen dort ist für mich erkennbar, dass Deine Mühen nicht umsonst sind, dass gute, nachvollziehbare Testberichte für viele von großem Interesse sind, gerade im wachsenden Bereich der Funklautsprecher. Ich glaube Dein Blog, samt der Videos etc., ist für Leute wie mich, die es noch etwas genauer wissen möchten bzw. einfach Interesse an der Materie haben, eine wirklich tolle Ergänzung.

    Abgehört werden Deine Video-Vergleiche bei mir übrigens meist mit Nubert nuPro A-10 angeschlossen per USB an einen iMac. Da kommt das ganze gut zur Geltung.

    Intensiver beschäftigt habe ich ich mich gerade mit Airplay-Lautsprechern. Ziel ist die Beschallung der Wohnung komplett über Airplay. Im Schlafzimmer übernimmt das eine nuPro A-10 (Mono-Betrieb) angeschlossen an die Airport Express Basisstation, als Wohnzimmer-Lösung habe ich mich jetzt für die Canton Musicbox Air 3 entschieden. Ein großartiges Teil! Was ich noch suche, ich wäre da auch für Tips und Anregungen offen, ist ein portabler Airplay-Lautsprecher. Der soll die meiste Zeit in der Küche verbringen (am Netz), aber auch mal ins Bad oder in den Garten wandern können (Akku-Betrieb). Im Auge hatte ich da z.B. den Sony SRS-X7. Was sagst Du?

    Genug geschwafelt, also:
    Chapeau! vor der Arbeit die Du in diesen Blog steckst! Ich für meinen Fall würde und werde das gern weiter verfolgen und habe meiner Begeisterung hoffentlich adäquat Ausdruck verleihen können.

    Besten Gruß,

    1. Hallo Jens, sorry für die verspätete Antwort. Der SRS-X7 soll ganz gut klingen, vielleicht etwas übertrieben im Bass, lässt sich jedoch mit der App noch angleichen, EQ ist vorhanden und sonst noch ein paar Einstellungen. Von Akku verliert er halt sehr an Kraft und spielt dann sehr angestrengt wenn man etwas lauter drehen will und schafft nicht mal die halbe Lautstärke. Im Grunde hat mir der X5 klanglich mehr zugesagt, aber der hat halt kein Airplay.
      Portabel mit Airplay gibts nicht so viel, Airplay ist auch nicht gerade das beste für unterwegs, da es auch mehr als doppelt so viel Strom zieht als Bluetooth. Ansonsten würde mir der Libratone Zipp einfallen, fand den klanglich jedoch etwas hohl, viele stehen aber total drauf. Natürlich das Topteil schlechthin der B&O Beolit 12, ist ja auch preislich zuletzt stark gefallen. Sehr kraftvoll (laut Angaben 130W) aber für meinen Geschmack etwas dumpf und auch schon ziemlicher Brocken.

    2. Danke für Deine Tips.
      Der SRS-X7 wäre spez. für meinen Fall demnach ganz gut geeignet. In der Küche sowieso immer am Netz, im winzigen Bad per Akku muss das Teil nicht laut.
      Den Bose Soundtouch portable hatte ich zuletzt noch oben auf der Liste.
      Die für eine Nutzung zwingend erforderliche Übermittlung von privaten Daten an Bose ist für mich allerdings leider ein absolutes No-Go.
      Verstehe auch nicht den Sinn und Nutzen dieser Vorgehensweise (für mich als Käufer ;-)
      Ansonsten würde das Gerät sicher genau meinen Anforderungen entsprechen.
      Beste Grüße

    3. Der Soundtouch kann aber kein Airplay, sondern nutzt nur Bose's proprietäre Streamingtechnologie, außerdem klingt er mäßig, in etwa wie der ganz erste Soundlink, dumpf und ohne Details.
      Es gäbe da noch den Bose Soundlink Air, wie der klingt kannst du in diesem Video hören an zweiter Stelle, klingt sehr ähnlich dem Soundlink Wireless Music System, das ich habe, nur halt eben mit Airplay statt Bluetooth:

    4. In der Bedienungsanleitung des Soundtouch portable ist unter "Systemfunktionen" zu lesen: "Streamen Sie Ihre Musik über Airplay für Ihre Apple-Geräte", und auf der Produktseite z.B. "...empfehlen wir die Nutzung von AirPlay, das von unserem SoundTouch™ System unterstützt wird".
      Daher wähnte ich das Teil könnte Airplay?

      Damit der Bose Soundlink Air netzunabhängig spielt müsste noch ein/der Akku dazu gekauft werden, richtig? Dadurch ist er dann auch wieder in ähnlichen Preisregionen angesiedelt wie z.B. der Libratone Zipp. Rein preislich gesehen wäre mir der Sony da am nächsten, ich wollte für die Küchenlösung nicht so viel investieren. Der Soundtouch portable liegt irgendwo dazwischen. Mal schauen, bin da noch nicht am Ende mit der Meinungsfindung...

      Beste Grüße

  2. This comment has been removed by the author.

  3. Es hat gerade meine Vorschau gelöscht! Möchte Die aber auch unbedingt ein Feedback dalassen. Habe mir aufgrund deiner reviews auf den soundlink 3 geholt. Hab ihn jetzt seit einer Woche! Das review schauen macht damit gleich mehr Spaß!
    Aufmerksam geworden bin ich auf deine Seite als ich oluv und soundlink 3 gegoogelt hab, weil ich dein review auf amazon suchte! Xd.
    Habe übrigens erst den Artikel in deutsch über den soundlink 3 gelesen, da hatte ich ihn schon, und lese jetzt englische reviews um mein englisch zu verbessern oder zumindest nicht zu verlernen! Dein Wortschatz ist wirklich gut! Außerdem interessiert nich die Thematik!


  4. Hey O.,

    auch ich möchte dir weiterhin Mut zusprechen und sagen, dass ich immer fleißig weiter lese, schaue und höre, was du so für tolle Tests machst und wie du die verschiedenen Speaker einordnest!!!
    Also, weiter so, mir versüßt das viele Feierabende!
    Btw: ich habe nun erstmal den Philips SB 5200 gekauft (sogar zweimal), da der in einem Elektroladen für 44 Euro im Angebot war - sonst nehmen sie dafür 99 Euro(!!!), ganz ordentlich klang und in Reihe koppelbar ist.
    Ich bin aber noch immer höchst interessiert am Sony X3 und deinen Roars :-P

    Grüße und bis bald, C.

  5. Hi.
    I thought I'd tell you that I love your speaker reviews and comparisons. The side by side comparisons are really useful as you can really hear the difference, and unlike other youtube clips I've seen the recordings are good enough and consistent enough to allow meaningful comparisons to be made.
    Although the sound is what ultimately matters, as someone with a technical background I also appreciate the graphs in recent reviews and understand the difficulties with this.
    Keep up the good work!