MUSIC reading FOR MACHINES

“Dammit Jim, I’m a hacker, not a musician!”, to paraphrase McCoy Scotty from the original star trip series. Well, a few of us are likewise musicians, some, like me, are likewise hack-musicians, as well as some wouldn’t understand a whole note from a treble clef. however every now as well as then the music you want is in the type of sheet music as well as you requirement to convert that to something your hack can play. If you’re lucky, you can discover software application that will checked out the sheet music for you as well as spit out a MIDI or WAV file. Or, just like my hand-cranked music player, you may have to checked out just sufficient of the music yourself to convert musical notes to frequencies for something like a 555 timer chip. We’ll dive into both situations here.

If you can’t checked out music then you must still be able to get the gist of what we’re saying. however in situation you get confused, we’ve included a extremely quick introduction near the end of this article.

Optical music recognition (OMR)

MusicXML note example
You’ve most likely heard of OCR, Optical character recognition software, that converts words on paper to a digital form. Well there’s likewise music OCR, or a lot more exactly OMR, Optical music recognition software. You point a cam at a page of sheet music to catch an image, or provide the software application an picture data or a PDF consisting of the sheet music, as well as it converts that to music that you can hear at the press of a button, or save to a MIDI or WAV data for playback from elsewhere.

To try it out, I discovered a high high quality one called SharpEye 2.68 that had a 30-day, complimentary trial period. It’s able to save the music as a MIDI file, MusicXML, as well as in NIFF format. The snippet of MusicXML shown right here is of the musical note, A, as well as is a quarter note. As you’ll see, SharpEye does an excellent job, provided a clean, black as well as white image. It likewise supplies the needed editing tools to fix any recognition errors.

Greensleeves caught in sunlight as well as in SharpEye
For my very first test I took a picture in sunlight of the very first line from the tune Greensleeves. I then brought the picture into GIMP to ensure that I might convert it to a TIFF file, considering that SparpEye reads in only BMP as well as TIFF files. however I did no enhancing. I then opened the picture in SharpEye as well as told it to “Read image”. This is the optical music recognition step. The end result was just what you see in the snapshot here, flawless, as well as with only the appropriate music. In the snapshot I’ve clicked on one of the notes, the one that’s red, to show that this is editable music as well as not just a static image. Clicking on the play button played it flawlessly.

I saved it as a MIDI file. However, MIDI data specify exactly how to play the music, together with the notes, as well as do not consist of the audio itself. So I converted it to an audio track using Anvil Studio before saving the music to a WAV file, which you can listen to below. For any individual who wishes to do this in Anvil, at a minimum you can do data – open tune as well as data – Export Mixed Audio.

Audio Playerhttps://hackaday.com/wp-content/uploads/2017/05/greensleeves_sunlight.wav

00:00
00:00
00:00

Captured poor music as well as in SharpEye
These OMR programs requirement clean pictures or PDFs of the music in buy to recognize them well. For example, the example shown above has some shadowing on the left which made SharpEye not able to checked out that part. The image is likewise poorly focused, which triggered it to get a great deal wrong in the bottom section. The music with the yellow background is SharpEye showing exactly how it sees the music before doing the recognition.

The poor music after fixing
Like lots of OMR programs, SharpEye isn’t meant as a music notation tool. It doesn’t setting notes for you, or change their positions when you add a clef. However, it does provide you sufficient editing tools to right recognition errors, as well as that’s what I did to add back the area that was shadowed, in addition to add the notes it missed on the bottom. I likewise inserted the 3/4 time signatures, which weren’t in the original considering that it was an picture taken of the middle of a score. With those fixes, it seems just right.

Audio Playerhttps://hackaday.com/wp-content/uploads/2017/05/bad_music_fixed.wav

00:00
00:00
00:00

At this point you can save it as a MIDI data as well as then convert it to a WAV or MP3 as well as transfer that to your hack. Or, if you want to additionally refine the music, save it as a MusicXML data as well as tons it into your preferred music notation software, Sibelius for example, for additionally editing.

Experiments with picture Pre-Processing

I utilized a flatbed scanner to scan a full page of the song Scarborough fair — which this time around includes lyrics — to a PDF súbor. Vzhľadom k tomu, spoločnosť Shardeye nekontrolovala údaje PDF, ktoré som veľmi prvýkrát zabalila do GIMP, rovnako ako uložte ho ako súbor TIFF. Shardeye mal problémy čítanie, takže som sa vrátil k GIMP, uložil som ho ako vysokú vysokú kvalitu JPG namiesto toho, zabalené, že späť do GIMP, rovnako ako exportoval, že ako súbor TIFF. Z nejakého neznámeho dôvodu by sa spoločnosť Shardeye mohla skontrolovať.

Aj potom, rozpoznávanie fungovalo zle, chýbalo veľké kúsky hudby. Podozrenie som to bolo, pretože hudba bola šedá na bielom. Použil som nástroj na úrovni GIMP, aby som ho premenil na čiernu na bielom, ako aj uznanie fungovalo oveľa lepšie.

Scarborough Fair v Sharpeye
Pred vykonaním uznania som musel povedať spoločnosti Shardeye, že texty by sa mohli objaviť nad jamiek, ktoré vzhľadom na to, že štandardne ich hľadá nižšie. V snímke je pôvodný obraz hudba so žltým pozadím. Ako vidíte, boli v textoch nejaké chyby, ale text je upraviteľný. V snímke som si vybral “vyhrať” “, ktorý musí byť” Goin ‘”. Všimnite si tiež, že riadky potvrdenej hudby sú umiestnené horizontálne namiesto vertikálne, pretože objavíte na typickom hárku papiera, ako aj v pôvodnom obrázku. Výsledok sa však zdá byť v poriadku.

Audio prehrávačeHTTPS: //hackaday.com/wp-content/Uploads/2017/05/scarborgrough_fair_en.wav

00:00
00:00
00:00

Môžete objaviť zoznam iných optických programov na rozpoznávanie hudby na Wikipédii, SmartScore Byť ten, ktorý bol okolo najdlhšieho v jednom type iného, ​​počnúc v roku 1991. Rovnako je ostro Shardeye SDK, ktorý z zoznamu využíva niekoľko rôzne produkty. Tam sú dokonca aj aplikácie pre iPads, iPhones, ako aj telefóny Android, ktoré môžete objaviť ukážky na YouTube. Zdá sa, že vyhľadávanie “Music Scanner” sa objaví niekoľko skvelých, rovnako ako chudobných.

Konverzia poznámok k frekvenciám

Čo ak máte hárkovú hudbu pred vami, ako aj váš hack je ten, ktorý berie súkromné ​​poznámky, ako aj konvertuje každý priamo k vhodnému zvuku? WAV, ako aj údaje MP3 nebudú fungovať vzhľadom na to, že tie obsahujú už konvertovanú hudbu.

Hudobné note frekvencie, ako aj 555 časovač
Metóda, ktorá má urobiť, je naozaj základná. Každá hudobná poznámka má zodpovedajúcu frekvenciu. Pre preferovanú poznámku, vaše požiadavky na obvody cyklus iba reproduktor v frekvencii tejto poznámky. Rovnako ako základná metóda na dodávku, že frekvencia využíva 555 časovač obvodu v operačnom režime, ako je zobrazený. V okruhu je výstupná frekvencia priradená kondenzátorom C a rezistormi R1, ako aj R2. Môžete jasne vidieť, že závislosť odhlásením frekvenčného vzorca pre výstup 555 časovača.

Odolnosť pre hudobné poznámky, ako aj 555 okruh
Normálny spôsob manipulácie s týmto vzorcom je využitie pevnej hodnoty pre R2, ako aj potom pridať inú odolnosť voči nemu pre každú požadovanú frekvenciu, ako je znázornené na prispôsobenom okruhu. Pre teraz poďme vložiť variabilný rezistor RN. V diagrame môžete vidieť, že sme veľmi prvýkrát pridali RN do frekvenčného vzorca, ako aj to, že sme potom preskupili vzorec na opravu pre RN. Zapojte tento vzorec do tabuľky, ako aj môžete prísť s potrebnými hodnotami odporov pre preferované hudobné poznámky.

Hand Crankled 555 časovač hudobného prehrávača
Príkladom tohto obvodu, ktorý je používaný, je v tejto ruke cranked hudobný prehrávač. Hudobné poznámky sú zakódované ako otvory v slučke papiera. Prehráva sa nastavenie otvoru pozdĺž šírky papiera, ktorý z 13 možných poznámok sa hrá. Dĺžka otvoru ovláda dĺžku času poznámky.

555 Časovač Hudobného prehrávača
Obvodový diagram pre hudobný prehrávač zobrazuje presne rovnaký časový obvod 555 s RN nahradený 13 rôznymi odpormi, ktorých hodnoty sa vypočítali použitím vzorca pre RN. Avšak, iba jeden odpor je využívaný obvodom v akomkoľvek čase. Presne, ako sa to robí?

Každý z tých 13 rezistorov je spájkovaných jedným z 13 medených platní. Sedí na vrchole každej medenej dosky je medený drôt. Papier sa skĺzne medzi doskou, ako aj drôtom. Iba vtedy, keď je v papieri v papieri medzi káblom, ako aj doska robia elektrický kontakt. To prináša zodpovedajúci odpor do obvodu, ako aj 555 výstupu pravú frekvenciu pre preferovanú hudobnú poznámku. In the diagram we’re highlighting the electrical path if a hole is between D3’s cable as well as copper plate.

A extremely quick introduction To reading Music

Before we end this article, here’s the guaranteed very little introduction to reading sheet music, just sufficient to comprehend this article.

How to checked out music for piano
A basic method to begin is by checking out the secrets on a piano. Each key represents a musical note, denoted by a letter from A to G. You can always find C since it’s the white crucial to the left of any type of set of two black keys. There are only seven letters from A to G, however look carefully at the keyboARD, ako aj uvidíte, že vzor čiernych, ako aj bielych tajomstiev sa opakuje po každých sedem bielych kľúčov.

Na papieri, nazývanom hárkov, súčasná hudba pozoruhodnosť pozoruje zo skupín horizontálnych čiar s názvom Staves (singulárnym personál alebo stavebci). Značky predstavujú poznámky, ako aj kruhovú časť znaku je umiestnená buď na riadku alebo medzi dvoma riadkami. Vertikálne nastavenie znamenia na personálu vám povie, ktoré poznamenáva. Ktoré podpisuje vám presne, ako dlho drží poznámku.

Je tu však oveľa oveľa viac, ale teraz môžete skontrolovať dostatočnú hárkovú hudbu, aby ste sa s touto poštou skontroloval, ako aj aspoň zasiahli ideálne tajomstvo na klavíri. Toto odporúčanie sa javí ako slušný, ak chcete kopať hlbšie.

Endnote

Stretli sme sa s hárkovou hudbou niekoľkokrát tu na Habowaday. [Dino] urobil presne ten istý typ hudobno-note-frekvenčnej konverzie, ktorú sme zakryli, ale využili funkciu Tone Arduino (), aby ste ich hrali na reproduktor pre jeho Silvestrovu Tiny Sféra znižujú stroj. [Zulko] využil Python, ako aj Fourier Transformers na vytvorenie háršej hudby, keď si želal hrať, čo objavil kódovaný na perforované kotúč papiera.

A na tejto poznámke (groan), čo ste sa snažili? Museli ste ponúknuť s hárkovou hudbou v akomkoľvek type hackov? Zdieľajte ich s nami v poznámkach nižšie.