Így kell zongorázó robotot építeni házilag

Kollégánk különleges gépet alkotott, amit megtanított kottát olvasni és zongorázni.

Már többször bizonyítottuk, hogy kollégáink végtelen kreativitással rendelkeznek, ami óriási technikai tudással és leleményességgel párosul. Ezt leginkább a Hack Week rendezvényünkön mutathatják meg, amikor arra bátorítjuk őket, hogy a szokásos projektjeiket félrerakva érdekes újításokon dolgozzanak. Ilyenkor csak az az egy kikötésünk van, hogy a szabadon választott munka kapcsolódjon a nyílt forráskódhoz.

Így esett meg pár éve, hogy egyik mérnökünk sétáló robotkaméleont épített egy SUSE plüssfigurából. De hasonlóan izgalmas volt látni azt a gépezetet, amely matekfeladványokat képes megoldani, méghozzá papíron levezetve az egész folyamatot.

Ez utóbbi Lin Ma kollégánk találmánya volt, aki az idei Hack Week-en ismét különleges meglepetést mutatott be. Ezúttal egy kottát olvasó és zongorázó robotot épített.

A mesterséges intelligenciát használó szerkezet képes értelmezni és beolvasni a kottát, majd automatikusan „lefordítja”, és le tudja játszani egy hangszeren.

A rendszerben először egy neurális hálózat dolgozza fel a zenei szimbólumokat a képként megadott kottából, majd optikai zenefelismerő technológiát (Optical Music Recognition – OMR) alkalmazva beazonosítja a különféle zenei jelzéseket és hangjegyeket. Ezeket az adatokat aztán elmenti egy XML fájlba.

Ezekhez a lépésekhez a kollégánk egy HUAWEI TaiShan 2280 ARM szervert használt, amelyen a SUSE Linux Enterprise Server for Arm 15 SP1 fut.

Az utolsó lépéshez pedig egy Raspberry Pi 3 gépet üzemelt be, amelyen openSUSE Tumbleweed for AArch64 működik. Ez a rendszer a TCP hálózaton keresztül fogadja az XML fájlt, majd kiadja az utasítást a megfelelő karoknak, hogy nyomják le a megfelelő billentyűt.

Ha éppen ráér, és szeretne hasonló szerkezetet építeni, itt megtalálja Lin Ma részletesebb leírását a projektről.

Ha pedig mindössze pár percnyi kikapcsolódásra van ideje, akkor hozzon egy kávét, dőljön hátra, élvezze a Titanic zenéjét, és csodálja a gépezetet működés közben, ahogyan mi is tettük!