Pererabotiika. General.

Система сортування сміття засобами віддалено керованих пристроїв з використанням систем машинного зору. Сміттєзвалища є величезною проблемою як для великих, так і маленьких міст на всіх континентах. Проблема не лише в наявності звалищ, а й в тому, що охочих розгребти їх надто мало. В Україні, більшість співробітників звалищ не мають достатнього соціального захисту і проживають в антисанітарних умовах, часто працюють неофіційно, що не сприяє економічному росту. І хоча у світі все активніше з’являються підприємства з перероблювання, часто таке перероблювання не є дійсно екологічним. Ми плануємо впроваджувати систему поступово. Спочатку перші прототипи запускатимуться на базі одного з місцевих звалищ в Київській області.

Уявімо павука, тільки зробленого з легких та міцних матеріалів. Використовуючи технології керування пристроями ArduPilot і протокол MavLink на 32-бітних контролерах можна керувати чотириногим або шестиногим пристроєм, обладнаним камерами, маніпуляторами й подрібнювачем з транспортною гнучкою трубою. Лапи павука даватимуть змогу такому пристрою переміщатись нерівною територією звалища. Залежно від конфігурації з чотирма чи шістьма ногами можна діставати до важкодоступних, а часто і небезпечних для людини місць маневруючи територією за допомогою керування сервоприводами. Розміри павука можуть бути різними, залежно від того, на якому типі території він має працювати. Часто звалища утворюються серед дерев і кущів, тому будуть павуки меншого й більшого розмірів.

До тіла павука під'єднані маніпулятори, які додатково обладнані світловими й звуковими датчиками. Маніпулятори зроблені таким чином, щоб можна було захоплювати сміття і класти його у подрібнювач на тілі павука. Позаяк сміття багато різних типів то і подрібнювачі можуть бути різних типів для уникнення зупинки процесу у випадку потрапляння не того типу сміття. Іншими словами формується місія для відбору лише ПЕТ пляшок, потім збиратимемо картон, далі тетрапак, поліетилен, і так далі. Для деяких типів сміття, наприклад батарейок, або електроніки чи частин побутової техніки, приймач не буде обладнаний подрібнювачем, а лише прийматиме і транспортуватиме отриманий матеріал. Це можна організувати позмінним графіком з попереднім плануванням місій на основі даних розвідки і попереднього аналізу. Окрім того, тіло павука обладнане камерами на спеціальних рухомих штативах. Ці камери підключені до бортового комп'ютера, який засобами нейронного процесора (NPU) і програмованої моделі аналізуватиме видиму частину звалища, розрізняючи об'єкти та класифікуючи їх. На основі розпізнаних об'єктів будуватиметься алгоритм руху маніпуляторів для забезпечення процесу сортування. Труба приймача під'єднана до спеціального вакуумного всмоктувача, який затягуватиме отриманий матеріал на спеціальний сортувальний блок поза межами павука, де на основі отриманих від аналізатора даних про тип матеріалу підставлятиме відповідний контейнер. Для більш правильної класифікації отриманих об'єктів використовуватимуться додаткові сенсори на маніпуляторах, які за допомогою світлових, електромагнітних і звукових хвиль даватимуть додаткову інформацію про тип сміття. Наприклад у пластику і поліетилену різні звукові хвилі, а тетрапак містить алюміній і таке інше. Керування павуком і загалом процесом забезпечуватиметься співробітниками звалища. У сферу їх відповідальності входитиме розвідка території, планування місій і графіків збирання того чи іншого типу сміття, контроль процесу, допомога у класифікації.

Цікавим є той факт, що на початку роботи системи, оператори будуть інтенсивно навчати модель на реальних звалищах. Навчившись на одному звалищі, модель можна буде використовувати й на інших. Бортові комп'ютери будуть під'єднані до комп'ютерів операторів, які своєю чергою будуть об'єднані в мережу з серверами для обміну даними моделей, що значно прискорить процес навчання на етапі запуску, а також сприятиме покращенню ефективності роботи системи в процесі всього життєвого циклу. Побудова системи можлива на сучасних ARM системах, які мають вбудований прискорювач нейронних обчислень. Ми перевірили, що самий доступний і дешевий процесор з таким модулем може класифікувати значну кількість різних об'єктів зі швидкістю від 5 до 15 кадрів на секунду. І у процесора є ще багато ресурсів для керування маніпуляторами й рухати кінцівками протоколом MavLink, який є дуже швидким і не потребує великих ресурсів на використання. Відмінним є те, що MavLink і Ardupilot технології з відкритим вихідним кодом, а значить ми зможемо розширити їх без необхідності самостійно винаходити всю систему. Плануємо використовувати більш потужні моделі процесорів, але навіть з базовими процесорами зможемо до кінця року запустити спрощену тестову версію. Використання ARM процесорів в комп’ютерах, дасть змогу працювати в умовах низького енергоспоживання, що також дуже важливо, через те, що енергосистема пошкоджена.

Цікавим є той факт, що на початку роботи системи, оператори будуть інтенсивно навчати модель на реальних звалищах. Навчившись на одному звалищі, модель можна буде використовувати й на інших. Бортові комп'ютери будуть під'єднані до комп'ютерів операторів, які своєю чергою будуть об'єднані в мережу з серверами для обміну даними моделей, що значно прискорить процес навчання на етапі запуску, а також сприятиме покращенню ефективності роботи системи в процесі всього життєвого циклу. Побудова системи можлива на сучасних ARM системах, які мають вбудований прискорювач нейронних обчислень. Ми перевірили, що самий доступний і дешевий процесор з таким модулем може класифікувати значну кількість різних об'єктів зі швидкістю від 5 до 15 кадрів на секунду. І у процесора є ще багато ресурсів для керування маніпуляторами й рухати кінцівками протоколом MavLink, який є дуже швидким і не потребує великих ресурсів на використання. Відмінним є те, що MavLink і Ardupilot технології з відкритим вихідним кодом, а значить ми зможемо розширити їх без необхідності самостійно винаходити всю систему. Плануємо використовувати більш потужні моделі процесорів, але навіть з базовими процесорами зможемо до кінця року запустити спрощену тестову версію. Використання ARM процесорів в комп’ютерах, дасть змогу працювати в умовах низького енергоспоживання, що також дуже важливо, через те, що енергосистема пошкоджена.

Подріблене й очищене сміття із суцільних матеріалів транспортуватиметься до спеціальних контейнерів, де надалі буде надсилатись до інших підприємств для повторного перероблювання й виготовлення нових товарів. Контейнерів буде багато 🙂

Загалом система будується таким чином, щоб спроваджувати рішення, які повинні бути ліцензованими виробникам апаратного забезпечення по всьому світу. Ми вже створили неприбуткову благодійну організацію, для роботи над стандартизацією і поширенням системи. Ліцензування відбуватиметься з умови участі в організації з членськими внесками і відкритим доступом до надбань стандартів для учасників спільноти.

Наразі ми зібрали базову операційну систему для пристроїв, наділили її засобами розробки й зневадження, зокрема і засобами візуально програмування. Перевірили кілька гіпотез, зокрема проаналізували можливості прискорювачів нейронних обчислень на комп’ютерах Odroid M1, який підтримує прискорювач Coral M.2 Accelerator with Dual Edge TPU, хоча сам прискорювач поки не тестували. Ми далі працюємо над розробкою специфікації, збираємо ресурси для запуску тестових пристроїв, помалу програмуємо ПЗ, розроблюємо просвітницькі ініціативи. Окремо працюємо над системою для створення умов гідного працевлаштування майбутніх операторів. Це вимагає також і розробки системи навчання і стажування.

Garbage sorting system using remotely controlled devices using machine vision systems. Landfills are a huge problem for both large and small cities on all continents. The problem is not only in the presence of landfills, but also in the fact that there are too few people willing to dig them up. In Ukraine, most landfill workers do not have sufficient social protection and live in unsanitary conditions, often working informally, which does not contribute to economic growth. And although recycling enterprises are increasingly appearing in the world, often such recycling is not truly ecological. We plan to implement the system gradually. Initially, the first prototypes will be launched on the basis of one of the local landfills in the Kyiv region.

Let's imagine a spider, only made of light and strong materials. Using ArduPilot device control technologies and the MavLink protocol on 32-bit controllers, you can control a four-legged or six-legged device equipped with cameras, manipulators and a shredder with a transportable flexible pipe. The spider's legs will allow such a device to move through the uneven territory of the landfill. Depending on the configuration, with four or six legs, it is possible to reach hard-to-reach, and often dangerous places for humans, by maneuvering the territory with the help of servo control. The dimensions of the spider can be different, depending on the type of area it has to work on. Often, dumps are formed among trees and bushes, so there will be spiders of smaller and larger sizes.

Manipulators are connected to the spider's body, which are additionally equipped with light and sound sensors. Manipulators are made in such a way that it is possible to grab garbage and put it in the shredder on the spider's body. Since there are many different types of garbage, shredders can be of different types to avoid stopping the process if the wrong type of garbage gets into it. In other words, a mission is being formed to select only PET bottles, then we will collect cardboard and paper, then tetrapak, polyethylene, and so on. For some types of waste, such as batteries, or electronics or parts of household appliances, the receiver will not be equipped with a shredder, but will only receive and transport the received material. This can be organized by a rotating schedule with preliminary planning of missions based on intelligence data and preliminary analysis. In addition, the spider's body is equipped with cameras on special movable tripods. These cameras are connected to the on-board computer, which will analyze the visible part of the landfill by means of a neural processor (NPU) and a programmable model, distinguishing objects and classifying them. Based on the recognized objects, an algorithm for the movement of the manipulators will be built to ensure the sorting process. The receiver pipe is connected to a special vacuum suction unit, which will pull the received material to a special sorting block outside the spider, where, based on the data received from the analyzer about the type of material, the appropriate container will be placed. For a more correct classification of the received objects, additional sensors on the manipulators will be used, which will provide additional information about the type of garbage with the help of light, electromagnetic and sound waves. For example, plastic and polyethylene have different sound waves, and a tetrapack contains aluminum and so on. Management of the spider and the overall process will be provided by landfill staff. Their responsibilities will include territory reconnaissance, planning missions and schedules for collecting one or another type of garbage, process control, and assistance in classification.

An interesting fact is that at the beginning of the system's operation, the operators will intensively train the model on real landfills. After learning at one landfill, the model can be used at others. The on-board computers will be connected to the operators' computers, which in turn will be networked with servers for exchanging model data, which will significantly speed up the learning process at the start-up stage, as well as contribute to improving the efficiency of the system throughout its life cycle cycle The construction of the system is possible on modern ARM systems, which have a built-in accelerator of neural calculations. We verified that the most available and cheapest processor with such a module can classify a significant number of different objects at a speed of 5 to 15 frames per second. And the processor still has a lot of resources to control the manipulators and move the limbs with the MavLink protocol, which is very fast and does not require a lot of resources to use. The great thing is that MavLink and Ardupilot are open source technologies, which means we can expand them without having to reinvent the whole system ourselves. We plan to use more powerful models of processors, but even with basic processors we will be able to launch a simplified test version by the end of the year. The use of ARM processors in computers will make it possible to work in conditions of low energy consumption, which is also very important, due to the fact that the power system is damaged.

Shredded and cleaned waste from solid materials will be transported to special containers, where they will be sent to other enterprises for reprocessing and manufacturing of new products. There will be many containers 🙂

Overall, the system is being built to implement solutions that must be licensed to hardware manufacturers around the world. We have already created a non-profit charitable organization to work on standardization and dissemination of the system. Licensing will take place on the condition of participation in the organization with membership fees and open access to the assets of the standards for community members.

So far, we have assembled a basic operating system for devices, endowed it with development and maintenance tools, including visual programming tools. Several hypotheses were tested, in particular, the capabilities of neural computing accelerators were analyzed on Odroid M1 computers, which supports the Coral M.2 Accelerator with Dual Edge TPU, although the accelerator itself has not yet been tested. We continue to work on the development of the specification, collect resources for the launch of test devices, gradually program the software, develop educational initiatives. Separately, we are working on a system to create decent employment conditions for future operators. This also requires the development of a training and internship system.