Makine Öğrenimi ile Kavanozda Etiket Kontrolü

HALCON’un Derin Öğrenme (Deep Learning) desteği de vardır. Ancak derin öğrenme çıkmadan önce ise zaten çeşitli öğrenme modülleri (svm, knn, mlp, cnn) ile makine öğrenmesi (machine learning) yapılıyordu ve bunları sıkça kullanıyorduk. Bu yazıda bir projeyi örnek olarak anlatacağım.

Türkiye’nin en büyük kavanoz üreticilerinden birinin, kavanoz üzerilerine yapıştırılan etiketlerinin kontrolü yapılmak istendi. Bu proje aslında tam Derin Öğrenme’nin kullanılacağı bir proje. Ancak üretim koşulları gereği bir üründen zaten 1000 – 10000 civarında yapılıyor ve başka ürüne geçiliyor. Yani üretim sayısı, zaten derin öğrenme için gereken OK ve RET numune sayısı kadar oluyor. Bu durumda daha az sayıda öğretim yapacağız. Derin öğrenme modülünün kullanım maliyetini de düşündüğümüzde, normal makine öğrenmesi yöntemleri ile yapmaya karar verdik.

Zorlukları:

  • Etiketler önde ve/veya arkada gözükecek şekilde, 1 ya da 2 adet gelebilir. Dolayısıyla 2 adet kamera gerekiyor.
  • Hareket halinde görüntü alınacak.
  • Saniyede 4 adete kadar kamera önünden geçebilir. 2 kamera için toplam kontrol süresi maksimum 250 ms olması gerekmekte.
  • Kavanozlar silindirik olduğu için aydınlatma çok önemli, kenarlar aydınlanmaz ise görmek zorlaşacaktır. Kavanozun büyüklüğüne ve şekline göre ışığı yansıtması da değişken olmaktadır.
  • Kavanozların ebatları değişken, dolayısıyla etiketlerin yerleri de.
  • Kavanozlar ve etiketler, düz-bombeli-yamuk şekilli-eğri olabilir.
  • Etiketlerin eni boyu yüksekliği de değişken olabilir.
  • Etiket ve kavanozun içindeki malzeme her renkte gelebilir.
  • Etiket üzerinde yazı, barkod olabilir ya da içindeki malzemenin resimleri olabilir.
  • Kavanozların içine karışık turşular (kornişon, lahana, havuç, biber, domates vs.), salça, zeytin, biber, patlıcan konulabiliyor. İçinde böyle karışık gelebilen malzemeler olduğu için, etiketin bulunması zorlaşabiliyor.

Aşağıda örnek bazı fotoğrafları görebilirsiniz.

kavanoz tursu

Bütün bu zorluklara rağmen HALCON ile başarılı bir şekilde makine öğrenmesi sağlanmaktadır.

Kullanıcıdan etiketli olan kavanozları koyup döndürürken birkaç fotoğraf çektirip bunları OK ürün olarak, etiketi olmayan kavanozları koyup bunları da RET ürün olarak kaydediyoruz. Bu öğrenimi SVM (Support Vector Machines) yöntemi ile yaptık.

Gelen ürünlerin görüntülerini alıp, hızlıca işleyip etiketin varlık yokluğuna bakabiliyoruz.

Sonuç olarak; birçok farklı kavanoz ve etiket örneğinde, doğru ve hızlıca çalışan bir proje oldu.

kavanoz-ok-ret

Robot Destekli Cam, Mozaik, Parke, Mermer, Fayans, Taş vb. yerleştirme Otomasyonu

Mavis, görüntü işleme ve robotik teknolojilerini bir araya getirerek elle yapılan pek çok işlemi otomatikleştirecek çözümler geliştirmektedir. Mozaik, cam, parke, mermer, taş vb. malzemelerin robot tarafından bulunduğu yerden alınması ve daha önceden belirlenmiş şekli oluşturacak şekilde belirlenmiş yere yerleştirilmesi işlemi, Mavis tarafından bu konuda geliştirilmiş uygulamalardan biridir. Mozaik döşeme uygulaması, kameralı kontrol ve yönlendirme yazılımı ve robot sisteminden meydana gelmiştir.

Sistemin Amacı

Sistemin amacı, Mozaik, mermer, karo, fayans, taş vb. parçaları yan yana getirmek veya bir desen oluşturacak şekilde birleştirmek amacıyla çalışan işletmeler için, işlemi elle gerçekleştirmek yerine robot destekli görüntü işleme tekniklerinden faydalanarak hızlı ve hatasız olarak yapmaktır. Aynı zamanda her bir parçanın kalite kontrolünden geçmesini sağlamaktır.

Sistem, gıda sektöründe çikolata, bisküvi gibi üretim yapılan yerlerde, ambalajlama kutulama uygun yere yerleştirme gibi alanlarda da uygulanabilmektedir. (Kameralı Yerleştirme / Robot Yerleştirme)

Sistemin Çalışma Yöntemi

Sistemin amacı, daha önceden bilgisayara öğretilmiş desenin, robot tarafından oluşturulmasıdır (örülmesidir). Bu amaca yönelik olarak, her bir parça (taş, mermer, mozaik, parke vb.) kamera tarafından görüntülenir. Parça kırık, hatalı, bozuk vb. durumda ise, hatalı parça olarak ayıklanır. Parça sağlam ise rengi, şekli, dokusu, boyutları ölçülerek hedef şekil üzerinde nereye yerleştirileceğine karar verilir. Parçanın halihazırdaki koordinatları ve hedef koordinatları robota bildirilir. Robot parçayı bulunduğu yerden alarak olması gerektiği yere yerleştirir. Sistem bu şekilde seri olarak devam eder.

Sistemin İşleyişi

Konveyör kullanılan sistemlerde, konveyör üzerindeki kamera, gelen parçayı tanır. Scara robota parçanın koordinat bilgilerini verir. Robot parçayı yakalar. İkinci kamera tanınan parçanın nereye konulacağını belirler. Robota hedef koordinatlarını iletir. Robot belirlenen noktaya parçayı koyar.

Konveyör kullanılmayan sistemlerde, robot bütünü oluşturacak her bir parçayı nereden alacağını bilir. Şekli oluşturması için kullanması gereken her bir parçayı, sırası geldikçe, daha önceden bildiği konumdan alarak kamera tarafından tesbit edilmiş ilgili noktaya koyar.

Genel Kontroller

  • X – Y – Z koordinat değerlerinin ölçülmesi.
  • Renk, doku, geometrik şekil (baklava dilimi, kare, daire vs.) ölçümü yapılması
  • online robot yönlendirme
  • Hatalı parçaların ayıklanması
  • Oluşan şeklin kalite kontrolünün yapılması
  • Kullanılan parça miktarı, oluşan ürün adedi gibi istatistiklerin tutulması

Opsiyonel Kontroller

  • Dalga biçimi v.b. serbest stil formlarda üretim
  • CAD datasının okunması ve buna göre üretim yapılması

Sistemin Getirileri

  • İnsan tarafından yapılamayacak kadar hızlı ve güvenli üretim imkanı
  • Kullanılan malzeme ve üretim sonuçlarının kaydedilmesi
  • Hatalı ürünlerin otomatik olarak ayırt edilmesi
  • kesintisiz ve hatasız robot destekli üretimi imkanı
  • Otomatik etiketleme

Mavis VYP Robot Destekli Yerleştirme Sistemi

Örnek Uygulamada, tuğlalar tanınarak daha önceden belirlenmiş şekilde dizilmeleri sağlanmıştır. Kalite kontrolü, pozisyon kontrolü ve robot yönlendirme kullanılmıştır.