Makine Öğrenimi ile Kavanozda Etiket Kontrolü

HALCON’un Derin Öğrenme (Deep Learning) desteği de vardır. Ancak derin öğrenme çıkmadan önce ise zaten çeşitli öğrenme modülleri (svm, knn, mlp, cnn) ile makine öğrenmesi (machine learning) yapılıyordu ve bunları sıkça kullanıyorduk. Bu yazıda bir projeyi örnek olarak anlatacağım.

Türkiye’nin en büyük kavanoz üreticilerinden birinin, kavanoz üzerilerine yapıştırılan etiketlerinin kontrolü yapılmak istendi. Bu proje aslında tam Derin Öğrenme’nin kullanılacağı bir proje. Ancak üretim koşulları gereği bir üründen zaten 1000 – 10000 civarında yapılıyor ve başka ürüne geçiliyor. Yani üretim sayısı, zaten derin öğrenme için gereken OK ve RET numune sayısı kadar oluyor. Bu durumda daha az sayıda öğretim yapacağız. Derin öğrenme modülünün kullanım maliyetini de düşündüğümüzde, normal makine öğrenmesi yöntemleri ile yapmaya karar verdik.

Zorlukları:

  • Etiketler önde ve/veya arkada gözükecek şekilde, 1 ya da 2 adet gelebilir. Dolayısıyla 2 adet kamera gerekiyor.
  • Hareket halinde görüntü alınacak.
  • Saniyede 4 adete kadar kamera önünden geçebilir. 2 kamera için toplam kontrol süresi maksimum 250 ms olması gerekmekte.
  • Kavanozlar silindirik olduğu için aydınlatma çok önemli, kenarlar aydınlanmaz ise görmek zorlaşacaktır. Kavanozun büyüklüğüne ve şekline göre ışığı yansıtması da değişken olmaktadır.
  • Kavanozların ebatları değişken, dolayısıyla etiketlerin yerleri de.
  • Kavanozlar ve etiketler, düz-bombeli-yamuk şekilli-eğri olabilir.
  • Etiketlerin eni boyu yüksekliği de değişken olabilir.
  • Etiket ve kavanozun içindeki malzeme her renkte gelebilir.
  • Etiket üzerinde yazı, barkod olabilir ya da içindeki malzemenin resimleri olabilir.
  • Kavanozların içine karışık turşular (kornişon, lahana, havuç, biber, domates vs.), salça, zeytin, biber, patlıcan konulabiliyor. İçinde böyle karışık gelebilen malzemeler olduğu için, etiketin bulunması zorlaşabiliyor.

Aşağıda örnek bazı fotoğrafları görebilirsiniz.

kavanoz tursu

Bütün bu zorluklara rağmen HALCON ile başarılı bir şekilde makine öğrenmesi sağlanmaktadır.

Kullanıcıdan etiketli olan kavanozları koyup döndürürken birkaç fotoğraf çektirip bunları OK ürün olarak, etiketi olmayan kavanozları koyup bunları da RET ürün olarak kaydediyoruz. Bu öğrenimi SVM (Support Vector Machines) yöntemi ile yaptık.

Gelen ürünlerin görüntülerini alıp, hızlıca işleyip etiketin varlık yokluğuna bakabiliyoruz.

Sonuç olarak; birçok farklı kavanoz ve etiket örneğinde, doğru ve hızlıca çalışan bir proje oldu.

kavanoz-ok-ret

Etiket Eksik Yazı, Hiza ve Açı Kontrolü

Sistemimizi kurduğumuz yerlerden biri de, beyaz eşya sektöründeki ismi bilinen birçok büyük şirketlere etiket (label) sağlayan bir firma.

Arçelik, Beko, Gorenje, Liebherr, Hacep gibi markaların, buzdolabı, çamaşır makinesi, bulaşık makinesi gibi beyaz eşyalarının üzerine konulan etiketleri yapılıyor. Bu etiketlerin yapıştırılırken sorun olmaması için;

  • Doğru yönde ve açıda yani x ekseni 0(sıfır) açısında,
  • Doğru hizada yani sağdan-soldan-üstten belli bir mesafede,
  • Eksik yazısı, karakteri olmadan

üretilmesi ve bu firmalara gönderilmesi gerekmektedir.

Etiketlerin kontrolü eskiden tek tek, el ile ve bir taslak şablonun üzerine konularak,  manuel olarak yapılıyordu. Günde binlerce ürün üretilince bunların hepsinin kontrolü yapılmıyor, aralardan örneklemeli olarak ürün seçilip sadece onlara bakılıyordu. Artık 7-24 çalışan ve %100 esasına dayalı olarak bütün ürünlerde hassas şekilde kontrol sağlanıyor.

Bizden önce, bizim sektörde ismi bilinen başka bir görüntü işleme firmasıyla çalışılmış ve maalesef başarısız olmuşlar. Maalesef diyorum çünkü müşteri, bir firmayla başarısız olduğunda ister istemez bir önyargısı oluşuyor. Kontrolün çok zor olduğunu ya da bizim gibi firmaların hepsinin aynı olduğuna ve diğerlerinin de çözemeyeceklerine inanabiliyorlar. Bir yandan da eğer uçuk istekleri varsa (her şeyi görsün, her yerine baksın, aşırı hassas bulsun vb.) bunlardan vazgeçiyorlar (çalıştığımız firmada bu zaten yoktu tabiki, genel olarak yazıyorum), kameralı sistemlerin nasıl çalıştığına dair fikirleri oluşuyor, sisteme pozitif ve negatif etki eden faktörleri daha kolay anlıyorlar ve tecrübe ediniyorlar.

Kolay diye başlanan projelerin aslında ne sorunlar çıkarabileceğini sanırım iyi biliyoruz, bu yüzden genelde bütün projelere temkinli yaklaşırız. Farklı sektörlerde farklı isteklerde projelerim oldukça fazla olduğu için tecrübemiz de fazla. Oluşabilecek problemleri veya daha sonra istenebilecek şeyleri de önceden görüp konuşuruz. İleride gerekecek kısımları önceden programa kolayca ekleriz. Programı her firmaya özel olarak kendimiz geliştirdiğimiz için (tabiki genel işleri yapan çekirdek bir kısmı mevcut) bu tarz esnekliğimiz çok fazla. Arayüz tasarımında, veritabanı, ağ ve haberleşme tarafında, user-login sisteminde, ayarlar kısmında, raporlama isteklerinde karşılıklı konuşup, herkes tarafından kolayca kullanılabilen, müşterinin içine sinen bir program oluşturuyoruz.

Konumuza dönecek olursak; üretilen malzeme, konveyör üzerinden hızlıca geçerken hareket halinde görüntü alınır ve içerideki yazının açısı, tabakanın açısı ile aynı mı, üzerinde eksik karakter var mı, hizalamalar doğru mu diye kontrol edilir. Ürünler şu şekilde:

etiket label kontrol

Burada, şeffaf tabakanın açısı ile yazının açı farkı 0.5 derecenin altında olmalı. Beyaz kağıt üretim aşamasında önemli olmadığı için eksik, yırtık, açısı farklı, sağdan soldan üstten alttan kesildiği yerler farklı, şekli değişik gelebiliyor. Dolayısıyla beyaz kağıdın önündeki yazıyı bulmak da kolaydır diye düşünmeyin. Üstelik ışık yansıtma farklılığı tabakaların kalınlığından dolayı değişkenlik gösterebiliyor, arka plan her zaman düzgün siyah olarak gelmiyor, parazit yaratabilecek tozlar çizikler olabilir. Ayrıca ürünler hızlıca konveyörden geçiyor ve saniyede birkaç ürün geçebilir. Bununla birlikte şeffaf yerleri de olan ürünün kameranın önüne geldiğini şaşmaz şekilde bilmek de gerekiyor.

Yazılım ayrıca ileriki zamanda üretilebilecek markaları da kontrol edecek şekilde, öğretim yöntemleri ile çalışmaktadır. Yani yeni model tanıtıp, istediğiniz toleransları girip, ürünlerinizi kontrol etmeye başlayabiliyor.

etiket kontrol-3etiket kontrol-2

Hızlıca kurulumunu yaptığımız bu sistemde, saniyede 2-3 etiket kontrolü yapılmakta.

Bu yazılımımızda da yine raporlama modülümüz mevcuttur. Günlük, saatlik, üretilen modellere göre, ok-ret durumu, her bir kontrolün detayı, toplam sonucu ve sayısı raporlamada alınabiliyor.

Ayrıca bu ana firmalarda, beyaz eşyanın üzerine etiketin doğruca yapıştırıldığının kontrolü de manuel olarak hizalanarak yapılıyor. Operatör tarafından doğru açıda konulduğunu otomasyonel olarak kontrol ettirmek istiyorlar. Bununla ilgili çalışmalarımız da devam ediyor.

Klima Klepeleri Kontrol Sistemi

Dünyanın önde gelen otomotiv parça ve bileşen üreticilerinden Denso için Klima klepelerinin konumunu kontrol eden bir sistem geliştirdik. Klimalar, montajı yapıldıktan sonra fikstür üzerine konularak yaklaşık 35 saniyelik bir teste bırakılıyor. Test aşamasında klimanın içine hava üfleniyor ve klimanın klepeleri belirli zamanlarda açılıp kapanıyor. Sistemimiz test sürecini izleyerek klepelerin sorunsuzca açık ve kapalı konuma gelip gelmediğini tespit edip sisteme OK veya RET sinyalleri gönderiyor.

M1

2 farklı modelde 12 ayrı klepenin kontrolü yapılıyor. Bunun için 8 kamera ve aydınlatma kullanılıyor. Her klape için açık ve kapalı bulunduğu zaman dilimlerinde görüntüler alınıp işlenerek klepenin açık veya kapalı olduğu tespit ediliyor. Eğer klepeler kapalı olması gerektiği anda kapanmamışsa veya açık olması gerektiği anda açılmamışsa sistemimiz entegre olduğu PLC sisteme hata sinyali gönderiyor ve üretim hattı duruyor. Hatalı klima fikstürden alındıktan sonra sistemimize gönderilen sinyalle birlikte üretim süreci devam ediyor. Test sürecini VYP yazılımımız üzerinden anlık olarak takip etmek mümkün. Hangi klepede hata olduğu, hangi klepelerin sorunsuzca açılıp kapandığı VYP üzerinden izlenebiliyor.

Screenshot (3)

 

Jant Tanıma ve Doğrulama Sistemi

Birçok araç firmasına jant üretimi de yapan FARPLAS, jantların paketlenmesi aşamasında bir karışıklık olmaması için kameralı kontrol sisteminde bizimle çalıştı.

Jantlar üretimden ve boyahaneden çıkıp son kontrolleri kameralı sistem ile yapılıp paketleniyor.

  • Jantların altlı-üstlü çift olarak ya da tek olarak geçtiğinde,
  • Boyunun ölçüm kontrolleri, (inç olarak)
  • Logoların doğru logo olup olmadığı, (Renault-Fiat-Hyundai-Dodge vs.)
  • Bijon delik sayılarının doğruluğu, (4-5 ya da hiç)

kontrolleri yapılıyor.

Konveyörden geçerken linescan mod ile alttan ve üstten bakacak şekilde 2 kamerayı paralel çalıştırarak aynı anda jantların görüntülerini çekiyoruz.

Daha sonra yukarıdaki kontrolleri yapıp, sonuçlar doğru ise paketlenmeye gidiyor. Beklenmeyen bir ürün ise, jantı piston ret sistemi ile otomatik olarak ret kabinine taşıyor.

Böylece müşteriye doğru ürünler karışmadan gidiyor.

farplas-jant1

20170620_110442_HDR-

 

Aygaz Tüplerinin Seri Numaralarının Okunması

Aygaz tüplerinin üzerinde bulunan Koloret numaralarının (seri no) okunması projesi başarıyla bitirildi.

2 robot ve 6 istasyonda tasların (tüpün üst yarısı) üretimi yapılıyor. Koloret numaraları OCR (Optical Character Recognition) yöntemleriyle okunuyor. Okunan seri numaraları ve istasyon bilgileri eşleştirilip veritabanında arşivleniyor. Hepsi tek bir hat üzerinde ve tek bir PC – kamera sistemi ile çözüldü.

aygazlar
aygaz tupleri

 

  • Sistemde fabrikanın domain sistemi üzerindeki bilgiler ile Login olunabiliyor ve program üzerinde kullanıcının yetkileri, domain üzerindeki yetkisine göre belirleniyor.
  • Sonuçlar ağ üzerindeki veritabanında saklanıyor. Yetkili kişiler raporlama yapabiliyor. Hangi robotun hangi seri numaralı tüpleri ürettiği görülüyor. Duruma göre tüpteki ve baskıdaki kaliteyi iyileştirmek adına görüntüler üzerinden analiz yapılıyor.
  • Görüntüler yine ortak ağ üzerindeki bir bölgeye kaydediliyor.

Yüzeyin işlenmesi ve yazının basılması her zaman çok kaliteli olmayabiliyor. Yüzey pürüzlü gelebilir, ışık güzelce dümdüz parlatmayabilir, yazılar birbirine yakın ya da yüzeyden taşmış gelebilir. Ek olarak taslar 360 derece dönük de gelebilir.

Karşılaştığımız binlerce örnekle de çalışarak doğru sonucu bulana kadar defalarca kontrol edip, sistemin yüksek hassasiyette okunmasını sağladık.

tas1 tas2 tas3

Metal Sac Üzerinde Boyut Ölçümü, Kenarlarda Darbe ve Yırtık Kontrolleri

Türkiye’de üretimini yapan otomotiv devlerinden olan HYUNDAI, araç saclarının pres anında kalite kontrolünün yapılması için MAVIS’i seçti.

Geçtiğimiz aylarda İzmit’teki otomotiv firması Hyundai’de yeni kameralı sistemimizi kurduk. Başarılı şekilde yaptığımız kurulumdan sonra 2. proje için de görüşmelere başlandı.

%100 kontrollü çalışan sistemimizde 10’dan fazla sac tipi için ölçüm kontrolleri yapıyoruz.

hyundai1hyundai3hyundai2

Üretim anında görüntüler yukarıdaki gibi temiz gelmiyor tabi, bunlar, bazı filtreler ve işlemlerden geçtikten sonraki görüntüler.

Normal şekilde üretim anında, metal saclar, konveyör üzerinden akar ve robot ile alınarak pres baskı makinesine girer. Robot parçayı almadan hemen önce bizim ölçüm kontrollerini yapmamız ve OK-NG(not good) sonucunu sisteme vermemiz gerekmektedir. Robotun durmadan pres’i beslemesi gerektiği için, bizim yapacağımız kontrollerin robota bekleme yaptırmayacak şekilde çok hızlı yapması gerekiyor. 2 parça üretimi arası 6-7 saniye sürmektedir. Ancak bizim kontrolleri bitirip çıkış vermemiz için 0.5-1 saniye zamanımız var ve tabi ki bunu yapabiliyoruz.

Sistem Bileşenleri

  • Kontrol edilecek alan geniş olduğu için (4 metreye yakın), birden fazla kamera ile bakıp, daha sonra görüntülerini birleştirmeye karar verdik. Ayrıca kameralar yaklaşık 5m yukarıya monteli.
  • Hareket halinde görüntü alınacağı için de Line Scan özellikli kameraları kullandık.
  • Kameralar USB 3.0 hızında çalışmakta, oldukça hızlı veri aktarım söz konusu.
  • Kameralar preslerin içinde ancak bilgisayar dışarı olduğu için, fiber optik kablolarla kameralara uzatma sağladık. Yaklaşık 15m uzaktan USB 3.0 ile hiç sorunsuz veri aktarımı yapabildik.
  • Görüntü işleme kısmını HALCON 13 ile yaptığımız için process zamanımız da çok kısa sürüyor 🙂
  • Aydınlatma olarak da çizgi ışık verecek yaklaşık 5m uzunluğunda led aydınlatma kullandık.
  • Sacların gelişini anlayacak ve tetik verecek şekilde uygun sensörler kullandık.
  • Bilgisayar ile hattın PLC’si arasında haberleşmeyi sağlacak arabirimler yazıldı, dijital input/output modülümüz kullanıldı.

Programın Çalışma Yöntemi ve İşleyişi

Sac konveyör üzerinde akarken, hareket halinde yani akış esnasında 4 adet kamera ile görüntüsü alınır. Bunlar birleştirilip, sac metalin bütün görüntüsü elde edilir. Bütün ölçümsel kontrolleri yapılır. En ve boy, açısal dönüklük, üzerinde fazla parça kalmış mı, bir yerinden kesik mi gelmiş, eksik bölgesi var mı, kenarlarında çizik vuruk göçük darbe olmuş mu kontrolleri hızlıca yapılır.

Kontrol sonucu OK ise devam edilir, Not Good ise sistemin durdurulması amacıyla output sinyal verilir. Ayrıca görsel ve sesli olarak ikaz uyarıları verilir.

Program kayıt tutma, raporlama, hatalı ürünü takip edebilme vs. özelliklerine sahiptir.

Genel Kontroller

  • Ebat kontrolleri, en ve boy olarak
  • Açısal dönüklük ve yön kontrolü
  • Kenarlarda vuruk, çizik, darbe kontrolü

Opsiyonel Kontroller

  • Yüzeyde çizik kontrolü
  • Pres kalıbına zarar verebilecek parazit olabilecek şekilde yüzey üzerinde fazla parça kalmış mı
  • Kenarlarda çapak kontrolü

Sistemin Getirileri

  • İnsan gözüyle yapılamayacak kadar hızlı kontrol imkanı
  • Hassas şekilde milimetrik kontrollerin olması
  • Hatalı ürünlerin otomatik olarak ayırt edilmesi
  • Sonuçların değerlendirilebilmesi, makine veriminin hesaplanması
  • Kalıba hatalı ürün gönderilmesinin önüne geçilir ve kalıba zarar verilmez
  • Operatöre, zamana, kişiye bağlı olmayan 7/24 çalışabilen kalite kontrolünün sağlanması

hyundai ekran