Hassas Kesik Ölçüm Sistemi

KONFİDA

Konfida fabrikasında, Şekil 1’de gösterilmiş olan kağıt bobin ürünlerinin üretimi yapılmaktadır. Sistemimizin amacı, bu ürünlerin üzerindeki kesiğin genişliğini, kesik uzunluğu boyunca, milimetrenin yüzde beşi oranında yüksek hassasiyette ölçmektir.

ÜRÜNÜRÜN

Şekil 1 – Kağıt Bobin Görüntüleri

Sistem bileşenleri:

Kesim makinesinden çıkan ürün, operatör vasıtası ile sistem üzerine konur. Ölçüm başlatıldıktan sonra ürün üzerinde ölçülmesi istenen bölge üzerinde ölçüm yapılır ve sonuç, gerçek zamanlı olarak, Şekil 2’de gösterilen program arayüzüne yansıtılır. İstenildiği takdirde ölçüm yapılan ürünün görüntüsü, tarih ve diğer gerekli bilgilerle birlikte bilgisayarda arşivlenebilir.

konfidaScreen

Şekil 2 – Program Arayüzü

Kamera, ürün üzerindeki kesiğin 1 cm’lik bir bölümünün görüntüsünü alır. Alınan görüntü üzerinde dikey olarak tüm yatay piksellerdeki genişlik ölçülür ve ortalaması alınır. Böylece istenilen sonuç hassas bir şekilde elde edilmiş olur. Yapılan bu işlemin görüntüsü de Şekil 3’de gösterilmiştir.

sunum_1

Şekil 3 – Kesik Ölçüm Örneği

Enjeksiyon Eksikliği Kontrolü

Kale Oto

Kale Oto Radyatör Fabrikasında,  Şekil 1’de gösterilmiş olan fan ürünlerinin yan yüzeylerinde eksiklik, yırtık ya da çapak oluşabilmektedir. Sistemimizin amacı, enjeksiyon makinesinden çıkan ürünlerdeki bu problemleri tespit etmektir. Sistem 1 mm boyutundaki hataları tespit edebilmektedir. Hata toleransı, operatör tarafından, program arayüzü üzerinden, dinamik olarak değiştirilebilmektedir. Sistemde 5 farklı fan modeli bulunmakla beraber tüm modeller aynı sistem içerisinde çalışmaktadır.

Sistem bileşenleri:

parca22

Şekil 1 – Ürün Görüntüsü

Enjeksiyon makinesinden çıkan ürün, oluşturulan döner mekanizma üzerine bir robot yardımı ile getirilir. Robot, ürünü bıraktıktan sonra sistemimize bir sinyal gönderir. Başlama sinyalini alan sistemimiz, ürünü DC motor vasıtasıyla tam tur döndürür ve bu döndürme sırasında kameralı kontrolümüz gerçek zamanlı olarak çalışır. Kontrol sonuçları, Şekil 2’de görülen program arayüzünde de gerçek zamanlı olarak gösterilir.

kale fanScreen

Şekil 2 – Program Arayüzü

Kontrol sonucunda Şekil 3’de de örneği gösterildiği üzere, parça üzerinde herhangi bir eksiklik, yırtık ya da çapak bulunması durumunda, robota NOK sinyali gönderilerek parçanın ayıklanması sağlanır. Üründe hata bulunmadığı takdirde de robota OK sinyali gönderilerek parçanın üretim hattına devam edebilmesi için konveyör üzerine konması sağlanır.

NOK NOK

Şekil 3 – NOK Ürün Örneği

Dijital Giriş Çıkış Modülü – 4. Versiyon

MAVIS olarak kendi üretimimiz olan Digital Input / Output modülünün yeni versiyonu üretip kullanmaya başladık.

Bu yeni modülde, eski versiyonlardaki gibi 8 giriş / 8 çıkış değil, içindeki kartın farklı olmasından dolayı 6 giriş / 5 çıkış değeri mevcuttur. Daha fazla sayıda giriş/çıkış gerektiği zaman, birden fazla modül aynı anda bilgisayara takıp kullanılabiliyor. Boyut olarak da eskiye göre daha küçüldü.

dijital giris cikis modul 4

Çıkışlar röle çıkışı, kuru kontak denilen şekildedir. Yani 2’li klemensin bir tarafından voltaj verilir. İlgili çıkış verildiği anda röle çekilir ve diğerinden bu verilen voltaj alınabilir, röle çıkışı verilmez ise bu voltaj alınmaz.

  • USB ya da Seri Port (9600 bps, 8, N, 1) ile bağlantı sağlanabiliyor.
  • 24V beslemesi verilir. USB ile bağlı ise buna gerek yok çünkü gücünü bilgisayardan alır.
  • Küçük boyutlar (10cm x 7cm x 3cm)
  • Elektriksel parazitlenmeye karşı korumalı donanımı ve yazılımı vardır. Gelen ve giden sinyaller için pattern (sabit ek byte’lar) kullanılıyor.
  • Gelen girişlerin doğru olduğuna emin olmak için birden fazla okuma yap (tekrarlı okuma sayısı parametrik). Sizin için kontrol zamanı çok önemli ise bu tekrarlı okuma sayısını azaltabilirsiniz, ya da biraz zamanınız var ve gelen bilginin doğru olması çok önemli ise bu sayıyı arttırabilirsiniz.

Dijital Giriş / Çıkış Modülümüzün Çizimi:

modul4

Normalde çevreden elektriksel sinyal kapma olasılığı her zaman pek olmasa da, özellikle sistemin yakınında yüksek akım çeken makinelerin varlığı, motorların veya konveyörlerin çalıştığı, kaynak aletlerinin, pres makinelerinin olduğu durumlarda bazen parazit sinyal kapması sorun olabiliyor. Bu durum özellikle USB bağlantıda daha çok olduğu için Seri modda çalışmasını tavsiye ediyoruz.

Ancak yine de bir şekilde parazit sinyal gelmesi durumunda, bu sefer durumu yazılım ile kontrol altına alıyoruz.

2 şekilde parazit sinyal alınma ihtimali var; Birincisi, modülde giriş kısmına sanki tetik sinyali alınmış gibi gelen parazitler. İkincisi, modül ile bilgisayar arasında kablonun kapmış olduğu parazit sinyaller.

Birinci tipteki problemler için; modülün yazılımında, sistemden gelen sinyalin hala gelip gelmediğine bakarak bunu anlayabiliyoruz. Bunun için modülün içindeki parametreleri değiştirebilme olanağımız var. Parazit sinyal hemen gelip geçici olduğu için gerçek sinyal olmadığı anlaşılacaktır.

İkinci tipteki problemler için ise; Gerçek sinyal geldiğinde modülden gelen data pattern’li oluyor, yani önüne başka sabit ek byte’lar ekleniyor. Modül ile bilgisayar arasında kabloya parazit sinyaller geldiğinde, pattern’siz yani sabit ek byte’lar olmadan data gelecektir, bu datayı dikkate almayarak sistemin şaşırmasını engelleyeceğiz.

Aşağıda USB ve seri modda çalışarak nasıl giriş okunur çıkış verilir kısaca açıklamaya çalıştım. Daha detaylı bilgi için bize ulaşabilirsiniz. Modülümüzü alıp kullanmak isteyenlere zaten detaylı dokümanı gönderiyoruz. İletişim için: info@mavis.com.tr ya da kagan@mavis.com.tr.

USB bağlantıda;

  • Çıkış vermek için; 9 byte göndeririz. [0 1 OutputVal 0 0 0 0 0 0] şeklinde olmalıdır. Buradaki 1 değerinde olan 2. byte: yazma işleminin kodudur. OutputVal ise çıkış vermek istediğimiz değerdir.
  • Girişleri sorgulama için; [0 4 0 0 0 0 0 0 0] datasını göndeririz. 4 kodu bizim girişleri sorduğumuzun koddur. Bunun sonucunda bize gelen data şu şekilde olacaktır: [250 251 252 id 14  InputVal  0 0 0]. İlk 3 byte pattern’dir, yani gelen sinyal modülden doğru şekilde gelmiştir. id değeri, modüle atadığımız id numarasıdır. 14 değeri, girişleri sormamıza istinaden modülün verdiği cevap olduğunu gösterir. InputVal ise modülde şuanda var olan giriş değerleridir.

Seri bağlantıda;

  • Çıkış vermek için; [254 253 252 1 OutputVal 0] şeklinde olmalıdır. Buradaki ilk 3 byte pattern’dir. 1 değeri, yazma işleminin kodudur. OutputVal ise çıkış vermek istediğimiz değerdir.
  • Girişleri sorgulama için; [254 253 252 4 0 0] datasını göndeririz. 4 kodu bizim girişleri sorduğumuzun koddur. Bunun sonucunda bize gelen data şu şekilde olacaktır: [250 251 252 id 14 InputVal]. İlk 3 byte pattern’dir, yani gelen sinyal modülden doğru şekilde gelmiştir. id değeri modüle atadığımız id numarasıdır. 14 değeri, girişleri sormamıza istinaden modülün verdiği cevap olduğunu gösterir. InputVal ise modülde şuanda var olan giriş değerleridir.
  • Giriş değerleri anlık olarak değiştiğinde görebilmek için; serialPort1_DataReceived event’i tanımlı olması gerekmekte. Bu event tetiklendiğinde, seri porttaki byte’lar okunarak işleme devam edilir. Okuma sonucunda gelen data şu şekilde olacaktır: [250 251 252 id 10 InputVal]. 10 değeri, girişlerde değişkenlik olduğunun kodudur. InputVal ise modülde şuanda var olan giriş değerleridir.

 

 

Makine Öğrenimi ile Kavanozda Etiket Kontrolü

HALCON’un Derin Öğrenme (Deep Learning) desteği de vardır. Ancak derin öğrenme çıkmadan önce ise zaten çeşitli öğrenme modülleri (svm, knn, mlp, cnn) ile makine öğrenmesi (machine learning) yapılıyordu ve bunları sıkça kullanıyorduk. Bu yazıda bir projeyi örnek olarak anlatacağım.

Türkiye’nin en büyük kavanoz üreticilerinden birinin, kavanoz üzerilerine yapıştırılan etiketlerinin kontrolü yapılmak istendi. Bu proje aslında tam Derin Öğrenme’nin kullanılacağı bir proje. Ancak üretim koşulları gereği bir üründen zaten 1000 – 10000 civarında yapılıyor ve başka ürüne geçiliyor. Yani üretim sayısı, zaten derin öğrenme için gereken OK ve RET numune sayısı kadar oluyor. Bu durumda daha az sayıda öğretim yapacağız. Derin öğrenme modülünün kullanım maliyetini de düşündüğümüzde, normal makine öğrenmesi yöntemleri ile yapmaya karar verdik.

Zorlukları:

  • Etiketler önde ve/veya arkada gözükecek şekilde, 1 ya da 2 adet gelebilir. Dolayısıyla 2 adet kamera gerekiyor.
  • Hareket halinde görüntü alınacak.
  • Saniyede 4 adete kadar kamera önünden geçebilir. 2 kamera için toplam kontrol süresi maksimum 250 ms olması gerekmekte.
  • Kavanozlar silindirik olduğu için aydınlatma çok önemli, kenarlar aydınlanmaz ise görmek zorlaşacaktır. Kavanozun büyüklüğüne ve şekline göre ışığı yansıtması da değişken olmaktadır.
  • Kavanozların ebatları değişken, dolayısıyla etiketlerin yerleri de.
  • Kavanozlar ve etiketler, düz-bombeli-yamuk şekilli-eğri olabilir.
  • Etiketlerin eni boyu yüksekliği de değişken olabilir.
  • Etiket ve kavanozun içindeki malzeme her renkte gelebilir.
  • Etiket üzerinde yazı, barkod olabilir ya da içindeki malzemenin resimleri olabilir.
  • Kavanozların içine karışık turşular (kornişon, lahana, havuç, biber, domates vs.), salça, zeytin, biber, patlıcan konulabiliyor. İçinde böyle karışık gelebilen malzemeler olduğu için, etiketin bulunması zorlaşabiliyor.

Aşağıda örnek bazı fotoğrafları görebilirsiniz.

kavanoz tursu

Bütün bu zorluklara rağmen HALCON ile başarılı bir şekilde makine öğrenmesi sağlanmaktadır.

Kullanıcıdan etiketli olan kavanozları koyup döndürürken birkaç fotoğraf çektirip bunları OK ürün olarak, etiketi olmayan kavanozları koyup bunları da RET ürün olarak kaydediyoruz. Bu öğrenimi SVM (Support Vector Machines) yöntemi ile yaptık.

Gelen ürünlerin görüntülerini alıp, hızlıca işleyip etiketin varlık yokluğuna bakabiliyoruz.

Sonuç olarak; birçok farklı kavanoz ve etiket örneğinde, doğru ve hızlıca çalışan bir proje oldu.

kavanoz-ok-ret

Etiket Eksik Yazı, Hiza ve Açı Kontrolü

Sistemimizi kurduğumuz yerlerden biri de, beyaz eşya sektöründeki ismi bilinen birçok büyük şirketlere etiket (label) sağlayan bir firma.

Arçelik, Beko, Gorenje, Liebherr, Hacep gibi markaların, buzdolabı, çamaşır makinesi, bulaşık makinesi gibi beyaz eşyalarının üzerine konulan etiketleri yapılıyor. Bu etiketlerin yapıştırılırken sorun olmaması için;

  • Doğru yönde ve açıda yani x ekseni 0(sıfır) açısında,
  • Doğru hizada yani sağdan-soldan-üstten belli bir mesafede,
  • Eksik yazısı, karakteri olmadan

üretilmesi ve bu firmalara gönderilmesi gerekmektedir.

Etiketlerin kontrolü eskiden tek tek, el ile ve bir taslak şablonun üzerine konularak,  manuel olarak yapılıyordu. Günde binlerce ürün üretilince bunların hepsinin kontrolü yapılmıyor, aralardan örneklemeli olarak ürün seçilip sadece onlara bakılıyordu. Artık 7-24 çalışan ve %100 esasına dayalı olarak bütün ürünlerde hassas şekilde kontrol sağlanıyor.

Bizden önce, bizim sektörde ismi bilinen başka bir görüntü işleme firmasıyla çalışılmış ve maalesef başarısız olmuşlar. Maalesef diyorum çünkü müşteri, bir firmayla başarısız olduğunda ister istemez bir önyargısı oluşuyor. Kontrolün çok zor olduğunu ya da bizim gibi firmaların hepsinin aynı olduğuna ve diğerlerinin de çözemeyeceklerine inanabiliyorlar. Bir yandan da eğer uçuk istekleri varsa (her şeyi görsün, her yerine baksın, aşırı hassas bulsun vb.) bunlardan vazgeçiyorlar (çalıştığımız firmada bu zaten yoktu tabiki, genel olarak yazıyorum), kameralı sistemlerin nasıl çalıştığına dair fikirleri oluşuyor, sisteme pozitif ve negatif etki eden faktörleri daha kolay anlıyorlar ve tecrübe ediniyorlar.

Kolay diye başlanan projelerin aslında ne sorunlar çıkarabileceğini sanırım iyi biliyoruz, bu yüzden genelde bütün projelere temkinli yaklaşırız. Farklı sektörlerde farklı isteklerde projelerim oldukça fazla olduğu için tecrübemiz de fazla. Oluşabilecek problemleri veya daha sonra istenebilecek şeyleri de önceden görüp konuşuruz. İleride gerekecek kısımları önceden programa kolayca ekleriz. Programı her firmaya özel olarak kendimiz geliştirdiğimiz için (tabiki genel işleri yapan çekirdek bir kısmı mevcut) bu tarz esnekliğimiz çok fazla. Arayüz tasarımında, veritabanı, ağ ve haberleşme tarafında, user-login sisteminde, ayarlar kısmında, raporlama isteklerinde karşılıklı konuşup, herkes tarafından kolayca kullanılabilen, müşterinin içine sinen bir program oluşturuyoruz.

Konumuza dönecek olursak; üretilen malzeme, konveyör üzerinden hızlıca geçerken hareket halinde görüntü alınır ve içerideki yazının açısı, tabakanın açısı ile aynı mı, üzerinde eksik karakter var mı, hizalamalar doğru mu diye kontrol edilir. Ürünler şu şekilde:

etiket label kontrol

Burada, şeffaf tabakanın açısı ile yazının açı farkı 0.5 derecenin altında olmalı. Beyaz kağıt üretim aşamasında önemli olmadığı için eksik, yırtık, açısı farklı, sağdan soldan üstten alttan kesildiği yerler farklı, şekli değişik gelebiliyor. Dolayısıyla beyaz kağıdın önündeki yazıyı bulmak da kolaydır diye düşünmeyin. Üstelik ışık yansıtma farklılığı tabakaların kalınlığından dolayı değişkenlik gösterebiliyor, arka plan her zaman düzgün siyah olarak gelmiyor, parazit yaratabilecek tozlar çizikler olabilir. Ayrıca ürünler hızlıca konveyörden geçiyor ve saniyede birkaç ürün geçebilir. Bununla birlikte şeffaf yerleri de olan ürünün kameranın önüne geldiğini şaşmaz şekilde bilmek de gerekiyor.

Yazılım ayrıca ileriki zamanda üretilebilecek markaları da kontrol edecek şekilde, öğretim yöntemleri ile çalışmaktadır. Yani yeni model tanıtıp, istediğiniz toleransları girip, ürünlerinizi kontrol etmeye başlayabiliyor.

etiket kontrol-3etiket kontrol-2

Hızlıca kurulumunu yaptığımız bu sistemde, saniyede 2-3 etiket kontrolü yapılmakta.

Bu yazılımımızda da yine raporlama modülümüz mevcuttur. Günlük, saatlik, üretilen modellere göre, ok-ret durumu, her bir kontrolün detayı, toplam sonucu ve sayısı raporlamada alınabiliyor.

Ayrıca bu ana firmalarda, beyaz eşyanın üzerine etiketin doğruca yapıştırıldığının kontrolü de manuel olarak hizalanarak yapılıyor. Operatör tarafından doğru açıda konulduğunu otomasyonel olarak kontrol ettirmek istiyorlar. Bununla ilgili çalışmalarımız da devam ediyor.

Pim Açı-Renk-Çapak Kontrol Sistemi

Demo Plastik’te otomobil kemerleri için üretilen plastik pim parçalarının kontrolü ve hatalı parçaların ayıklanması süreci, kameralı kontrol sistemimiz tarafından yapılıyor. Sistemimiz bir bilgisayar, monitör, bir kamera ve iki aydınlatmadan oluşuyor. Plastik pim parçaların, üzerinden birer birer aktığı konveyör üzerine entegre ettiğimiz sistemimizde;

  • iki tolerans kademeli genişlik ve uzunluk ölçümü
  • leke kontrolü
  • eğiklik kontrolü
  • çapak kontrolü

yapılmaktadır.

demo2

Kullanıcı VYP yazılımımız üzerinden istediği kontrolü aktif veya pasif hala getirebiliyor ve kontroller için tolerans değerlerini belirleyerek test parametrelerini konfigüre edebiliyor.

Sistemimiz özetle şu şekilde çalışıyor:demo sessttings

  1. Konveyörden akan pimlerin her biri kameranın önünden geçiyor ve sensör aracılığıyla sistemimizi tetikliyor.
  2. Her parça için ayrı ayrı alınan görüntüler HALCON ile geliştirdiğimiz görüntü işleme programına gönderiliyor. Konfigürasyonda belirtilen parametrelere göre  kontrol gerçekleşiyor.
  3. Kontrol sonucuna göre hatalı veya düzgün parçalar üfleme sistemiyle hata türüne göre ayrı ayrı kutuların içine atılarak ayıklanıyor.

 

Her parça için yapılan test sonucu veritabanına kaydediliyor. Belirtilen herhangi bir tarih aralığındaki test istatistiklerini raporlama ekranından izlemek ve raporun excel uyumlu formatta çıktısını almak mümkün.

 

Klima Klepeleri Kontrol Sistemi

Dünyanın önde gelen otomotiv parça ve bileşen üreticilerinden Denso için Klima klepelerinin konumunu kontrol eden bir sistem geliştirdik. Klimalar, montajı yapıldıktan sonra fikstür üzerine konularak yaklaşık 35 saniyelik bir teste bırakılıyor. Test aşamasında klimanın içine hava üfleniyor ve klimanın klepeleri belirli zamanlarda açılıp kapanıyor. Sistemimiz test sürecini izleyerek klepelerin sorunsuzca açık ve kapalı konuma gelip gelmediğini tespit edip sisteme OK veya RET sinyalleri gönderiyor.

M1

2 farklı modelde 12 ayrı klepenin kontrolü yapılıyor. Bunun için 8 kamera ve aydınlatma kullanılıyor. Her klape için açık ve kapalı bulunduğu zaman dilimlerinde görüntüler alınıp işlenerek klepenin açık veya kapalı olduğu tespit ediliyor. Eğer klepeler kapalı olması gerektiği anda kapanmamışsa veya açık olması gerektiği anda açılmamışsa sistemimiz entegre olduğu PLC sisteme hata sinyali gönderiyor ve üretim hattı duruyor. Hatalı klima fikstürden alındıktan sonra sistemimize gönderilen sinyalle birlikte üretim süreci devam ediyor. Test sürecini VYP yazılımımız üzerinden anlık olarak takip etmek mümkün. Hangi klepede hata olduğu, hangi klepelerin sorunsuzca açılıp kapandığı VYP üzerinden izlenebiliyor.

Screenshot (3)

 

Jant Tanıma ve Doğrulama Sistemi

Birçok araç firmasına jant üretimi de yapan FARPLAS, jantların paketlenmesi aşamasında bir karışıklık olmaması için kameralı kontrol sisteminde bizimle çalıştı.

Jantlar üretimden ve boyahaneden çıkıp son kontrolleri kameralı sistem ile yapılıp paketleniyor.

  • Jantların altlı-üstlü çift olarak ya da tek olarak geçtiğinde,
  • Boyunun ölçüm kontrolleri, (inç olarak)
  • Logoların doğru logo olup olmadığı, (Renault-Fiat-Hyundai-Dodge vs.)
  • Bijon delik sayılarının doğruluğu, (4-5 ya da hiç)

kontrolleri yapılıyor.

Konveyörden geçerken linescan mod ile alttan ve üstten bakacak şekilde 2 kamerayı paralel çalıştırarak aynı anda jantların görüntülerini çekiyoruz.

Daha sonra yukarıdaki kontrolleri yapıp, sonuçlar doğru ise paketlenmeye gidiyor. Beklenmeyen bir ürün ise, jantı piston ret sistemi ile otomatik olarak ret kabinine taşıyor.

Böylece müşteriye doğru ürünler karışmadan gidiyor.

farplas-jant1

20170620_110442_HDR-

 

Aygaz Tüplerinin Seri Numaralarının Okunması

Aygaz tüplerinin üzerinde bulunan Koloret numaralarının (seri no) okunması projesi başarıyla bitirildi.

2 robot ve 6 istasyonda tasların (tüpün üst yarısı) üretimi yapılıyor. Koloret numaraları OCR (Optical Character Recognition) yöntemleriyle okunuyor. Okunan seri numaraları ve istasyon bilgileri eşleştirilip veritabanında arşivleniyor. Hepsi tek bir hat üzerinde ve tek bir PC – kamera sistemi ile çözüldü.

aygazlar
aygaz tupleri

 

  • Sistemde fabrikanın domain sistemi üzerindeki bilgiler ile Login olunabiliyor ve program üzerinde kullanıcının yetkileri, domain üzerindeki yetkisine göre belirleniyor.
  • Sonuçlar ağ üzerindeki veritabanında saklanıyor. Yetkili kişiler raporlama yapabiliyor. Hangi robotun hangi seri numaralı tüpleri ürettiği görülüyor. Duruma göre tüpteki ve baskıdaki kaliteyi iyileştirmek adına görüntüler üzerinden analiz yapılıyor.
  • Görüntüler yine ortak ağ üzerindeki bir bölgeye kaydediliyor.

Yüzeyin işlenmesi ve yazının basılması her zaman çok kaliteli olmayabiliyor. Yüzey pürüzlü gelebilir, ışık güzelce dümdüz parlatmayabilir, yazılar birbirine yakın ya da yüzeyden taşmış gelebilir. Ek olarak taslar 360 derece dönük de gelebilir.

Karşılaştığımız binlerce örnekle de çalışarak doğru sonucu bulana kadar defalarca kontrol edip, sistemin yüksek hassasiyette okunmasını sağladık.

tas1 tas2 tas3