Klima Kartı Bileşen Kontrolü

Dünyanın önde gelen otomotiv parça ve bileşen üreticilerinden xxxxx fabrikasında, otomasyon robotları ile montajı yapılan elektronik klima kartı üzerindeki bazı bileşenlerin varlık-yokluk ve yön kontrolünü yapan sistemimiz devreye alınmıştır.

Sistem bileşenleri:

front2

Şekil 1 – Elektronik Klima Kartı Ön Yüzü

back2

Şekil 2 – Elektronik Klima Kartı Arka Yüzü

Kurduğumuz sistemde iki farklı zamanda kontrol yapılmaktadır. İlk kontrol, görüntüsü Şekil 2’de gösterilmiş olan kartın arka bölümündeki bileşenlerin montajı tamamlandıktan sonra yapılır. Arka bölgesinin montajı tamamlanan kart, robot tarafından alınır ve kartın arka yüzü, kamera önüne getirilerek hassas bir şekilde konumlandırılır. Robottan gelen tetik sinyali ile ilk kontrol yapılmaya başlanır. Birinci aydınlatma açılır ve Şekil 3’de gösterilen kırmızı çemberler içerisinde gösterilen pinler ve sarı çemberler içerisinde olması gereken vidaların varlık-yokluk kontrolü yapılır. Kontrol sonucu OK ise robota OK sinyal gönderilir ve montaja devam edilir. Kontrol sonucu NOK ise robota NOK sinyali gönderilir ve parça NOK bölümüne ayrılır. Sonuç, Şekil 5’te görülen program arayüzünde canlı olarak gösterilir.

backFocus2

Şekil 3 – Kontrol Edilen Bileşenler

İkinci kontrol, görüntüsü Şekil 1’de gösterilmiş olan kartın montajı yapıldıktan sonra kart, döner masaya konumlandırılır. Robottan gelen tetik sinyali ile ikinci kontrol yapılmaya başlanır. İkinci aydınlatma açılır ve Şekil 4’de gösterilen parçanın yön kontrolü yapılır. Daha sonra ve görüntüdeki 1 numara ile belirtilen cam, 2 numarada belirtilen siyah parça ve 3 numarada belirtilen uzun saydam çubuğun varlık kontrolü yapılır. Kontrol sonrası işlemler OK ve NOK olmasına bağlı olarak, bir önceki kontrol sonrası işlemlerle aynı şekilde yapılır.

frontFocus2

Şekil 4 – Kontrol Edilen Bileşenler

screen

Şekil 5 – Program Arayüzü

 

 

Hassas Kesik Ölçüm Sistemi

Kağıt bobin üretici bir fabrikada, Şekil 1’de gösterilmiş olan ürünlerinin üretimi yapılmaktadır. Sistemimizin amacı, bu ürünlerin üzerindeki kesiğin genişliğini, kesik uzunluğu boyunca, milimetrenin yüzde beşi oranında yüksek hassasiyette ölçmektir.

Şekil 1 – Kağıt Bobin Görüntüleri

Sistem bileşenleri:

Kesim makinesinden çıkan ürün, operatör vasıtası ile sistem üzerine konur. Ölçüm başlatıldıktan sonra ürün üzerinde ölçülmesi istenen bölge üzerinde ölçüm yapılır ve sonuç, gerçek zamanlı olarak, Şekil 2’de gösterilen program arayüzüne yansıtılır. İstenildiği takdirde ölçüm yapılan ürünün görüntüsü, tarih ve diğer gerekli bilgilerle birlikte bilgisayarda arşivlenebilir.

konScreen

Şekil 2 – Program Arayüzü

Kamera, ürün üzerindeki kesiğin 1 cm’lik bir bölümünün görüntüsünü alır. Alınan görüntü üzerinde dikey olarak tüm yatay piksellerdeki genişlik ölçülür ve ortalaması alınır. Böylece istenilen sonuç hassas bir şekilde elde edilmiş olur. Yapılan bu işlemin görüntüsü de Şekil 3’de gösterilmiştir.

sunum_1

Şekil 3 – Kesik Ölçüm Örneği

Enjeksiyon Eksikliği Kontrolü

Kale Oto

Kale Oto Radyatör Fabrikasında,  Şekil 1’de gösterilmiş olan fan ürünlerinin yan yüzeylerinde eksiklik, yırtık ya da çapak oluşabilmektedir. Sistemimizin amacı, enjeksiyon makinesinden çıkan ürünlerdeki bu problemleri tespit etmektir. Sistem 1 mm boyutundaki hataları tespit edebilmektedir. Hata toleransı, operatör tarafından, program arayüzü üzerinden, dinamik olarak değiştirilebilmektedir. Sistemde 5 farklı fan modeli bulunmakla beraber tüm modeller aynı sistem içerisinde çalışmaktadır.

Sistem bileşenleri:

parca22

Şekil 1 – Ürün Görüntüsü

Enjeksiyon makinesinden çıkan ürün, oluşturulan döner mekanizma üzerine bir robot yardımı ile getirilir. Robot, ürünü bıraktıktan sonra sistemimize bir sinyal gönderir. Başlama sinyalini alan sistemimiz, ürünü DC motor vasıtasıyla tam tur döndürür ve bu döndürme sırasında kameralı kontrolümüz gerçek zamanlı olarak çalışır. Kontrol sonuçları, Şekil 2’de görülen program arayüzünde de gerçek zamanlı olarak gösterilir.

kale fanScreen

Şekil 2 – Program Arayüzü

Kontrol sonucunda Şekil 3’de de örneği gösterildiği üzere, parça üzerinde herhangi bir eksiklik, yırtık ya da çapak bulunması durumunda, robota NOK sinyali gönderilerek parçanın ayıklanması sağlanır. Üründe hata bulunmadığı takdirde de robota OK sinyali gönderilerek parçanın üretim hattına devam edebilmesi için konveyör üzerine konması sağlanır.

NOK NOK

Şekil 3 – NOK Ürün Örneği

Makine Öğrenimi ile Kavanozda Etiket Kontrolü

HALCON’un Derin Öğrenme (Deep Learning) desteği de vardır. Ancak derin öğrenme çıkmadan önce ise zaten çeşitli öğrenme modülleri (svm, knn, mlp, cnn) ile makine öğrenmesi (machine learning) yapılıyordu ve bunları sıkça kullanıyorduk. Bu yazıda bir projeyi örnek olarak anlatacağım.

Türkiye’nin en büyük kavanoz üreticilerinden birinin, kavanoz üzerilerine yapıştırılan etiketlerinin kontrolü yapılmak istendi. Bu proje aslında tam Derin Öğrenme’nin kullanılacağı bir proje. Ancak üretim koşulları gereği bir üründen zaten 1000 – 10000 civarında yapılıyor ve başka ürüne geçiliyor. Yani üretim sayısı, zaten derin öğrenme için gereken OK ve RET numune sayısı kadar oluyor. Bu durumda daha az sayıda öğretim yapacağız. Derin öğrenme modülünün kullanım maliyetini de düşündüğümüzde, normal makine öğrenmesi yöntemleri ile yapmaya karar verdik.

Zorlukları:

  • Etiketler önde ve/veya arkada gözükecek şekilde, 1 ya da 2 adet gelebilir. Dolayısıyla 2 adet kamera gerekiyor.
  • Hareket halinde görüntü alınacak.
  • Saniyede 4 adete kadar kamera önünden geçebilir. 2 kamera için toplam kontrol süresi maksimum 250 ms olması gerekmekte.
  • Kavanozlar silindirik olduğu için aydınlatma çok önemli, kenarlar aydınlanmaz ise görmek zorlaşacaktır. Kavanozun büyüklüğüne ve şekline göre ışığı yansıtması da değişken olmaktadır.
  • Kavanozların ebatları değişken, dolayısıyla etiketlerin yerleri de.
  • Kavanozlar ve etiketler, düz-bombeli-yamuk şekilli-eğri olabilir.
  • Etiketlerin eni boyu yüksekliği de değişken olabilir.
  • Etiket ve kavanozun içindeki malzeme her renkte gelebilir.
  • Etiket üzerinde yazı, barkod olabilir ya da içindeki malzemenin resimleri olabilir.
  • Kavanozların içine karışık turşular (kornişon, lahana, havuç, biber, domates vs.), salça, zeytin, biber, patlıcan konulabiliyor. İçinde böyle karışık gelebilen malzemeler olduğu için, etiketin bulunması zorlaşabiliyor.

Aşağıda örnek bazı fotoğrafları görebilirsiniz.

kavanoz tursu

Bütün bu zorluklara rağmen HALCON ile başarılı bir şekilde makine öğrenmesi sağlanmaktadır.

Kullanıcıdan etiketli olan kavanozları koyup döndürürken birkaç fotoğraf çektirip bunları OK ürün olarak, etiketi olmayan kavanozları koyup bunları da RET ürün olarak kaydediyoruz. Bu öğrenimi SVM (Support Vector Machines) yöntemi ile yaptık.

Gelen ürünlerin görüntülerini alıp, hızlıca işleyip etiketin varlık yokluğuna bakabiliyoruz.

Sonuç olarak; birçok farklı kavanoz ve etiket örneğinde, doğru ve hızlıca çalışan bir proje oldu.

kavanoz-ok-ret

Etiket Eksik Yazı, Hiza ve Açı Kontrolü

Sistemimizi kurduğumuz yerlerden biri de, beyaz eşya sektöründeki ismi bilinen birçok büyük şirketlere etiket (label) sağlayan bir firma.

Arçelik, Beko, Gorenje, Liebherr, Hacep gibi markaların, buzdolabı, çamaşır makinesi, bulaşık makinesi gibi beyaz eşyalarının üzerine konulan etiketleri yapılıyor. Bu etiketlerin yapıştırılırken sorun olmaması için;

  • Doğru yönde ve açıda yani x ekseni 0(sıfır) açısında,
  • Doğru hizada yani sağdan-soldan-üstten belli bir mesafede,
  • Eksik yazısı, karakteri olmadan

üretilmesi ve bu firmalara gönderilmesi gerekmektedir.

Etiketlerin kontrolü eskiden tek tek, el ile ve bir taslak şablonun üzerine konularak,  manuel olarak yapılıyordu. Günde binlerce ürün üretilince bunların hepsinin kontrolü yapılmıyor, aralardan örneklemeli olarak ürün seçilip sadece onlara bakılıyordu. Artık 7-24 çalışan ve %100 esasına dayalı olarak bütün ürünlerde hassas şekilde kontrol sağlanıyor.

Bizden önce, bizim sektörde ismi bilinen başka bir görüntü işleme firmasıyla çalışılmış ve maalesef başarısız olmuşlar. Maalesef diyorum çünkü müşteri, bir firmayla başarısız olduğunda ister istemez bir önyargısı oluşuyor. Kontrolün çok zor olduğunu ya da bizim gibi firmaların hepsinin aynı olduğuna ve diğerlerinin de çözemeyeceklerine inanabiliyorlar. Bir yandan da eğer uçuk istekleri varsa (her şeyi görsün, her yerine baksın, aşırı hassas bulsun vb.) bunlardan vazgeçiyorlar (çalıştığımız firmada bu zaten yoktu tabiki, genel olarak yazıyorum), kameralı sistemlerin nasıl çalıştığına dair fikirleri oluşuyor, sisteme pozitif ve negatif etki eden faktörleri daha kolay anlıyorlar ve tecrübe ediniyorlar.

Kolay diye başlanan projelerin aslında ne sorunlar çıkarabileceğini sanırım iyi biliyoruz, bu yüzden genelde bütün projelere temkinli yaklaşırız. Farklı sektörlerde farklı isteklerde projelerim oldukça fazla olduğu için tecrübemiz de fazla. Oluşabilecek problemleri veya daha sonra istenebilecek şeyleri de önceden görüp konuşuruz. İleride gerekecek kısımları önceden programa kolayca ekleriz. Programı her firmaya özel olarak kendimiz geliştirdiğimiz için (tabiki genel işleri yapan çekirdek bir kısmı mevcut) bu tarz esnekliğimiz çok fazla. Arayüz tasarımında, veritabanı, ağ ve haberleşme tarafında, user-login sisteminde, ayarlar kısmında, raporlama isteklerinde karşılıklı konuşup, herkes tarafından kolayca kullanılabilen, müşterinin içine sinen bir program oluşturuyoruz.

Konumuza dönecek olursak; üretilen malzeme, konveyör üzerinden hızlıca geçerken hareket halinde görüntü alınır ve içerideki yazının açısı, tabakanın açısı ile aynı mı, üzerinde eksik karakter var mı, hizalamalar doğru mu diye kontrol edilir. Ürünler şu şekilde:

etiket label kontrol

Burada, şeffaf tabakanın açısı ile yazının açı farkı 0.5 derecenin altında olmalı. Beyaz kağıt üretim aşamasında önemli olmadığı için eksik, yırtık, açısı farklı, sağdan soldan üstten alttan kesildiği yerler farklı, şekli değişik gelebiliyor. Dolayısıyla beyaz kağıdın önündeki yazıyı bulmak da kolaydır diye düşünmeyin. Üstelik ışık yansıtma farklılığı tabakaların kalınlığından dolayı değişkenlik gösterebiliyor, arka plan her zaman düzgün siyah olarak gelmiyor, parazit yaratabilecek tozlar çizikler olabilir. Ayrıca ürünler hızlıca konveyörden geçiyor ve saniyede birkaç ürün geçebilir. Bununla birlikte şeffaf yerleri de olan ürünün kameranın önüne geldiğini şaşmaz şekilde bilmek de gerekiyor.

Yazılım ayrıca ileriki zamanda üretilebilecek markaları da kontrol edecek şekilde, öğretim yöntemleri ile çalışmaktadır. Yani yeni model tanıtıp, istediğiniz toleransları girip, ürünlerinizi kontrol etmeye başlayabiliyor.

etiket kontrol-3etiket kontrol-2

Hızlıca kurulumunu yaptığımız bu sistemde, saniyede 2-3 etiket kontrolü yapılmakta.

Bu yazılımımızda da yine raporlama modülümüz mevcuttur. Günlük, saatlik, üretilen modellere göre, ok-ret durumu, her bir kontrolün detayı, toplam sonucu ve sayısı raporlamada alınabiliyor.

Ayrıca bu ana firmalarda, beyaz eşyanın üzerine etiketin doğruca yapıştırıldığının kontrolü de manuel olarak hizalanarak yapılıyor. Operatör tarafından doğru açıda konulduğunu otomasyonel olarak kontrol ettirmek istiyorlar. Bununla ilgili çalışmalarımız da devam ediyor.

Pim Açı-Renk-Çapak Kontrol Sistemi

Demo Plastik’te otomobil kemerleri için üretilen plastik pim parçalarının kontrolü ve hatalı parçaların ayıklanması süreci, kameralı kontrol sistemimiz tarafından yapılıyor. Sistemimiz bir bilgisayar, monitör, bir kamera ve iki aydınlatmadan oluşuyor. Plastik pim parçaların, üzerinden birer birer aktığı konveyör üzerine entegre ettiğimiz sistemimizde;

  • iki tolerans kademeli genişlik ve uzunluk ölçümü
  • leke kontrolü
  • eğiklik kontrolü
  • çapak kontrolü

yapılmaktadır.

demo2

Kullanıcı VYP yazılımımız üzerinden istediği kontrolü aktif veya pasif hala getirebiliyor ve kontroller için tolerans değerlerini belirleyerek test parametrelerini konfigüre edebiliyor.

Sistemimiz özetle şu şekilde çalışıyor:demo sessttings

  1. Konveyörden akan pimlerin her biri kameranın önünden geçiyor ve sensör aracılığıyla sistemimizi tetikliyor.
  2. Her parça için ayrı ayrı alınan görüntüler HALCON ile geliştirdiğimiz görüntü işleme programına gönderiliyor. Konfigürasyonda belirtilen parametrelere göre  kontrol gerçekleşiyor.
  3. Kontrol sonucuna göre hatalı veya düzgün parçalar üfleme sistemiyle hata türüne göre ayrı ayrı kutuların içine atılarak ayıklanıyor.

 

Her parça için yapılan test sonucu veritabanına kaydediliyor. Belirtilen herhangi bir tarih aralığındaki test istatistiklerini raporlama ekranından izlemek ve raporun excel uyumlu formatta çıktısını almak mümkün.

 

Klima Klepeleri Kontrol Sistemi

Dünyanın önde gelen otomotiv parça ve bileşen üreticilerinden xxxxx için, klima klapelerinin konumunu kontrol eden bir sistem geliştirdik. Klimalar, montajı yapıldıktan sonra fikstür üzerine konularak yaklaşık 35 saniyelik bir teste bırakılıyor. Test aşamasında klimanın içine hava üfleniyor ve klimanın klapeleri belirli zamanlarda açılıp kapanıyor. Sistemimiz test sürecini izleyerek klapelerin sorunsuzca açık ve kapalı konuma gelip gelmediğini tespit edip sisteme OK veya RET sinyalleri gönderiyor.

M1

2 farklı modelde 12 ayrı klapenin kontrolü yapılıyor. Bunun için 8 kamera ve aydınlatma kullanılıyor. Her klape için açık ve kapalı bulunduğu zaman dilimlerinde görüntüler alınıp işlenerek klapenin açık veya kapalı olduğu tespit ediliyor. Eğer klapeler kapalı olması gerektiği anda kapanmamışsa veya açık olması gerektiği anda açılmamışsa sistemimiz entegre olduğu PLC sisteme hata sinyali gönderiyor ve üretim hattı duruyor. Hatalı klima fikstürden alındıktan sonra sistemimize gönderilen sinyalle birlikte üretim süreci devam ediyor. Test sürecini VYP yazılımımız üzerinden anlık olarak takip etmek mümkün. Hangi klapede hata olduğu, hangi klapelerin sorunsuzca açılıp kapandığı VYP üzerinden izlenebiliyor.

Screenshot (3)

 

Jant Tanıma ve Doğrulama Sistemi

Birçok araç firmasına jant üretimi de yapan FARPLAS, jantların paketlenmesi aşamasında bir karışıklık olmaması için kameralı kontrol sisteminde bizimle çalıştı.

Jantlar üretimden ve boyahaneden çıkıp son kontrolleri kameralı sistem ile yapılıp paketleniyor.

  • Jantların altlı-üstlü çift olarak ya da tek olarak geçtiğinde,
  • Boyunun ölçüm kontrolleri, (inç olarak)
  • Logoların doğru logo olup olmadığı, (Renault-Fiat-Hyundai-Dodge vs.)
  • Bijon delik sayılarının doğruluğu, (4-5 ya da hiç)

kontrolleri yapılıyor.

Konveyörden geçerken linescan mod ile alttan ve üstten bakacak şekilde 2 kamerayı paralel çalıştırarak aynı anda jantların görüntülerini çekiyoruz.

Daha sonra yukarıdaki kontrolleri yapıp, sonuçlar doğru ise paketlenmeye gidiyor. Beklenmeyen bir ürün ise, jantı piston ret sistemi ile otomatik olarak ret kabinine taşıyor.

Böylece müşteriye doğru ürünler karışmadan gidiyor.

farplas-jant1

20170620_110442_HDR-

 

Aygaz Tüplerinin Seri Numaralarının Okunması

Aygaz tüplerinin üzerinde bulunan Koloret numaralarının (seri no) okunması projesi başarıyla bitirildi.

2 robot ve 6 istasyonda tasların (tüpün üst yarısı) üretimi yapılıyor. Koloret numaraları OCR (Optical Character Recognition) yöntemleriyle okunuyor. Okunan seri numaraları ve istasyon bilgileri eşleştirilip veritabanında arşivleniyor. Hepsi tek bir hat üzerinde ve tek bir PC – kamera sistemi ile çözüldü.

aygazlar
aygaz tupleri

 

  • Sistemde fabrikanın domain sistemi üzerindeki bilgiler ile Login olunabiliyor ve program üzerinde kullanıcının yetkileri, domain üzerindeki yetkisine göre belirleniyor.
  • Sonuçlar ağ üzerindeki veritabanında saklanıyor. Yetkili kişiler raporlama yapabiliyor. Hangi robotun hangi seri numaralı tüpleri ürettiği görülüyor. Duruma göre tüpteki ve baskıdaki kaliteyi iyileştirmek adına görüntüler üzerinden analiz yapılıyor.
  • Görüntüler yine ortak ağ üzerindeki bir bölgeye kaydediliyor.

Yüzeyin işlenmesi ve yazının basılması her zaman çok kaliteli olmayabiliyor. Yüzey pürüzlü gelebilir, ışık güzelce dümdüz parlatmayabilir, yazılar birbirine yakın ya da yüzeyden taşmış gelebilir. Ek olarak taslar 360 derece dönük de gelebilir.

Karşılaştığımız binlerce örnekle de çalışarak doğru sonucu bulana kadar defalarca kontrol edip, sistemin yüksek hassasiyette okunmasını sağladık.

tas1 tas2 tas3

Ürünlerin Tip ve Sayı Eşleştirmesi

TAYSAD’daki FARPLAS fabrikasına parça tanıma sistemimiz devrede. Tek kameralı, bilgisayarlı, sensörlü, dijital i/o modüllü, kabinli bir sistem kuruldu.

Toyota araçlarının bir çok plastik parçalarının boyaması gerçekleşiyor. Bu ürünlerin tip ve sayısını buluyoruz ve Doruk Otomasyon ile haberleşip etiket çıktısı alınıyor. Haberleşme Web Servisi ile çift taraflı yapılıp, ürün bilgisi ve sayısı bilgileri aktarılıyor.

Yaklaşık 30 farklı parçanın tip-sayı eşleştirmesi yapılıyor. Ön-Arka Sağ-Sol kapı iç kısmı, Ön-Arka Sağ-Sol kapı çıtaları, Yakıt deposu kapakları, Orta konsol kısımları, Bagaj çıtaları vb.

ürün tanıma 2

20160806_110814_HDR--