3D Görüntü İşleme Teknikleri – 1

3D uygulamaları son zamanlarda hızla yaygınlaşmaktadır. Bu makalemizde, mevcut 3D modellerini ve uygulama alanlarını göreceğiz. Burada kastedilen 3D, görüntü işlemede kullanılan 3D dir. Standart kameralar (monocular) X-Y düzleminde görüntüler verir. Biz, aynı zamanda derinlik (Z) bilgisini de içeren, X-Y-Z bilgisi verebilen teknolojilere hızlıca değineceğiz.

Günümüzde yaygın olarak kullanılan 3D yapay görme teknolojileri şunlardır.

1. Laser Triangulation
Bu modelde, genellikle bir çizgi lazer kaynağı ve kalibre edilmiş bir kamera kullanılır. Genellikle çizgi lazer ve kamera, birlikte tek bir kutu içinde yer alır. Sistemin çalışabilmesi için, 3 boyutlu olarak algılanmak istenen nesnenin kontrollü bir şekilde hareket etmesi gerekmektedir. (Bir encoder yardımıyla nesnenin ne kadar gittiği hesaplanabilir) sistem sürekli fotoğraf çekerek lazer çizgisindeki profil değişikliğinden faydalanarak, 3 boyutlu nesnenin profilini çıkartır. Piyasada farklı alternatifler vardır, daha önceden LPS 36 isimli bir modeli incelemiş, HALCON ile çeşitli uygulamalar geliştirmiştim. Ülkemizde bu veya benzer ürünleri kolaylıkla temin etmek mümkündür.

2. Time Of Flight Kameralar

Kişisel olarak, geleceklerinin iyi olduğunu düşündüğüm 3D kamera teknolojisidir. Daha önce şu makalede detaylı olarak bu kameraları anlatmıştım. Çalışma prensipleri (özetle) 3D olarak belirlenmek istenen nesnenin fotoğrafı alınırken, aynı zamanda infrared (veya başka bir dalga) göndermek ve gelen dalganın ne kadar geciktiğini ölçerek (bir nevi radar), her noktada mesafeyi hesaplamak mantığına dayanır. Gerçekte zaman ölçümü Frekans Kaydırma (Frequency shift) modülasyonu ile gerçekleştirilir. Yine piyasada (nadir olmakla birlikte) TOF kameralar mevcuttur.

3. Stereovision

En yaygın olarak kullanılan 3D teknolojisidir. İnsan gözü modelinde olduğu gibi, 2 kamera kullanılır. Kameraların arasındaki mesafe ve merkez doğrultu açıları net olarak bilindiğinden, her bir noktanın, her iki kameradaki izdüşümü, basit geometrik hesaplamalar ile bulunabilmektedir. (İleride çalışma prensibi daha detaylı anlatılacaktır)

 

4. Fringe Projection

Bu teknolojide, algılanacak 3 boyutlu nesne üzerine bir projektör yardımıyla özel bir desen (genelde çizgiler vb) düşürülür. Kamera bu çizgileri algılar. Çizgilerdeki değişim, 3D profili verir. Laser Triangulation tekniğinde, nesne hareketli idi, bu teknikte nesne sabit olup, üzerine tek bir lazer çizgi yerine, pek çok çizgi aynı anda düşürülmektedir. Çalışma prensibi aynıdır.

 

5. Kinect (PrimeSense) Grubu

Oyun konsollarının (XBox, PS v.b.) yaygınlaşması ile birlikte genellikle PrimeSense firmasının sensörlerinin kullandığı, stereovision tekniğidir. Aslında farklı bir teknik olmamakla birlikte, çok yaygın bir grup olduğu için ayrı bir başlık olarak ele alınabilir. Burada, projektör, bilinen pattern’e sahip görüntüyü nesne üzerine yollar. Kamera bu patterni algılar. Orijinal pattern ile olan değişimden yola çıkarak, 3 boyut oluşturmaya çalışır.

6. Active Stereo Vision

Bu teknikte, stereovision modeli biraz geliştirilerek, araya bir projektör eklenmiştir. Projektör rastlantısal bir pattern oluşturup nesnenin üzerine gönderir. Stereo kameralar bu patterni yakalayıp, 3 boyut bilgisini çıkartır. Normal stereo Vision da, projektör yoktu. Kameralar, gerçek cismin görüntüsünden yola çıkarak 3 boyut bilgisini çıkartmaya çalışıyordu. Cismin üzerinde texture (şekil, yazı, desen vb.) yoksa, böyle bir durumda stereo vision başarılı olamıyordu. Çünkü her pixel kendi komşu pixelleri ile aynı bilgiyi taşıyor farklılık yaratmıyordu. Bu modelde, projektör cisim üzerine yeterli karmaşıklıkta desen varmış gibi pattern yollar. Kendi gönderdiği patterni arar ve 3 boyut bilgisini çıkartır. En sağlıklı 3D yöntemi de, günümüzde budur. (Firmamız, Active Stereo Vision ürünü olan Ensenso cihazlarının Türkiye distribütörüdür.)

Tüm teknikleri artı ve eksileri ile karşılaştıran aşağıdaki gibi bir tablo yaptım.

 

 

Buradaki Multi-View stereo, aynı nesneye birden fazla yerden (ön, arka, sağ, sol v.b.) bakmak gerektiği durumları ifade eder. Örneğin 3-4 Kinect cihazını farklı açılardan birbirine bağlayıp daha iyi bir görüntü elde edemezsiniz. (Kinect böyle bir teknolojiyi sunmamaktadır, tek ve bağımsız çalışmaktadır gibi.)

Bu konuya kaldığımız yerden devam edeceğiz. Önce Stereo Vision teknolojisine daha detaylı giriş yapıp, işin tekniğini kavrayacak, sonra HALCON ile stereo vision uygulaması nasıl geliştiririz buna bakacağız.

Bir sonraki bölüm için tıklayınız…

 

TOF (Time Of Flight) Kameralar ve yeni Kinect

TOF (Time of Flight) kameralar, normal kameralara ilaveten işin içine mesafe ölçüm sensörlerinin de sokulduğu, dolayısıyla 3 boyutlu görüntü alınabilen kameralardır. Mesafe ölçüm sensörleri, genellikle infrared bir kaynaktan, hedef üzerine foton gönderir. Fotonlar hedeften yansıyıp geri gelir. Çok hassas bir zaman ölçümü ile, gelen foton gecikmesinden hedefin bulunduğu konum hassas olarak belirlenir. (Radar olarak bildiğimiz yöntem) Genellikle matris şeklinde dizilmiş binlerce sensör kullanıldığından, görüş alanındaki hedef 3 boyutlu olarak hızlı bir şekilde çıkartılmış olur.

Soldaki resim Panasonic D-Imager TOF sensörünün çalışma mantığını sembolize etmektedir. Yansıyan fotonların, günışığı ya da başka ışık kaynakları ile karışmaması için, dalga boyu bilinen IR aralığında seçilmesine özen gösterilir. Yine de gün ışığı spektrumu çok geniş olduğu için, özellikle arka plandan yansımalar bazen sonucu olumsuz etkileyebilir.

TOF konusunda, kesinlikle incelenmesi gereken bir diğer endüstriyel ürün ise MESA Imaging firmasının SwissRanger 4000 isimli ürünüdür. 4.000 USD civarında bir satış fiyatı vardır.

Daha ucuz bir alternatif için Microsoft yeni Kinect göze çarpmaktadır. Yakında piyasalarda olacak olan yeni xBox oyun konsolu için geliştirilmekle birlikte çok farklı sektörlerde sıkça karşımıza çıkacağı kesin gibidir. Yeni Kinect, eskisinin aksine TOF teknolojisine dayanmaktadır. (Eski Kinect Stereovision teknolojisine göre çalışmaktaydı.)

Microsoft, yeni Kinect için, İsrail Elron firmasının ZCam isimli ürününü kullanmaya karar verdi. Bunun için, öncelikle Elron firmasını, ortalama olarak 5 milyon USD gibi bir rakama satın aldı. Bununla da yetinmeyip, 3D konusunda öncül bir diğer sensör firması Canesta yı da (rakam açıklanmadı) bünyesine kattı. Bu satın almalar, 3D konusunda Microsoftun gözü kara bir şekilde yatırım yapmaya devam edeceği anlamına da gelmektedir. Diğer yandan, özellikle Amerikada çok sıkı olan patent ihlal davaları/mahkemeleri ile (Kinectin patenti PrimeSense firmasına aittir) uğraşmak istemediği anlamına da gelir.

Bu video http://youtu.be/Hi5kMNfgDS4?t=5m27s yeni Kinectin 3 boyutlu algılama ve yeni teknolojiler konusunda ne kadar başarılı olduğunu göstermektedir.

Bu video ise, https://www.youtube.com/watch?v=5_PVx1NbUZQ Canesta’nın yeni sensörünün yeteneklerini göstermektedir. Sensör boyutuna bakılırsa, Canesta’nın bu yeni tip 3D sensörünü mobil uygulamalar (cep telefonları) üzerinde göreceğimiz günler yakın demektir. (Videonun 3 yıl önce çekildiği düşünülürse, şu an gelinen noktanın çok daha ileride olduğunu tahmin etmeye gerek yok)

Tüm bu teknolojiler gelişirken, biz neredeyiz?

MAVIS olarak, piyasada var olan bir çok farklı ürünü denedik, SDK larını inceledik, Avantaj ve dezavantajlarını değerlendirdik. (Microsoft Kinect for Windows, Asus xTion Pro, Leuze LPS36 gibi…) Halihazırda, klasik RGB kameralar ile alınan görüntülerve HALCON 3D/Stereo Vision yöntemleri ile çalışmak daha makul gibi görünmektedir. Distribütörü olduğumuz iDS imaging firması, 3D Imaging konusunda Ensenso isimli ürününü geliştirmiştir. HALCON uyumu, iDS güvencesi ve daha makul fiyatları nedeniyle tercih edilebilir.

Bu makaleleri takip edenler için, TOF v.b. yeni nesil sensörler ve uygulama alanları hakkında yeri geldikçe bilgiler vermeyi ve yeni başladığımız bir projeyi sunmayı düşünüyorum.

Projeleriniz ve ilave bilgi için, bizimle iletişime geçebilirsiniz.

IDS Fast line scan özelliği

Line scan(çizgi taramalı) kameralar tek bir satırı istenen süre(satır sayısı) kadar çekip birleştirir ve elde edilen görüntüyü verir. Genellikle yürüyen bant uygulamalarında veya döner sistemlerde kullanılmaktadır.

Örneğin: Çapı 5cm ve uzunluğu 1 metre olan demir çubuğun ölçümü yapılmak isteniyor.
1.3MP çözünürlüklü area scan(alan sensörlü) kamera ile tüm çubuğu görüntüye sığdırabilmek için bir düzenek kurduğumuzda elde ettiğimiz 1280×1024 piksel çözünürlüklü resimde boşta alanlar kalacağı için çubuk çözünürlüğü düşük olacaktır.

Aynı çubuğun görüntüsünü satır boyu 4096 piksel olan Line scan kamera ile almak istersek kamera düzeneğimizi çubuğun genişliğine göre ayarlayacağız, uzunluk ise vereceğimiz satır sayısı ile sınırlandırılacaktır. Çubuğun 4096×16000 piksel çözünürlüklü görüntüsünü elde edebiliriz.

Line Scan kameraların “Fast Line scan” ve “Triggered Line scan” olmak üzere iki farklı kullanım yöntemi vardır.

Fast Line scan : Yüksek hızlarda tarama yapabilir ve başlangıç tetiklemesi ile çalıştırılabilir.

Triggered Line scan : Fast Line scan yöntemine göre daha yavaştır. Başlangıç tetiklemesine ek olarak her bir satırın tek tek tetiklenmesi ile de çalıştırılabilir.

Başlangıç tetiklemesi için sensör, satırların tek tek tetiklenmesi için encoder kullanılabilir.

Line scan kameraların parametreleri daha fazladır. Bu yüzden kurulumu area scan kameralara göre biraz daha zordur. Kamera yerleşimine göre parametrelerin hesaplanması gerekir. Hassas ayar yapılmalı ve yüksek miktarda aydınlatma(çizgi led) kullanılmalıdır.

IDS UI-124x/UI-324x/UI-524x ve UI-125x/UI-325x/UI-525x modellerinde fast line scan özelliği bulunmaktadır. Fast line scan özelliği olan kameraların kurulumu kolaydır fakat satır ve sütun boyu kameranın çözünürlüğü ile sınırlıdır.

Yeni XS Kamera

iDS, yeni nesil, ultra kompakt XS kameraları yakında pazara sürüyor. Çok kısa sürede pazarda yer alacak olan yeni XS kameralar, test edilmek amacıyla her ülkeye yalnızca 1 adet olarak verildi. Yaptığımız testlerde çok iyi sonuçlar veren ultra kompakt yeni nesil XS kameralara ilişkin kısa bilgiler vermek istiyorum.

Son derece minimalist boyutları ve çok güçlü SDK desteği sunmanın yanısıra, çok uygun fiyatlara pazara sunulacaktır. Üzerinde otofokus lens ile geldiğinden dolayı ek bir lens maliyeti de oluşturmayacağı düşünülürse, pek çok projede düşük maliyet- yüksek kalite endeksinin yakalanmasında rol alabilir.

Yeni XS, diğer kamera modellerinde olmayan pek çok özellik ile gelmektedir. Bunlara kısaca değinelim.

Oto Fokus : Built-in autofocus (kamera üzerindeoto focus) özelliği ile sunulmaktadır. 10 cm. ye kadar mükemmel fokuslayabilmektedir. Fokus değeri, otofokus olarak kullanılabileceği gibi, yazılım ile okunabilir ve istenen değerlere set edilebilir özelliktedir. (A ürünü geldiğinde x değerine, B ürünü geldiğinde y değerine set edebilmek gibi.)

Resim Formatı : Hareketli (video) resim formatı olarak Full HD 1080p, 15 frame per second görüntü aktarabilmektedir. scaling özelliği sayesinde, field of view (görüş alanı) değişmeksizin, daha düşük çözünürlüklerde (dolayısıyla daha yüksek hızlarda) görüntü aktarabilmesi mümkündür.

CMOS sensör, 5 megapixel görüntü sunmaktadır. Tam çözünürlük 2592 x 1944 pixel dir.

Resim Kontrolü : Yeni XS, otomatik resim kontrol işlemlerini kendi içinde yapmaktadır. Böylece ek CPU yükü oluşturmaz. Bu otomatik kontroller, otomatik white balance, otomatik pozlama (auto exposure) ve auto gain (Auto ISO) özellikleridir. Üstelik, tüm bu otomatik işlemler kamera içinde oldukça hızlı gerçekleştirilmektedir.

Bunlara ilave olarak, auto contrast correction and backlight compensation fonksiyonlarını manual olarak daha detaylı ayarlayabilme seçeneğimiz de mevcut.

Renk Hesaplama : Kamera, RAW data formatındaki görüntüyü, bilgisayara istenen formata çevirerek gönderir.

XS kameraların bir diğer önemli özelliği ise, sharpness (keskinlik) ile ilgili API desteği sunmasıdır. Alınan görüntünün keskinliği (sharpness) öğrenilebilir. Bunun için uEye API SDK sına, sharpness sınıfı eklenmiştir. Bu sınıf ile, mevcut sharpness değeri öğrenilebilir, aralık alınabilir, istenen değerlere set edilebilir.

Özet olarak,

  • Geliştirilmiş API,
  • Çok uygun fiyat,
  • otofokus (ve diğer otomatikleştirilmiş özellikler)
  • çok küçük boyutlar

gibi özelliklerinden dolayı, yeni XS pek çok projede kullanılmaya aday ciddi bir kamera olarak gözükmektedir.

Sensör Teknolojisinde Quantum Verimliliği

Quantum Verimliliği (Quantum Efficiency – QE)

Sensör teknolojisinde verimlilik faktörü olarak kullanılan quantum efficiency (QE) özetle birim zamanda sensör üzerine düşen fotonların, elektrona dönüştürülme oranı olarak tanımlanır.

Formüle edilmek istenirse Qe = e-/ph olarak tanımlanır. Burada;

ph : sensöre düşen toplan foton sayısı
e- : dönüştürülen toplam elektron sayısıdır.

Dolayısıyla, verimi yüksek bir sensörde en önemli unsur, sensör üzerine düşen fotonların olabildiğince fazlasını elektrona (akım) çevirebilmektir. Bu da, gelen fotonların, geriye yansıma olmaksızın, tamamını fotodiyot üzerine düşürebilmek ve fotodiyot üzerinden akıma çevirebilmek anlamına gelir.

Günümüzde yaygın olarak kullanılan sensörler Ön Yüzeyden Aydınlatma (Front Side Illumination) olarak bilinen sensörlerdir. Bu sensörlerde yapı sırasıyla (ve özetle)

Mikrolens – Renk Filtresi – Metal İletkenler – Fotodiyot şeklindedir.

Soldaki sembolik resim, Aptina sensörleri web sitesinden alınmıştır. Gelen ışınlar (foton) en altta yer alan fotodiyotlara inene kadar, yol üzerinde yer alan metal iletkenlere çarparak geri yansıyabilmektedir. Bir diğer sorun, dalga boyu çok kısa olan mavi ışığı oluşturan fotonların, n tipi iletken bölgesinde yüzey yansımasına tabi olması ve yeterince derine sızamamasıdır. Tüm bunların sonucunda özellikle karanlık ortamlarda ön yüzey aydınlatmalı (FSI) sensörler kulanılarak alınan görüntüler daha kalitesiz olmaktadır.

Bu sorunu çözmek için, ilk olarak Sony tarafından geliştirilen ve akabinde diğer major sensör üreticileri tarafından da desteklenen yeni teknoloji Arka Zemin Aydınlatmalı (BSI – Back Side Illuminated) sensörlerdir. Bu yeni tip sensörlerde temel buluş; fotodiyotlara doğru ilerleyen fotonların yolu üzerinde yer alan metal iletkenleri yol üstünden kaldırmaktır. Bunu yapabilmek için, n tipi iletken yolu biraz kısaltılmış, fotodiyotlar mikrolense daha yaklaştırılmış, metal iletkenler fotonların yol güzergahında değil de, en altta olacak şekilde yerleştirilmiştir. Sonuç; özellikle karanlık ortamlarda artan fotoğraf kalitesi olarak karşımıza çıkar.

Sony web sitesindeki başarılı anlatım ve illüstrasyon :

BSI nispeten yeni bir teknoloji olmasına rağmen, günümüzde cep telefonlarında bile yaygın olarak kullanılmaktadır. Sony Experia Arc S (ExMor), sonra HTC, iPhone4S BSI kulanan öncü modeller olarak pazarda yerlerini almışlardır.

Mavis olarak, line scan (çizgi taramalı) kamera olarak e2V Eliixa+ serisi kameralar kullanmaktayız.

İleride Line Scan (Çizgi Taramalı) GigEVision örnekler blog sayfalarımızda yer alacaktır.

USB 3.0 Kamera ile Çok daha Hızlı Görüntü İşleme

Mavis, distribütörü olduğu IDS ueye serisi kameraların USB 3.0 ile çalışan modellerini stoklu olarak bulundurmaya başlamıştır.

CP Serisi IDS USB 3.0 kameraların getirdiği bazı avantajlar

  • 400 MByte / s hızında veri iletişimi.  (40 MByte / s hızındaki USB 2.0 dan 10 kat,  GigE den ise 3.5 kat daha hızlı)
  • 29x29x29 mm. lik kompakt boyutlar
  • 45 gram dan daha az ağırlık
  • kilitlenebilir Micro USB (endüstriyel uygulamalarda kablo gevşeme / çıkma / kopma problemleri için ideal)
  • Tetikleme, Flash ve PWM yetenekli
  • RS232 kullanımına uygun genel amaçlı I/O

Kameraların Karakteristik Özellikleri

  • 12 bit lookup table,  hardware gamma
  • 12 bit renk derinliği
  • Yüksek performanslı e2V ve Aptina sensörler (5 MP e kadar)
  • Yüksek çözünürlük ve performansta CCD ve CMOS sensörler (Sony 2012 ürün gamından)

Yazılımsal ÖZellikler

  • Kendini ıspatlamış, uEye SDK
  • Tek bir sürücü ile birlikte, GigE, USB2, USB3 tüm kameraların kullanımı
  • Programlama gerektirmeden, tüm kameraları yönetebilme ve değiştirebilme
  • IDS Camera Manager programı ile, dışarıdan tüm kameraların çalışma özelliklerini değiştirebilme
  • uEye Cocpit programı ile eksiksiz bir arayüz

Mavis, Yapay görme uygulamalarında IDS uEye kameralarını kullanmaktadır. Kameraların çok güçlü bir API (SDK) sunması, endüstriyel olması, yüksek hızda çalışabilmesi gibi pek çok özellikleri, bu seçimin en ideal olduğunu göstermektedir. MAVIS kameraları kullanmak ve distribütörlüğünü yapmak dışında, yazılım geliştiriciler için SDK desteği de sunmaktadır.

Uzak Lokasyondan Alınan Görüntünün İşlenmesi

Bilgisayarlı görüntü işleme projeleri, kameradan alınan görüntünün bilgisayar tarafından işlenmesi ve değerlendirilmesiyle oluşmaktadır. Kamera bilgisayara ne kadar uzaklıkta olabilir? Eğer USB kamera kullanılıyorsa, max. 8m, Ethernet kamera kullanılıyor ise ağ altyapısının topolojisine göre ortalama olarak max bir kaç yüz metre olarak düşünülebilir. Peki bu mesafelerin yetersiz olduğu durumlarda, görüntü aktarımı nasıl yapılabilir? Örneğin, “Orman yangını erken uyarı sistemi”, “Fotokapan”, “tetiklemeli görüntü aktarımı” gibi bir görüntü işleme projemiz olsun. Ormanın ortasındaki kamera kilometrelerce ilerideki merkezi işlem birimine görüntüyü nasıl aktarabilir? Yoksa, ormanın ortasında bilgisayar,  besleme (elektrik bağlantısı) vb. bir istasyon mu kurmak gerekir? (Her zaman pek akıl karı değil)

Bu ve benzeri tüm durumlar için, “Uzak Lokasyondan Görüntü Aktarılması” kullandığımız Keymile modemleri tanıtmak istiyorum. Keymile modemler görüntü aktarma dışında bilgi (input/output) ta aktarabildiği için, uzak alan aktarım projelerinde anahtar rol oynamaktadır.

Uzaktan Alınan Görüntünün İşlenmesi Projesi :

Uzak Lokasyondan Alınan Görüntünün İşlenmesi

Bu projemizde internet üzerinden aldığımız görüntü verilerinin işlenmesini gerçekleştirdik. Projenin diğer projelere göre tek farkı görüntüyü işleyen bilgisayar ile kameranın farklı lokasyonlarda olmasıydı. Görüntü verileri internet üzerinden görüntüyü işleyecek olan bilgisayara aktarıldı. İnternet için Türk Telekom’dan 2 Mb/s band genişliğine sahip kiralık hat (Leased Line) aldık ve bu hattın çalışması için AVD Teknolojiden tedarik ettiğimiz Keymile marka SHDSL modemleri kullandık. Bu projede kiralık hat kullanmamızın sebebi kiralık hatların, ADSL veya G.SHDSL hatlarına göre göre daha stabil çalışmasıdır. Keymile marka SHDSL modemler ile PRI hat uygulaması da gerçekleştirebilirsiniz.

 

USB pratikliğinde çalışan GigE Ethernet Kamera

Türkiye distribütörü olduğumuz iDS firması, GigE uEye CP isimli yeni kamerasının tanıtımını yaptı. ueye CP; dünyadaki en küçük Ethernet kamera ve, ethernet kablosunun dışında ayrıca bir besleme kaynağına ihtiyaç duymuyor olması gibi son derece göz alıcı özelliklere sahiptir.

Tipik USB kameralarda olduğu gibi, sadece ethernet kablosunun takılması, hem data (görüntü) hem de kameranın çalışması için enerji (power) ihtiyacının karşılanması anlamına geliyor. Etkileyici derecede küçük tasarımı ile birlikte düşünüldüğünde, Yapay Görme sektöründe bol miktarda kullanacağımız bir model olması muhtemel.

Kamera hakkında detaylı bilgi ve video tanıtımları için iDS web sitesini ziyaret edebilirsiniz.