Ana içeriğe atla

Kayıtlar

test etiketine sahip yayınlar gösteriliyor

Univera Test Otomasyon Deneyimleri

Söz verdiğimiz gibi Univera test otomasyonu projesi ile ilgili deneyimlerimizi paylaşmaya başlıyoruz. Alice Harikalar Diyarında kitabında şuna benzer bir sahne vardı: Alice dehşete kapılmış bir şekilde arkasına bakmadan koşuyor. Bir süre sonra arkasındaki tehlike her neyse bir miktar geride kalıyor. Alice ise nefes nefese koşmaya devam ediyor. Birden yol ikiye ayrılıyor, tam kavşakta bir tavşan var. Alice panik içinde, bir nefeste soruyor: “Hey tavşan, hangi taraftan gitmeliyim!” Tavşan havucundan bir diş koparıyor, ağzında güzelce çiğneyip yutuyor, sonra sakin bir tavırla soruyor: “Sen nereye gitmek istiyorsun ki?” İşte böyle… Bizim de arkamızdan azgın bir pazar koşuyor. Ama her şey iyi bir planlamayla başlar derler. O hâlde sakin kalıp sormakta fayda var: Biz gerçekten de nereye gitmek istiyoruz? İşte bizim zirvesine ulaşmak istediğimiz dağ: Yazılım ve test uzmanları omuz omuza, ele ele, diz dize beraber çalışarak, hataları çözerek değil, hataların oluşmasına izin ...

Yazılamayan “Test Otomasyonu” yazısı

Yıllar önce şöyle bir şey duymuştum: Satın aldıkları ürünü beğenen tüketiciler memnuniyetlerini 2-3 kişiye söylerken memnun olmayanlar en az 10 kişiyle şikâyetini paylaşırmış. Bu yazıyı hazırlamadan önce, bu sözü doğru hatırladığımdan emin olmak için internette kısa bir tur yaptım ve tabii fazlasını buldum. Mesela Pete Blackshaw adında biri şöyle bir kitap yazmış: “Mutlu müşteriler 3 arkadaşına söyler, kızgın müşteriler 3000”. Bir diğeri gül kondurmuş: “Mutlu müşteriler 3 arkadaşına söyler, kızgın müşteriler Google’a söyler” Kendinizi düşünün, arkadaş sohbetlerinizde satın aldığınız bir ürünle ilgili daha çok memnun olduğunuz vakaları mı anlatıyorsunuz yoksa şikâyetlerinizi mi? Demek ki, öncelikle müşteriye sorunsuz ürün vermek gerekiyor. Müşteri memnun olduğunu arkadaşlarıyla paylaşmasa da çok önemli değil. Önemli olan müşteri için şikâyet etmesini gerektirecek bir durum oluşmasını engellemek. Başka bir deyişle, odaklanmamız gereken şey, müşteriye “mutluyum” dedirtmek d...

Yazılımda Test Süreçleri

Amaç:  Dokümanın amacı ve test aktivitelerinin özeti burada tanımlanır. Arka Plan veya Zemin:  Geliştirme evreleri ve süreçler burada tanımlanır. Örneğin hali hazırda kullanılan sistemin hali, istenilen yenilikler tanımlanır ve eski data işlemleri bittikten sonra datanın hangi formata nasıl bir süreç içerisinde dönüştürüleceği belirtilir. Proje süreçleri, alt yapı ihtiyaçları sürüm numaraları ile numaralandırılmalıdır. Değişen ihtiyaç ve datanın alacağı formatlar da belirtilmelidir.  Kapsam:  Test kapsamı ve testin içerikleri burada tanımlanır. Zamanlama:  Yapılacak işlerin zamanlama çizelgesi burada verilir.

Test Derinlikleri

Test derinliği kavramı; test tiplerinin uygulanması gereken test safhalarını ifade etmektedir. “Birim Testi” safhasında “Fonksiyonel Test Tipi”, “Entegrasyon Testi” safhasında “Performans Test Tipi”, “Sistem Testi” safhasında “Yapısal Test Tipi”, “Kullanıcı Kabul Testi” safhasında da “Onay Regresyon Test Tipi” kullanılır. Birim Testi Birim testleri kodlama esnasında yapılır, “Ünite Testi” olarak da bilinir. Bağlı oldukları diğer sistem unsurlarından tümüyle soyutlanmış olarak birimlerin çalışırlığını doğrulamak amacıyla yapılır.

Birim (Unit) Testinde Dikkat Edilecekler

Bundan önceki yazılarmızda Birim testleri ve TDD (Test Driven Development) ile ilgili genel bilgiler vermiştik. TDD (Test Güdümlü Geliştirme); Production kodunu yazmadan önce test kodlarını geliştirme yaklaşımıdır. Kısa development döngülerinin tekrarlanması üzerine kurulu bir yazılım geliştirme tekniğidir…   Birim (Unit) testleri; Birim testi bir yazılım projesindeki metotların, fonksiyonların doğru çalışıp çalışmadığını anlamak için oluşturulan testtir. Bir testin birim testi olabilmesi için test edilecek birimlerin ayrı ayrı ele alınması gerekmektedir.   Şu andaki tecrübelerimizle (!), gerçek hayatta, Birim testlerinde nelere dikkat etmeliyiz bir göz atalım; Test fonksiyonları küçük ve hızlı olmalı. (Her check-inden sonra çalıştırmak ideal olacağı için.) Otomatik olarak çalışabilir olmalı. Bir buton click ile kolayca çalıştırılabilmeli. Code covarage yüksek olmalı ve ölçülebilmeli, gözlenmeli. Birim testinde hata alınan yer derhal düzeltilmeli. Sadece birimlerin işle...

Visual Studio 2008 Test Edition Web ve Load Test İncelemesi (Bölüm 7) – Load Test

Bir önceki makalemizde Web Testi ile test senaryosunu oluşturmuş ve yük testi için hazır hale gelmiştik. Load Test/Yük testi, uygulamanın farklı senaryolarda sergileyeceği performansın ölçülmesini sağlayan bir test yöntemidir. Çoğu zaman, eğer uygulamamız tek bir makinede çalışıyorsa, performansı hakkında bir fikir sahibi olabiliriz. Fakat web uygulaması gibi performansın etkilenebileceği pek çok faktörün bir araya geldiği durumlarda, uygulamamızı ancak yük testinden geçirerek sonuçlarına göre iyileştirmeler yaptıktan sonra daha sağlıklı fikrimiz olur. Visual Studio içerisinde gelen yük testi, farklı tarayıcılarla, farklı kullanıcı profilleri için hafif ve ağır yük senaryolarını oluşturabilecek pek çok özellik içermektedir. Bunu, yerel makinemizde basitçe uygulayabileceğimiz gibi (gerçekçi sonuçlar vermeyebilir), pek çok farklı makineyi dâhil ederek de (bir “Controller”, bir veya birden fazla “Agent”) uygulayabiliriz. Yük Testi Oluşturulması Daha önce oluşturduğumuz test projesi içeri...

Visual Studio 2008 Test Edition Web ve Load Test İncelemesi (Bölüm 6) – Web Test

İlk 5 makalemizin ardından ( Bölüm 1 , Bölüm 2 , Bölüm 3 , Bölüm 4 , Bölüm 5 ), web test uygulamasının oluşturulması ve yük testi adımlarına geçiyoruz. Web Test, bir web sayfasının / uygulamasının / servisinin veya bunların kombinasyonlarının işlevselliğini denemek için uygulanan, tarayıcınızdaki http isteklerini (GET/POST) kaydedip sonrasında bunları aynı sırayla çalıştıran test yöntemidir. Bu test yöntemi, uygulamanın performansını anlık ölçmek için kullanılabileceği gibi, yük testinin bir senaryosu olarak da kullanılabilir. Bu test yönteminde farklı kontrol ve değer alma kuralları mevcuttur. Kontrol yöntemleri; ekran alan isimleri, metin, etiketler, http istemleri sırasında geçen süreler için kullanılabilir. Sonuçları olmasını beklediğimiz değerlerle kıyaslayıp, sistemin kıstaslarımıza olan uygunluğunu ölçebiliriz. Kullanılabilecek araçlar ve senaryo kayıtlarının oluşturulması Web Test için kullanılabilecek 2 araç mevcuttur. Bunlardan biri, Microsoft Web Test Recorder, diğeri ise, ...

Visual Studio 2008 Test Edition Web ve Load Test İncelemesi (Bölüm 5) - Ağ Dışında (Workgroup) Agent ve Controller Servisleri için Kullanıcı ve Grupların Düzenlenmesi

Kurulum ve kullanım ile ilgili bölümlere başladığımız makale serimizde ( Bölüm 1 , Bölüm 2 , Bölüm 3 , Bölüm 4 ), yük testi sırasında  uzak makineler için metriklerin toplanmasında yaşayabileceğimiz olası bir probleme ve çözümüne değineceğiz. Böyle bir problem ile karşılaşıldığında, yük testi raporunda şöyle bir hata görülür; “Exception LoadTestCounterCategoryNotFoundException-The performance counter category ‘Network Interface’ cannot be accessed on computer '….' (Access is denied) ; check that the category and computer names are correct.” Uzak bir makinenin performans metriklerini toplayabilmek için, eğer çalıştırılan sistem bulunduğunuz ağın dışında (örn: sanal makinelerden oluşan ağ) ise, öncelikle, “controller” ve “agent” servislerinin kurulu olduğu sistemler üzerinde gerekli erişim haklarına sahip kullanıcıların yaratılması ve bu kullanıcıların, bazı özel test gruplarına dâhil edilmesi gerekmektedir. Bunun için, bu makinelerde önceden belirleyeceğimiz kullanıcı isimlerini...

Test Attributes (TDD, Birim Testleri)

Bu yazımızda Test Driven Development (TDD) , Unit Test ve Test Projesi Oluşturma makalelerinin ardından bazı test attribute’ların neler olduğuna değinilecektir. Test Attribute’lar test methodlarının başlarında yer alır ve ilgili metodu özelleştirmek için kullanılır. Bazı attribute’lar Test Projesinin tamamında etkili olmak üzere kullanılırlar. Test Attributes AssemblyInitialize: Assembly tarafından tahsis edilen kaynakların yer aldığı metot için kullanılır. Tüm test sınıfları çalışmadan önce çalışacak olan metodun başında yer alır. AssemblyCleanup: Assembly tarafından tahsis edilen kaynakların serbest bırakıldığı metot için kullanılır. Tüm test sınıfları çalıştıktan sonra çalışacak olan metodun başında yer alır. TestClass: Test sınıfını oluşturan attribute’tur. Her test metodu için başlangıç durumuna gelir. ClassInitialize: Test sınıfı tarafından tahsis edilen kaynakların yer aldığı metot için kullanılır. ClassCleanup: Test sınıfı tarafından tahsis edilen kaynakların serbest...

Visual Studio Team System 2008 Altında Test Projesi Oluşturmak ve Çalıştırmak (TDD ve Birim Testleri)

Bu makalede Test Driven Development ve Unit Test makalelerinin ardından bir test projesinin nasıl açılacağına ve Unit Test’in Visual Studio Team System 2008 altında nasıl yazılacağına değinilecektir. Test Projesi Oluşturulması File –> New Project altından çıkan penceredeki ağaç yapısında Test Projects/Test Documents seçilir ve Test Project ismi verilerek proje oluşturulur. Şekil 1. Test Projesi Oluşturma Test Sınıfı Oluşturulması Test sekmesinden “New Test” Seçilir. Şekil 2. Test Sınıfı Oluşturma Yeni pencerede Unit Test seçilerek ismi verilir ve test sınıfının oluşması sağlanır.

Birim Testleri

Bir önceki makalemizde TDD yaklaşımına değinmiştik. Bu yazımızda TDD yaklaşımında önemli yer tutan birim testlerini inceleyceğiz. Birim testi bir yazılım projesindeki metotların, fonksiyonların doğru çalışıp çalışmadığını anlamak için oluşturulan testtir. Bir testin birim testi olabilmesi için test edilecek birimlerin ayrı ayrı ele alınması gerekmektedir. Birim testi bir bütünü oluşturan birimlerin entegre testi değildir. Ayrıca bir test; Veritabanı ile ilişkiliyse, Network üzerinden iletişim sağlıyorsa, Dosya sistemiyle ilişkisi varsa, Başka birim testleriyle aynı zamanda çalışamıyorsa, Çalıştırılmak için özel bir konfigürasyon bekliyorsa bu testin birim testi olduğunu söyleyemeyiz (Microsoftun bu konudaki yaklaşımında farklılıkar bulunmaktadır, ilerleyen makalelerde değineceğiz). Bunların yanında birim testi hem Test Güdümlü Yazılım Geliştirme Sürecini kolaylaştırır hem de uygulamamızın her bir biriminin sorunsuzca çalıştığından emin olmamızı sağlar.

Test-Driven Development(TDD)

Production kodunu yazmadan önce test kodlarını geliştirme yaklaşımıdır. Kısa development döngülerinin tekrarlanması üzerine kurulu bir yazılım geliştirme tekniğidir. 1999 yılında eXtreme Programming ile başlamıştır. İlk önce yazılımcı yeni yazacağı fonksiyon ya da metodun test case’lerini yazar. Bunu yapabilmesi için de o birimin ne yapması gerektiğini iyi bilmesi gerekmektedir, yani analizin düzgün ve istenilen şeylere cevap verebiliyor olması gerekmektedir. İhtiyaçlar Test güdümlü geliştirme production kodu yazılmadan önce yazılmış olan birim testlerinin otomatize bir şekilde yaratılarak çalıştırılmasına ihtiyaç duyar. Testler belli başlı varsayımlar (iddialar)içermelidirler. Test geliştiriciye doğru sonuçları ürettiğini ispatlıyorsa kodun refactor yapılabileceği anlamı çıkarılabilir. Sağlayamıyorsa ya test kodu gözden geçirilmelidir ya da production kodunda düzeltme yapılması gerekebilir. Neden TDD? TDD ile yazılacak kodun test birimleri istenildiği an çalıştırılıp programın daha a...

Visual Studio 2008 Test Edition Web ve Load Test İncelemesi (Bölüm 4)

Diğer makalelerimizde kurulum sürecini tamamladığımız ( Bölüm 1 , Bölüm 2 , Bölüm 3 ) Visual Studio 2008 Test Edition’ın bu makale ile birlikte kullanımına giriş yapacağız. Visual Studio içerisinden Controller Seçimi ve Yönetimi Visual Studio Team System Test Edition kurulduktan sonra, “Test” menüsünden, “Administer Test Controllers …” menü adımına tıklayalım. Eğer ilk kez giriş yapılıyorsa, ekran görüntüsü aşağıdaki gibi olacaktır. Yük testi sonuçlarının kaydedilebilmesi için, “Load Test Results Store” adı altındaki veritabanı bağlantı metnini kontrol etmeniz gerekmektedir. Bağlantı için gereken veritabanı adı “LoadTest” olmalıdır. Bu ayar yapılmadığı takdirde, yük testi gerçekleştiremezsiniz. Yük testini sadece yerel makinenizden yapacaksanız, “Web Testing”  bölümüne geçebilirsiniz.

Visual Studio 2008 Test Edition Web ve Load Test İncelemesi (Bölüm 3)

Son makalemizde, Bölüm 2’de anlatmaya başladığımız kurulum sürecinin devamındaki Controller ve Load Agent servislerinin kurulumlarını detaylandırmaya çalışacağız. Controller Kurulumu Controller kurulumu için, açılan kurulum sayfasından, “Install Team Test Load Agent Controller” bağlantısına tıklamanız gerekmektedir. Biraz bekledikten sonra, aşağıdaki ekran görüntüsü karşımıza çıkar. Burada, Controller servisinin açılışta otomatik başlatılması için, ilgili makinede mutlaka Yönetici (Administrator) haklara sahip kullanıcı adı ve şifresi girilmelidir . Aksi durumda, kurulum başarı ile tamamlansa bile servis başlatılamaz. Kurulum sonrasında yapılması gereken basit ama yapılmadığı durumlarda, Visual Studio – Controller – Load Agent çemberinde iletişim problemlerini gideren bir ayarımız var. Bu düzenlemenin yapılmadığı durumlarda, kullanılan makinelerinizin statik IP adresi yoksa ve/veya yerel ağ bağlantısı varken, kablosuz ağ bağlantısı da açıksa, servisle...

Visual Studio 2008 Test Edition Web ve Load Test İncelemesi (Bölüm 2)

Kurulum ve Ayarlar Bölüm 1’de genel bir giriş yaptıktan sonra Visual Studio Test Sürümünün kurulumuna başlıyoruz. Bunun için, aşağıda belirtilen bağlantılardan 90 günlük deneme sürümlerini indirebilirsiniz. Team System Team Suite için: http://www.microsoft.com/downloads/details.aspx?FamilyId=D95598D7-AA6E-4F24-82E3-81570C5384CB&displaylang=en Team Suite Test Load Agent için: http://www.microsoft.com/downloads/details.aspx?FamilyID=572e1e71-ae6b-4f92-960d-544cabe62162&DisplayLang=en Team Suite Kurulumu Bir süre bekledikten sonra, kurulum şeklini soran bir ekran karşımıza gelecektir. Burada, bütün araçların kurulması için tam kurulumu seçebiliriz veya eğer, özel kurulum seçiliyorsa, aşağıdaki ekran karşımıza geldikten sonra;

Visual Studio 2008 Test Edition Web ve Load Test İncelemesi (Bölüm 1)

Yazılım testi, yazılım geliştirme yaşam döngüsündeki en önemli fazlardan biridir. Çıkan ürünün kalitesi; tasarım, kodlama, test ve sonucunda da sistem ihtiyacının karşılanmasına bağlıdır. Yazılım kalitesi, farklı test araçları kullanılarak elde edilen metrikler ile ölçülebilir. Daha önceki yazılarımızda yazılım sürecinde meydana gelen hatalara   ve bu hataların nasıl yönetildiğine değinmiştik. Build Automation and Continuous Integration başlıklı yazımızda, yazılım geliştirme sürecinde, sürekli tümleştirmenin önemini vurgulayarak, bir test aracı ile test scriptlerinin sürekli çalıştırılacak olmasının, yapılan geliştirmelere bağlı hataların tekrar ortaya çıkmasını önleyeceğini anlattık.

HttpWatch ile Sniffing

Tüm web uygulamaları, Http veya Https protokolleri üzerinden çalışırlar. En basit uygulamada bile HTML sayfasının üzerindeki grafikler ve scriptler için web sunucusuna birden fazla Http Request gönderilir. Dolayısı ile profesyonel uygulamalarda, tarayıcı ile web sunucusu arasındaki Http paketlerinin incelenebilmesi oldukça önemlidir. En çok kullanım alanları; Arıza arama (Trouble shooting) Performans ayarlama (Perfermance tuning)  Web sitesinden akan bilgilerin güvenliği olup olmadığını inceleme HttpWatch programı, Internet Explorer ve Firefox gibi tarayıcılarla entegre çalışarak, web sayfalarına her erişimde gelen-giden Http paketlerinin izlenmesini sağlar. Eğer https üzerinden güvenli bir siteye bağlanırsanız, kullanıcıların göreceği şekilde paketleri otomatik olarak decrypt eder. Geleneksel network izleme programları sadece düşük seviye network verilerinin (low-level data) izlenmesini sağlarken, HttpWatch programı optimize edilmiş Http verilerinin hızlı ve anlaşılabilir şeki...

Build Automation and Continuous Integration

Başta XP (eXtreme Programming) olmak üzere, çevik yazılım geliştirme süreçlerinde ; set otomasyonu ve sürekli tümleştirme (Build Automation and Continuous Integration) işlemleri önemli bir yer tutmaktadır. Bu işlemlerin temel amacı, set yapımı ve kod entegrasyonu maliyetlerini düşürmektir. Ek olarak, ileride yapılacak geliştirmelere bağlı olarak değişim maliyetlerini düşürmek hedeflenmektedir. Büyük ve kapsamlı projelerin set yapım süreçleri de aynı derecede karmaşıktır. Farklı birçok kişi ya da grupların çalışmış olduğu projelerin ve dosyaların bir araya getirilmesi, entegre edilmesi ve uygulamaların test edilmesi yüksek maliyetler oluşturmaktadır. Bu işlemlerin süreklileştirilmesi ve otomatikleştirilmesi, ayrıca yazılım geliştirme süreçlerinin bir parçası haline getirilmesi, önemli kazanımlar getirecektir. İşte tam da bu noktada FinalBuilder gibi çeşitli uygulamalar kullanılmaktadır. FinalBuilder, Vsoft Technologies firmasının geliştirmiş olduğu görsel olarak oluşturulabilen scriptl...

FMEA (Failure Mode Effect Analysis) – Bölüm 2

İlk makalemizde FMEA’ya genel giriş yapmıştık. Bu makalemizde FMEA türlerine değineceğiz. FMEA temel olarak 4’e ayrılır: Sistem FMEA Tasarım FMEA Proses FMEA Servis FMEA 1. Sistem FMEA Sistem ve alt sistemleri analiz ederek, sistemin eksiklerinden doğan sistem fonksiyonları arasındaki potansiyel hata türlerini belirlemeye odaklanır. Hedefi, sistemin kalitesini, güvenirliğini ve korunabilirliğini artırmaktır. Sistem FMEA’nın faydaları şunlardır: Sistemi etkileyen potansiyel problemlerin bulunabileceği alanlar daralır. Sistem içerisinde uygulanacak prosedürler için bir temel oluşturulmasına yardımcı olur. Sistem içerisindeki fazlalıkların tespit edilmesine yardım eder. Optimum sistem tasarım alternatiflerinin seçilmesinde yol gösterir. 2. Tasarım FMEA Tasarım hatalarından doğan hata türlerine yönelik olarak üretime başlamadan önce ürünlerin analiz edilmesinde kullanılır. Hedefi, tasarım kalitesini, güvenirliğini ve korunabilirliğini artır...

FMEA (Failure Mode and Effects Analysis) – Bölüm 1

FMEA (Failure Mode and Effects Analysis), Türkçe’ye “Olası hata veya başarısızlık türleri ve etkilerinin analizleri” olarak çevrilebilir. Sistem ve donanım hatalarının etkilerinin belirlenmesi ve bu etkileri değerlendirme amacı ile ABD ordusunda geliştirilmiştir. FMEA metodu, genellikle sistemin yazılımsal parçaların ve donanımsal ekipmanların analizine odaklanır. FMEA analizi yardımıyla olası zarar meydana getirecek durumlar önceden sezilerek önlemler geliştirilir. Böylece olası zararların artış olasılığı da giderilmiş olur. FMEA çalışmasında, yeni bir ürün geliştirirken veya dizaynı oturmuş bir üründe önemli bir değişiklik veya geliştirme yapılırken, prototip üretiminde ya da seri üretimde özellikle sonuncu kullanıcıya ulaşabilecek olası hatalar, bunların cinsi, sebepleri, etkileri, kritikliği, frekansı, ortaya çıkma sıklıkları, tahmin edilebilir. FMEA terimi bünyesinde bir grup sistematik faaliyeti barındırır. Bu faaliyetler 3 ana grupta incelenebilir; Bir ürünün tasarımı,imalatı ve...