Hadoop

 Hadoop - a software framework for storing, processing and analyzing "big data".
- is open source
- is a large ecosystem: Hue, Solr, Flume

MapReduce

Это подход, алгоритм, ну или паттерн, тут уж как кто назовет, параллельной обработки больших объемов сырых данных, например результатов работы краулеров или логов веб запросов, вообще по статистике до 80% задач могут маппится на MapReduce, и именно MapReduce драйвит NoSQL. Существуют разные имплементации MapReduce. Достаточно известна и запатентована реализация этого алгоритма и подхода Google. Или как пример MySpace Qizmt — MySpace’s Open Source Mapreduce Framework, также используется в Hadoop, MongoDb и еще много разных примеров можно привести.

Hadoop: Pig

Pig - єто расширение Hadoop, призваное упростить програмирование за счет високоуровневого язика обработки данних.
Pig состоит из двух основних компонентов:
- язик обработки данних  Pig Latin
- компилятор

Oozie – диспетчер потоков работ для платформы Hadoop

Большие данные в необработанном виде редко соответствуют требованиям Hadoop-разработчика к данным, соблюдение которых необходимо для успешного выполнения задач обработки данных. Обычно перед выполнением любых реальных заданий по обработке данных необходимо применять различные ETL-операции (extract/transform/load - извлечение/преобразование/загрузка) и операции предварительной обработки. Oozie— это инфраструктура, которая помогает автоматизировать этот процесс. Она представляет эту работу в виде воспроизводимых единиц или потоков работ, которые впоследствии можно многократно использовать без написания какого-либо нового кода или новых процедур. В статье описывается применение Oozie при создании различных типов потоков работ.

More info is here

JMeter Functions

1. Referenced as ${__functionName(properties)}
    - Like variables, can use in JMeter properties
2. Use Options > Function Helper Dialog
    - Choose a function
    - Enter parameter values
    - Click "Generate", then copy/paste function
3. Helpful functions
    - ${__javaScript(expression to evaluate)}
    - ${__threadNum()}
    - ${__Random(min, max, varname)}
    -  ${__regexFunction(regEx, template, match, ...)}

Was taken from here

JMeter Variables

1. Define global variables
    - Test Plan (root element)
    - Config Element > User Defined Variables
2. Define virtual user variables
    - Pre processors > User Parameters
    - Config Element > CSV Data Set Config
3. Reference as ${variableName}
    - Can be used in nearly any property
    - Scope determined by location in hierarchy

Variables from a CSV file
1. Create a CSV file with the data you want to use    
     - No label row; save in same folder as .jmx file
2. Add "Config Element > CSV Data Set Config"
     - Add under the Thread Group that will use it
     - Set Filename = filename.csv
     - Set Variable names = username,password (e.g.)
 3. Set variables in HTTP Request "Send Params"
     - Name = username, Value = ${username}
     - Name = password, Value = ${password}
 4. Will read in data with each new thread, or with loops

JMeter: parallel test execution

1. To start, add 3 thread groups under Test Plan
2. Add HTTP Request to each, with appropriate URLs
3. Add Listener under Test Plan
4. Move the 3 requests under one Thread Group
5. Choose all 3, right click, choose "Insert Parent...". Choose Controller > Random Controller (Simple Controller, If Controller)