Бірнеше көздер мен тағайындаулар
Қадамдарды қалай пайдалану керек, бірнеше жүйелерден деректерді жинау және нәтиженің әртүрлі бөліктерін бірнеше тапсырмаларға жіберу.
Автоматты аударма
Режим steps бір жұп болған кезде қажет source және destination жеткіліксіз. Ол бірнеше жүйелерден деректерді алуға, оларды бір JavaScript өңдеушісіне беруге, содан кейін нәтижені бірнеше тапсырмаларға жіберуге мүмкіндік береді.
Қадамдар қалай орындалады
Автоматтандыру қадамдарды өріс бойынша бөледі kind:
- барлық қадамдар
sourceпараллель орындалады; - дереккөздердің нәтижелері олар бойынша объектіге жиналады
id; - жиналған объект үшін өңдеуші бір рет шақырылады;
- барлық қадамдар
destinationпараллель орындалады; - әрбір тапсырмаға бүкіл нәтижені немесе таңдалған өрісті беруге болады.
Автоматтандыру кем дегенде бір көзді және бір мақсатты қамтуы керек. Қадамдардың максималды саны — 50.
Қадам құрылымы
| Өріс | Міндетті | Мақсаты |
|---|---|---|
id |
Иә | Бірегей қадам атауы. Әріптен басталады, әріптер, сандар бар, _ немесе -, 64 таңбадан аспайды. |
kind |
Иә | source немесе destination. |
type |
Иә | Көзі және мақсаты: http немесе artifact. |
method |
Жоқ | HTTP әдісі. Әдепкі бойынша, көз үшін GET және тағайындау үшін post. |
url |
HTTP үшін | Абсолютті HTTP немесе https мекенжайы. |
headers |
Жоқ | Сұрау тақырыптары. Қолдау ${secrets.NAME} және ${artifacts.alias.field}. |
body |
Жоқ | Http көзі немесе тағайындалған сұрау денесі. Тағайындалған денесіз таңдалған transform нәтижесі жіберіледі. |
response |
HTTP көзі үшін | Жауап форматы және кодтау. |
request |
HTTP тағайындау үшін | Жіберілетін деректердің пішімі және кодталуы. |
input |
тек тағайындау үшін | Бұл қадамға өңдеуші нәтижесінің немесе қосылған артефактінің қай бөлігі жіберіледі. |
Екі көзі бар мысал
version: 1
trigger:
type: schedule
cron: "0 4 * * *"
timezone: Europe/Moscow
steps:
- id: orders
kind: source
type: http
method: GET
url: https://sales.example.com/api/orders
headers:
Authorization: "Bearer ${secrets.SALES_TOKEN}"
response:
format: json
- id: employees
kind: source
type: http
method: GET
url: https://accounting.example.com/export/employees.xml
headers:
X-API-Key: "${secrets.ACCOUNTING_KEY}"
response:
format: xml
encoding: windows-1251
- id: analytics
kind: destination
type: http
method: POST
url: https://analytics.example.com/import
headers:
Authorization: "Bearer ${secrets.ANALYTICS_TOKEN}"
input: ${transform.output.analytics}
request:
format: json
- id: archive
kind: destination
type: http
method: POST
url: https://archive.example.com/daily.csv
headers:
X-API-Key: "${secrets.ARCHIVE_KEY}"
input: ${transform.output.archive}
request:
format: csv
encoding: utf-8
options:
delimiter: ";"
transform:
type: javascript
timeout_seconds: 3
retry:
attempts: 3
delay_seconds: 10
Өңдеуші не алады
Берілген конфигурация үшін input оның келесі формасы бар:
{
orders: /* декодированный ответ шага orders */,
employees: /* декодированный ответ шага employees */
}
Нысан кілттері сәйкес келеді id дереккөздер. Сондықтан идентификаторларды қысқа және түсінікті етіп жасаған дұрыс.
Өңдеушінің мысалы:
function transform(input, context) {
const orders = Array.isArray(input.orders?.items)
? input.orders.items
: [];
const employeeList = input.employees?.Employees?.Employee;
const employees = Array.isArray(employeeList)
? employeeList
: employeeList
? [employeeList]
: [];
const employeeById = {};
for (const employee of employees) {
employeeById[String(employee.Id)] = employee;
}
const rows = orders.map((order) => ({
orderNumber: String(order.id),
employeeName: employeeById[String(order.employee_id)]?.Name || "Не найден",
amount: Number(order.amount || 0),
}));
return {
analytics: {
generatedAt: context.started_at,
rows,
},
archive: rows,
};
}
Тағайындау үшін деректерді таңдау
Өріс input екі нұсқаны қолдайды.
Барлық нәтижені жеткізіңіз:
input: ${transform.output}
Нысан өрісін беру:
input: ${transform.output.analytics}
Кірістірілген өрістерге қолдау көрсетіледі:
input: ${transform.output.exports.accounting}
Егер input көрсетілмеген, тағайындау өңдеушінің барлық нәтижесін алады.
Селектор тек нысан өрістерімен жұмыс істейді. Ол массив индекстерін және ерікті JavaScript өрнектерін қолдамайды.
Қате болған кезде не болады
- Егер кез-келген дереккөз қатемен аяқталса, өңдеуші мен тағайындаулар іске қосылмайды.
- Егер өңдеуші қатемен аяқталса, тағайындаулар басталмайды.
- Егер бір немесе бірнеше тапсырма қатемен аяқталса, іске қосу мәртебесін алады Қате проблемалық қадамдарды тізімдеу арқылы.
- HTTP тағайындаулары үшін жалпы параметр қолданылады
retry; артефакт бір транзакциямен жазылады.
Көздер мен тағайындаулар өз тобында параллель орындалады, сондықтан екі көз арасындағы немесе екі тағайындау арасындағы орындалу ретін есептеу мүмкін емес.
Қадамдар қажет болмаған кезде
Қолданбаңыз steps тек болашақ кеңейту үшін. Бір жүйеден екіншісіне оңай тасымалдау үшін конфигурация source және destination қысқа, түсінікті және қолдау оңай.
Барлық өрістердің анықтамалығына өтіңіз: Автоматтандыру конфигурациясы.
Нәтижені компания ішінде сақтау үшін мыналарды қосыңыз artifact мақсаты. Өріс name артефакт атауын анықтайды; мұндай қадамда HTTP өрістеріне тыйым салынады.
Барлық кезеңдердегі кіріс артефактілері
Қосыңыз artifacts: {settings: service.settings} конфигурацияның түбірінде. Мәндер қол жетімді source, conditions, transform және destination. Дереккөз type: artifact с name сақталған мәнді қайтарады; http қолдайды ${artifacts.settings.field} URL, тақырыптар және JSON-да. В steps тағайындау таңдай алады input: ${artifacts.settings}. Шарттар қолданылады path: artifacts.settings.field немесе input.field; value қосылған артефактіге сілтеме жасай алады. Өңдегіште оқыңыз context.artifacts.settings.
Кіріс мәндері іске қосу басталғанға дейін бір рет жүктеледі, оның ішінде тексеру. Артефакт болмаған кезде іске қосу қатемен аяқталады. Оқиғалар үшін дереккөз оқиғаның конверті болып қалады, бірақ блок artifacts дәл осылай жұмыс істейді. Толық мысал, типтік ережелер, шектеулер мен қателер-в артефактілер автоматтандыру.