機械の自動化におけるログやイベントデータはビジネス向け解析データと全く違う性質を持っています。今やビジネスやマーケティング用に構築したシステムの解析に費用をかける時代ではありません。
イベントデータはFFWDを介してリアルタイムに解析、検索、可視化が可能になります。
FFWDは超高速、低価格で自動化や機械生成のイベントデータを処理する為に構築されています。
リアルタイムのイベント収集やパイプライン化は解析とモニタ作業においてしばしば問題となる領域です。
このような既知の課題を認識し、シンプルなイベントデータ収集、解析、変換、転送機能を統合しました。
FFWD-UC (Universal Collector)はFFWDと共に、本質的な解析とリアルタイムパイプラインを単一の強靭なエンドツーエンドシステムに統合しています。
何十億にも上るイベントに対して、複雑なクエリ (問い合わせ)を数秒で構築し、実行することができます。
バックグラウンド処理でCPUを無駄にすることはありません。
FFWDは数十億のイベントに対して効率的、また段階的にクエリを実行し、CPUに高負荷をかけません。
ユーザはクエリを一時停止して応答を確認・再開が出来、検索結果が既に見つかっていればクエリを途中で終了することも可能です。
様々な環境条件に左右されるデータに対して、手動でアラートの閾値を設定するのは容易ではありません。
FFWDは、過去のデータから学習し、今後の受信データについて、信頼度を設定した範囲内で予測を行います。
基本的な閾値を超えたデータを監視、異常値や外れ値を捕捉します。
FFWDは、独自の拡張性のある効率的な実装により、数千のグラフパネル (Dashboard)に対して異常検知の監視を可能にし、基盤となるCPUにほとんど影響を与えず異常検知を実現します。
FFWDはPrometheus のメトリックバックエンドを組み込んでいます。
Prometheus Remote-Writeエンドポイントにネイティブなメトリックを送ることが可能で、かつ生 (raw)のログデータ (データ量大)から実用的なメトリック (数値)にリアルタイムに変換 (データ量小を抽出)することが可能です。
必要に応じたダッシュボードの構成が可能です。
複数のページのダッシュボードを複数のグラフパネルでモニタ、可視化し、維持します。
数千のグラフを常時監視することが可能です。
非常事態発生時には、一見無関係に見えるデータ群が高い相関性を示すことがよくあります (ほとんどの場合後日談で発覚)。
FFWDは、複数のデータ群のトレンドをリアルタイムにかつ視覚的に比較、相関性を見出し、トラブルシューティングに役立つ情報を提供します。
単一のログイベントからアラートを発生させたり、グラフパネル上で閾値を設定したり、マシンラーニングの異常検出が異常値イベントを捕捉したときに通知したりすることができます。
ログや指標の閾値、異常アラートを簡単に添付し、メールやslack、webhookで通知を受け取り、アラート履歴の全記録をダウンロードすることができます。
正規表現を構文化する際、技術的に難しいという理由で、しばしば間違いが起こります。
FFWD-UCは独自のWeb-UIで、正規表現解析作業の複雑さと難しさを完全に解消します。
さらに、解析とルーティングの異なる作業を単一の ワークフローで実現し、コンテンツ形式に基づいてログを異なる宛先にルーティングすることが可能です。
パイプラインの設定、展開、収集機能を一元的に管理します。
FFWD-UCではそれぞれのUCを簡単に管理し、リアルタイムに数百の拠点にばら撒いた数千のUCの健全性をリアルタイムで確認可能です。
各サイト (Edgeサーバ他)への展開はK8sまたはDockerで行います。
FFWD-UCはよく使われるイベント元のコネクタ (形式対応)を備えている為、生 (raw)のイベント (syslog、NGINX他)を即時に収集開始することが可能です。
FFWDでは更に転送先の選択肢も備わっており、簡単にオブジェクトストレージやSplunk等に転送することが可能です。
イベント転送時にはフィルタやマスキング、切り離しや重複排除が簡単にU Iで設定可能です。
設定は一元管理され変更は即時に反映されます。
FFWDのイベント収集、ルーティング、転送、変換はマルチスレッドで高パフォーマンスに構築されており、少量のCPUのリソースしか消費しません。
またFFWD-UC は限られた数MBのRAMでも動作するよう設計されています。
Contact us about FFWD SAAS
Contact us about FFWD Private Cluster