Kafka Streams API

Stream processing designed for developers

The Streams API in Kafka is an open-source solution that you can integrate into your application to build and execute powerful stream processing functions. If you use Kafka for stream data transport, the Streams API in Kafka can immediately add stream processing capabilities to your application without the burden of adding an entirely separate distributed processing cluster for another stream processing framework. Whether you have an IoT application, a monitoring function, a complex continuous query, or you are tracking inventory changes, the Streams API in Kafka enables you to build your application with ease.

The Streams API in Kafka is included with the Apache Kafka release v 0.10 as well as Confluent Enterprise v3.0.

Download Confluent Platform
Kafka

複雑な今日のストリーム処理環境

ストリーム処理 API は非常に強力なツールです。ただし、その計り知れない能力には、いくつか複雑な面もあります。マシンに専用のクラスタが必要となり、検索や集計を実行するためには分散型データベースを要することが多い点などです。また、アプリケーションに古いデータの再処理能力が必要となる可能性もあります。

結果として、アプリケーションを動作させるためには、多数の可動部分を相互に同期された状態で維持しなければならない自体が発生します。

そこで、The Streams API in Kafka をご紹介します。

The Streams API in Kafka に関するブログ記事を読む
複雑な今日のストリーム処理環境

Kafka Streams API: The Power without the Weight

  • パワフルアイコン

    パワフル

    • 高い拡張性と柔軟性、フォールトトレラント
    • ステートフルおよびステートレス処理
    • イベント時の処理
  • 軽量アイコン

    軽量

    • 専用クラスタは不要
    • メッセージの変換層なし
    • 外部への依存性なし
  • 完全統合アイコン

    完全統合

    • Kafka v0.10 に100% 対応
    • 既存のアプリケーションへの統合が容易
    • アプリケーション展開のための形式的規則なし
  • リアルタイムアイコン

    リアルタイム

    • ミリ秒単位の処理遅延
    • メッセージのマイクロバッチ処理なし
    • アウトオブオーダーデータのウィンドウイング
    • データの到着遅延を許容

The Streams API in Kafka
に適したユースケース

  • ストリームベースのマイクロサービス

    ストリームベースのマイクロサービス

    マイクロサービスはしばしば、Kafka ベースのデータストリームを基盤に構築されます。大型のモノリシックアプリケーションとは異なり、マイクロサービスは、ストリームに対し制約付きの機能セットを実行する小型の分離プロセスを提供します。マイクロサービスは、リアルタイムストリームで動作し、信頼性の高いメッセージ配信に依存し、別のストリーム処理フレームワーク導入のコストが不要となる可能性もあるため、Streams API に非常に適しています。

  • 継続的なクエリ

    継続的なクエリ

    ストリームデータを最大限に活用する方法としては、別々のストリーム内のデータを相互に比較または分析したり、ストリームを結合してより意味のある情報を作り出す方法が挙げられます。組織全体で大規模にリアルタイムインテリジェンスを自動化するためには、継続的なクエリが用いられます。The Streams API により、インフラストラクチャのフットプリントを低く抑えた上で、Kafka 環境内でこうした大規模な機能を実装することが可能となります。

  • 連続変換

    連続変換

    連続変換により、ストリーム内のデータの変更または集計が行われます。目立たないながらも重要なプロセスで、リアルタイム分析のためのデータを準備する低次のサービスです。プロセスが小規模であるため、ステートフル/ステートレス双方の処理に対応する The Streams API in Kafka のような軽量のソリューションに非常に適しています。

  • イベントトリガー型プロセス

    イベントトリガー型プロセス

    組織のデータに存在しうる重大な異常を探す終わりのないプロセスは、リアルタイム環境へと移行しつつあります。データパイプラインが存在する場合には、Kafka が既に提供するストリーミングインフラストラクチャに簡単な拡張機能を追加することで、The Streams API in Kafka を用いてこれらのパイプラインに対するイベントトリガー型プロセスを実行することができます。

当社にご相談ください

Confluent の担当者から連絡をご希望の方はこちらからお問い合わせください.

お問い合わせ