KARAKURI LMについてー日本語特化の国産大規模言語モデル（LLM）ー

国産オープンモデルの中で
最高性能を獲得した大規模言語モデルです。

「KARAKURI LM」は、カラクリが開発する大規模言語（LLM)シリーズの総称です。学習に使うデータさえ質が高ければ、中小企業でもベンチャーでも独自のデータセットをもとに国際的競争力を持つAIモデルを開発可能だということを証明するため、さまざまなシリーズ開発に着手しています。

オープンソースで公開しているモデルのダウンロード

国産オープンモデルで最高性能を獲得した700億パラメータLLM「karakuri-lm-70b-v0.1」
世界で初めてAWS TrainiumでMoEモデルの学習に成功した「KARAKURI LM 8x7B Chat v0.1」
国産モデルで初めてAIエージェントとして使える「KARAKURI LM 8x7B Instruct v0.1」

AWSジャパンの「AWS LLM 開発支援プログラム」を活用し、2023年9月より国内最大規模となる700億パラメーターのLLMを開発いたしました。2024年1月18日に、LLMのベンチマークテスト「Japanese MT-Bench」で性能評価を実施し、国産LLMモデルとして最高性能（※）の評価が採点されました。

特徴：

開発費用　約744万円
学習期間　３日間

世界で初めてAWS TrainiumでMoEモデルの学習に成功。総パラメータ数467億、推論時のアクティブパラメータ数129億の大規模言語モデル（以下、LLM）「KARAKURI LM 8x7B Chat v0.1」はベンチマークテストで国産オープンモデルとして最高点の評価を得ており、2024年5月7日に一般公開いたしました。

特徴：

開発費用　30万円
学習期間　３日間

国産モデル初・AIエージェントとして使えるLLM

Function callingとRAGの学習に成功。外部ツールを活用できる点という特徴を持つため「業界・企業特有のタスクのプログラミング」にも活用可能です。

開発費用　約75万円

数学・物理オリンピックのメダリストが集うテクノロジーカンパニー

カラクリは東大大学院の機械学習研究室から発足したテクノロジーカンパニーです。自然言語処理・機械学習に関わるアルゴリズムを研究開発するR&Dチームには数学オリンピック、物理オリンピックのメダリストやアクセンチュア出身のエンジニアが集結し、プロダクトに実装することでテクノロジーの価値をすべての人が享受できる社会の実現を目指します。

2018年	・transformerを用いた言語モデルBERTの研究開始・正答率95％のAIチャットボット「KARAKURI chatbot」をローンチ
2019年	・主力サービスである「KARAKURI chatbot」にBERT搭載
2021年	・AIがユーザーの行動を予測するWeb接客機能を「KARAKURI chatbot」に搭載
2022年	・GPTを含めたLLMの研究を開始
2023年	・LLMを活用した協業企業とのPoCなどを進める専門チーム「カラクリLLMラボ」を発足・企業ごとにカスタマイズできるCS特化型「Custom LLM」の開発に着手・「AWS LLM 開発支援プログラム」に採択され、700億パラメーターの国産LLMモデルの開発に着手
2024年	・700億パラメーターのLLM、国産モデルの中で最高性能を獲得

Q&Aコンテンツの作成業務を約40％省略化

当社では２０２０年からカラクリのＡＩ検索技術を活用した、実務に関するＱ＆Ａの検索システムを社内に展開しておりますが、Ｑ＆Ａのメンテナンスについては手作業で行なっています。今回、カラクリの生成ＡＩの技術を活用し、マニュアル等からＱ＆Ａを自動作成するシステムを開発し、これによりＱ＆Ａのメンテナンスにかかる作業時間を約４０％削減できる見込みです。また、人では拾いきれないＱ＆Ａを作成できるという効果も想定しています。

出典：明治安田生命保険相互会社（2024年1月22日）生成ＡＩを活用した社内業務の効率化・高度化の取組開始について
（https://www.meijiyasuda.co.jp/profile/news/release/2023/pdf/20240122_01.pdf）

生成AIの取り組み