LLM」カテゴリーアーカイブ

LOCAL LLM ollama

pdfファイルをアップロードしてRAG(Retrieval-Augmented Generation)

参考動画 installの参考

https://www.youtube.com/watch?v=1xdneyn6zjw

Step 1: Install Ollama https://ollama.com/
Step 2: Copy and Paste Llama 3 install command using Terminal
Step 3: Add other LLM models (optional) https://ollama.com/library
Step 4: Install Docker https://www.docker.com/
Step 5: Install OpenWebUI https://docs.openwebui.com/getting-st...
Login to OpenWebUI and start using your local AI chatbot.

ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
STEP1:ollamaの実行
C:\Users\ei2k-> ollama.exe run llama3.1

STEP2:docker desktop実行

STEP3:dockerでopen-webuiを実行
C:\Users\ei2k-> docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

LLM活用のプロンプト・テクニック

出典:

  • 1、孫正義式ディベートプロンプト 【〇〇な】Aさん、【〇〇な】Bさん、【〇〇な】Cさん あなたがたならこの問題をどう解決するか 私の目の前でディベートしてください 問題 【〇〇】
  • 2、AIを詰める?パワハラプロンプト ありがとうございます、この出力を60点とします これを60点とした時に100点とはどのようなものですか? 100点にするために足りないものを列挙した後に 100点の答えを生成してください
  • 3、分かりやすい回答に改善するプロンプト 【〇〇】について 人と人が対話する物語形式で 分かりやすく解説してください
  • 4、シンガポール発CO-STARフレームワーク (C) コンテキスト:【〇〇】 (O) 目標:【〇〇】 (S) スタイル:【〇〇】 (T) トーン:【〇〇】 (A) 対象読者:【〇〇】 (R) 応答:以下の形式で回答を構成してください: 1.【〇〇】 2.【〇〇】 3.【〇〇】
  • 5、段階理解プロンプト 「【〇〇】」 ↑の文言を意味を保ったまま別の言葉に言い換えてください
  • 6、プロンプトを短縮して精度向上 https://chatgpt.com/g/g-G7bqU5uCZ-lis…
  • 7、ハルシネーションを避けるプロンプト手法 【〇〇】 わからないことは「知らない」と答えてください。
  • ゴール(目的)
  • 前提(AIの役割、自分の状況)
  • 出力形式(表、json…)
  • ステップ
  • 例示

https://www.perplexity.ai/search/sekiyuriteizhuan-men-jia-asan-EjFLfr6eTEC4waiY5_ZRXQ

Stream deffisionのインストール

秒100枚の画像生成ができるという「Stream Diffusion」を動かしてみる。

git clone https://github.com/cumulo-autumn/StreamDiffusion.git

Step1 環境設定

python3 -m venv .venv

Step2: Install PyTorch

pip3 install torch==2.1.0 torchvision==0.16.0 xformers –index-url https://download.pytorch.org/whl/cu121

Step3: Install StreamDiffusion

#for Latest Version (recommended)

pip install git+https://github.com/cumulo-autumn/StreamDiffusion.git@main#egg=streamdiffusion[tensorrt]

WSL2の環境へStablefussion WebUiをインストール

Windows11で新規ユーザを作成(きれいな環境へインストールするため)
作成したユーザでログイン
wslをインストール (Ubuntu22.04)
$sudo apt update
$sudo apt upgrade
$sudo apt install wget git python3 python3-venv
$git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
----------以下、発生したエラー対処----
$sudo apt-get install libgl1-mesa-dev
---Debianで必要---
$sudo apt-get install libglib2.0-0
------------------
$cd stable-diffusion-webui
$ python3 -m venv venv/
$vim webui-user.sh
13行目 コメントを外して、cudaを使わない
export COMMANDLINE_ARGS="--skip-torch-cuda-test --precision full --no-half"

$./webui.sh
4GBのファイルを含む、多くのファイルをダウンロードするので、それなりに時間がかかります。
............
Running on local URL:  http://127.0.0.1:7860
ブラウザーで上記アクセス
N5095では次の警告が出るが、画像生成は問題なく完了。
[W NNPACK.cpp:53] Could not initialize NNPACK! Reason: Unsupported hardware.█
対策 USE_NNPACK=0